深度分页问题优化方案

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如:select * 的情况下直接⽤limit 600000,10 扫描的是约60万条数据,并且是需要回表 60W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案:业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器,展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案:只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例
<!-- 表格使用的标准分页器 --> <view type="TABLE" paginationStyle="SIMPLE"> <!-- fields --> </view> <!-- 画廊使用默认的标准分页器 --> <view type="GALLERY" paginationStyle="STANDARD"> <!-- fields --> </view>

后端方案

  1. 使用索引:确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度,特别是在处理大数据量时。

  2. 分批查询:将大数据分成多个较小的批次进行查询,而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询,例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页:使用基于游标的分页技术,而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置,在下一次查询时从该位置开始获取新的数据,避免了大偏移量的影响。这可以通过数据库自身的功能(例如MySQL的CURSOR)或使用第三方库来实现。

  4. 缓存数据:如果数据变化较少,可以考虑将查询结果缓存到内存中,以避免频繁地查询数据库。这样可以提高页面相应速度,并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理:如果查询结果经常需要进行复杂的计算或处理,可以考虑提前对数据进行预处理并缓存结果,以减少每次查询的计算负担。

  6. 数据库优化:针对具体数据库系统,可以根据实际情况进行数据库调优。例如,合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算:对于非关系型数据库或分布式存储系统,可以考虑使用分布式存储和计算方案,将数据分散存储在多个节点上,并通过计算节点并行处理查询请求,以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者:原创文章,如若转载,请注明出处:https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 如何实现页面间的跳转

    介绍 在日常的业务中,我们经常需要在多个模型的页面之间跳转,例如从商品的行可以直接点击链接跳转到类目详情,还有查看该订单发起的售后单列表,这里将给大家展示如何在oinone中如何实现这些功能。 方法一、通过界面设计器的无代码能力配置 表格行跳转到表单页/详情页 拖入一个跳转动作到表格行,保存动作后,在左侧的动作属性面板底部有个请求配置,里面的上下文属性就是配置跳转参数的地方,点击添加按钮可以增加一行参数 点击添加按钮后,可以看到新增了一行,行内有2个输入框,左侧输入框为目标视图模型的字段,右侧输入框为当前视图模型的表达式 注意 表达式中activeRecord关键字代表当前行的数据对象 “上下文”相关知识点 当前页面的模型和跳转后的页面模型相同的情况下,会字段带上当前行数据的id作为路由参数 上下文是从当前页面跳转到下个页面带的自定义参数 上下文会作为跳转后的页面数据加载函数的入参,后端的该函数需要根据该条件查询到数据返回给前端,典型的例子就是编辑页,根据id查询对象的其他字段信息返回 跳转后页面的数据加载函数可以在动作场景的时候选择加载函数,也可以在页面的加载函数处设置 方法二、通过低代码方式在自定义代码中调用 oinone提供了内置函数executeViewAction实现该功能 import { DefaultComparisonOperator, executeViewAction, QueryExpression, RuntimeViewAction, ViewActionTarget, ViewType } from '@kunlun/dependencies'; export class JumpActionWidget { protected goToObjectView() { executeViewAction( { viewType: ViewType.Form, moduleName: 'resource', model: 'resource.ResourceCountry', name: 'redirectUpdatePage', target: ViewActionTarget.Router } as RuntimeViewAction, undefined, undefined, { // 此处为id参数,目前只有表单和详情页需要 id: '12223', // 此处为上下文参数,context内对象的key是目标页面需要传递的默认值 context: JSON.stringify({code: 'xxx'}), // 此处为跳转后左侧菜单展开选中的配置 menu: JSON.stringify({"selectedKeys":["国家"],"openKeys":["地址库","地区"]}) } ); } protected goToListView() { const searchConditions: QueryExpression[] = []; searchConditions.push({ leftValue: ['countryCode'], // 查询条件的字段 operator: DefaultComparisonOperator.EQUAL, right: 'CN' // 字段的值 }); executeViewAction( { viewType: ViewType.Table, moduleName: 'resource', model: 'resource.ResourceCity', name: 'resource#市', target: ViewActionTarget.OpenWindow } as RuntimeViewAction, undefined, undefined, { // searchConditions相当于domain,不会随页面搜索项重置动作一起被清空 searchConditions: encodeURIComponent(JSON.stringify(searchConditions)), // searchBody的字段会填充搜索区域的字段组件,会随页面搜索项重置动作一起被清空 searchBody: JSON.stringify({code: 'CN'}), menu: JSON.stringify({"selectedKeys":["国家"],"openKeys":["地址库","地区"]}) } ); } } 扩展知识点 为什么executeViewAction跳转到的新页面不是入参的moduleName属性对应的模块? 答:跳转后所在的模块优先级为: 第一个入参的resModuleName属性对应的模块 执行executeViewAction时所在的模块 第一个入参的moduleName属性对应的模块 如何快速获取选中菜单的值? 答:先通过页面菜单手动打开页面,然后在浏览器自带调试工具的控制台执行decodeURIComponent(location.href),其中的menu参数就是我们需要的值

    2024年5月13日
    3.8K00
  • 5.4 基础支撑之商业关系域

    PamirsPartner作为商业关系与商业行为的主体,那么PamirsPartner间的关系如何描述,本文将介绍两种常见的设计思路,从思维和实现两方面进行对比,给出oinone为啥选择关系设计模式的原因。 一、两种设计模式对比 设计模式思路介绍 角色设计模式思路介绍 从产品角度枚举所有商业角色,每个商业角色对应一个派生的商业主体,并把主体间的关系类型进行整理。 图5-4-1 角色设计模式 关系设计模式思路介绍 从产品角度枚举所有商业角色,每个商业角色对应一个派生的主体间商业关系 图5-4-2 关系设计模式 设计模式对应实现介绍 角色设计模式实现介绍 不单商业主体需要扩展,关系也要额外维护,可以是字段或是关系表。一般M2O和O2M字段维护,M2M关系表维护。 创建合同场景中甲方选择【商业主体A】,乙方必须是【商业主体A】有关联的经销商、分销商、零售商、供应商等,则在角色设计模式下就非常麻烦,因为关系都是独立维护的 图5-4-3 角色设计模式实现介绍 关系设计模式实现介绍 只需维护商业关系扩展 同时在设计上收敛了商业关系,统一管理应对不同场景都比较从容 图5-4-4 关系设计模式实现介绍 二、oinone商业关系的默认实现 首先oinone的商业关系选择关系设计模式 其次模型上采用多表继承模式,父模型上维护核心字段,子模型维护个性化字段。

    2024年5月23日
    2.0K00
  • oio-input 输入框

    代码演示 <oio-input v-model:value="value"></oio-input> API Input 参数 说明 类型 默认值 版本 addonAfter 带标签的 input,设置后置标签 string|slot addonBefore 带标签的 input,设置前置标签 string|slot allowClear 可以点击清除图标删除内容 boolean defaultValue 输入框默认内容 string disabled 是否禁用状态,默认为 false boolean false maxlength 最大长度 number prefix 带有前缀图标的 input slot showCount 是否展示字数 boolean false suffix 带有后缀图标的 input slot type 声明 input 类型,同原生 input 标签的 type 属性,见:MDN(请直接使用 <a-textarea /> 代替 type="textarea")。 string text value(v-model:value) 输入框内容 string Input 事件 事件名称 说明 回调参数 update:value 输入框内容变化时的回调 function(e) pressEnter 按下回车的回调 function(e) Input.Search 代码演示 <oio-input-search v-model:value="value"></oio-input-search> Input.Search 事件 事件名称 说明 回调参数 search 点击搜索或按下回车键时的回调 function(value, event) 其余属性和 Input 一致。

    2023年12月18日
    2.8K00
  • 新版权限操作手册(5.0以上)

    一 整体介绍 1. 角色类型: 为了更好地管理和控制平台中的不同用户,权限系统将对角色进行分类定义。通过角色分类,可以更高效地管理同一类角色,无需单独操作每个角色,实现统一管理。 2. 角色管理: 角色管理是权限系统中的一个基础功能,负责管理具体角色的创建、编辑和禁用,以及对角色的单独操作。 3. 系统权限: 可配置某个应用或其下的某个菜单、某个应用的首页的管理权限和访问权限。 管理权限:赋予某角色后,该角色具备向下分配权限的能力。 访问权限:赋予某角色后,该角色可进行访问。访问权限可配置多个权限组,不同权限组可授权给不同角色。 注: 此处应用下的“首页”菜单是在【应用中心-设置首页-绑定视图】中配置的视图。权限控制是针对这个视图进行的。只有当在设置首页时选择了绑定视图,应用下才会有对应的“首页”菜单;否则,该菜单将不可见。 当【应用中心-设置首页-绑定菜单】只需单独为应用下的某个菜单进行授权即可。 拥有访问权限并不代表拥有管理权限,同理,拥有管理权限也不代表拥有访问权限。这两种权限需要单独授权。二者并无直接关系。 4. 数据权限项和数据权限: 数据权限项:通过为某个模型配置过滤条件来定义特定的数据访问规则,但这些规则不会立即生效。它们需要与数据权限配合使用,以实现精细化的数据访问权限控制。 数据权限:为多个角色应用指定多个数据权限项,类似于系统权限的管理,但其范围更广泛,涵盖了对所有模块的授权。 通过数据权限项定义具体的访问规则,再通过数据权限将这些规则分配给不同的角色,以实现全面的权限控制。 二 操作手册 2.1 创建用户、绑定角色 创建一个名为testName的用户。 2.1.2 用户与角色的绑定(3种方式) 2.1.2.1 创建用户时为其单个或批量绑定角色 在创建用户页面进行添加绑定的角色,勾选完成,点击“确定”,完成角色的添加。 2.1.2.2 修改用户时为其单个或批量绑定角色 在修改用户页面进行添加绑定的角色,勾选完成,点击“确定”,完成角色的添加。 2.1.2.3 选择指定用户为其单个或批量绑定角色 指定用户后点击绑定角色,进行绑定的角色。 2.2 应用的授权–访问权限 访问权限是指将特定应用程序授权给相应的角色,一旦用户被分配到这些角色,他们将获得访问该应用程序的权限。确保了只有经过认证的用户才能访问特定的应用功能或数据。 2.2.1 应用与角色的授权–访问权限 选择系统权限,点击某个想要为其授权的应用。 添加角色,点击“确定”按钮,为应用授权。 授权成功,显示可以访问此应用的角色。 2.2.2 菜单与角色的授权–访问权限 选中系统权限,点击某个想要为其授权的菜单,为其添加权限组。 配置权限组,保存配置。 为权限组授权对应的角色。 授权成功,显示可以访问此菜单的角色。 2.2.3 批量授权–访问权限 我们支持对单个或多个应用程序及其菜单执行批量授权操作,以授予相应的访问权限。 角色权限访问: 角色未被授予应用的访问权限时,即使授予了菜单权限也无法访问。 角色被授予应用访问权限但未被授予菜单权限时,仍然无法访问菜单。 只有当角色同时被授予应用和菜单的权限时,才能访问相关菜单。 批量授权: 该功能仅作为添加角色至应用或菜单配置访问权限的入口。 批量授权: 在批量授权过程中,平台会自动创建一个默认权限组,这个权限组赋予了用户管理所有数据和当前菜单下所有管理权限的能力。这个默认权限组的创建会根据不同的平台版本进行区分处理。 在5.0.4版本之前,平台在创建默认权限组时,并不会自动勾选动作权限。 从5.0.4版本开始,包括5.0.4版本在内,平台会自动勾选所有动作权限,简化了授权流程。 值得注意的是,默认权限组在首次创建时遵循当时的动作权限规则。如果后续进行多次批量授权,平台不会重新创建默认权限组,而是保留之前的设置。因此,即使在后续的批量授权过程中,动作权限也会保持之前的状态。 总结来说,批量授权时,平台会根据版本自动创建带有或不带有动作权限的默认权限组,且该默认权限组在多次授权过程中保持不变,不会随每次授权而更新其动作权限设置。 找到系统权限菜单,点击批量配置。 选择单个或多个应用为其添加访问权限,点击添加角色进行添加操作。 进入添加角色页面。 选择需要添加的角色,点击“确定”按钮,完成角色的授权。 在批量授权过程中,添加角色框中的角色将被视为本次批量授权的角色。 此时完成批量授权,点击取消批量即可。 验证是否批量授权成功:点击已经授权的应用下某一菜单,看到“管理所有数据”下有我们添加的“子管理员”。 2.3 应用的授权–管理权限 管理权限涉及将应用程序的管理功能授权给特定角色,例如“子管理员”。拥有管理权限的角色能够进一步授权其他用户管理权限,可以向下分配。通过这种方式,组织可以实施分级的管理结构,确保各级管理员能够有效地管理和分配资源。 注:如果要为应用授予管理权限,则该应用下的所有菜单也会被授予管理权限。此外,也可以单独为某个应用下的特定菜单授予管理权限。 2.3.1 应用与角色的授权–管理权限 选择系统权限,点击某个想要为其授予管理权限的应用。 进入添加角色页面。 添加可管理此应用的角色,点击“确定”,完成角色的授权。 授权成功,显示可以管理此应用的角色。 2.3.2 菜单与角色的授权–管理权限 选择系统权限,点击某个想要为其授予管理权限的菜单。 进入添加角色页面。 添加可管理此菜单的角色,点击“确定”,完成角色的授权。 授权成功,显示可以管理此菜单的角色。 2.2 实例:向下分配权限–子管理员 子管理员描述 管理权限向下分配能力:子管理员可以向下分配管理权限,包括向其他角色授予或取消某应用、菜单或首页的管理权限。 访问权限:子管理员被授予访问权限,可以访问平台中指定的应用、菜单或首页。 持续的管理权限向下分配:子管理员可以持续地向下分配管理权限,确保权限的适当控制和分配。 子管理员一定要为管理中心应用配置访问和管理权限。 2.2.1 创建一个名字为“子管理员”的角色 2.2.2 角色与用户的绑定 2.2.3 为子管理员分配应用的管理权限 如果要为应用授予管理权限,则该应用下的所有菜单也会被授予管理权限。此外,也可以单独为某个应用下的特定菜单授予管理权限。 应用管理权限的分配 选择系统权限,点击某个想要为其授予管理权限的应用。 进入添加角色页面。 添加可管理此应用的角色,点击“确定”,完成角色的授权。 授权成功,显示可以管理此应用的角色。 2.2.4 登录子管理员继续向下级分配权限 输入账号、密码,点击登录。 在上级角色中我们已经为“子管理员”角色,授权了管理中心的管理、访问权限和具体的某个应用的管理权限。 选择系统权限,点击某个想要为其授权的应用。在此页面“子管理员”这一角色还可以根据所需的业务场景继续向下级分配管理权限和访问权限。 至此,已成功实现子管理员角色所需的管理权限的配置。子管理员随后可依循相同流程,对下属用户进行相应的权限分配。

    2024年7月2日
    6.5K00

Leave a Reply

Please Login to Comment