深度分页问题优化方案

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如:select * 的情况下直接⽤limit 600000,10 扫描的是约60万条数据,并且是需要回表 60W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案:业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器,展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案:只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例
<!-- 表格使用的标准分页器 --> <view type="TABLE" paginationStyle="SIMPLE"> <!-- fields --> </view> <!-- 画廊使用默认的标准分页器 --> <view type="GALLERY" paginationStyle="STANDARD"> <!-- fields --> </view>

后端方案

  1. 使用索引:确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度,特别是在处理大数据量时。

  2. 分批查询:将大数据分成多个较小的批次进行查询,而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询,例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页:使用基于游标的分页技术,而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置,在下一次查询时从该位置开始获取新的数据,避免了大偏移量的影响。这可以通过数据库自身的功能(例如MySQL的CURSOR)或使用第三方库来实现。

  4. 缓存数据:如果数据变化较少,可以考虑将查询结果缓存到内存中,以避免频繁地查询数据库。这样可以提高页面相应速度,并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理:如果查询结果经常需要进行复杂的计算或处理,可以考虑提前对数据进行预处理并缓存结果,以减少每次查询的计算负担。

  6. 数据库优化:针对具体数据库系统,可以根据实际情况进行数据库调优。例如,合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算:对于非关系型数据库或分布式存储系统,可以考虑使用分布式存储和计算方案,将数据分散存储在多个节点上,并通过计算节点并行处理查询请求,以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者:原创文章,如若转载,请注明出处:https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 后端更新日志(v4)【最后更新于20230531】

    版本号:v4.3.0发布日期:2023.05.31更新要点:修复页面设计器菜单排序问题。修复页面设计器视图缓存bug。【修复】解决分布式调用(RPC)问题。【新增】支持右上角topBar的自定义扩展。【新增】支持默认搜索字段按照优先级排序。【增强】支持低版本的MINO的文件上传。修复界面设计器元件创建时,多值属性标记错误的问题,请及时更新 v4.3.0 发布日志 20230531 修复页面设计器菜单排序 页面设计器视图缓存bug 20230524 【修复】解决分布式调用(RPC)问题; 【新增】支持右上角topBar的自定义扩展; 【新增】支持默认搜索字段安装优先级(Priority)排序; 【增强】支持低版本的MINO的文件上传 20230519 修复界面设计器元件创建时,是否多值(multi)属性标记错误的问题 如果您有任何问题、建议或反馈,请随时联系我们。为了获得最佳体验,建议请升级至最新版本。我们将继续努力改进产品,提供更好的服务。谢谢!

    2023年11月1日
    1.2K00
  • JSON转换工具类

    JSON转换工具类 JSON转对象 pro.shushi.pamirs.meta.util.JsonUtils JSON转模型 pro.shushi.pamirs.framework.orm.json.PamirsDataUtils

    2023年11月1日
    2.4K00
  • 设计器基础学习路径

    模块 内容 目标 doc 链接 模型设计器 模型 1.熟悉模型管理和字段管理 模型 数据字典 熟悉数据字典的创建 数据字典 数据编码 了解数据编码的操作创建 数据编码 界面设计器 了解页面 了解界面设计器中的页面 页面 页面设计 增删改查 【界面设计器】模型增删改查基础 页面设计 左树右表 【界面设计器】左树右表 页面设计 树形表格 【界面设计器】树形表格 页面设计 树下拉 【界面设计器】树下拉/级联 页面设计 自定义组件基础 【界面设计器】自定义字段组件基础 页面设计 熟悉页面设计的操作 页面设计 自定义组件 熟悉如何使用自定义组件 自定义组件 流程设计器 流程组成 了解流程的组成 流程 流程设计 熟悉流程设计内容 流程设计 熟悉流程的触发节点 流程触发 熟悉流程的节点动作与设计使用 节点动作 低代码与无代码结合 示例讲解 Outsourcing相关 低无一体的开发方式、设计数据的导入导出等

    2024年6月15日
    1.6K00
  • 3.5.x版本更新说明-20230215

    版本号:3.5.x发布日期:2023.02.15更新要点:前端发布内容包括新版数据交互上线、搜索偏好收藏支持、级联、树下拉、地址、公司、部门、员工组件支持、批量操作功能、组件显示设备设置、界面设计器菜单显示设备配置、界面设计器批量操作设计、绑定菜单增加模型限制条件和新增权限。后端发布内容包括模块管理新增、业务组件提升、批量操作交互类、搜索收藏和显示设备功能。这些更新将提升系统功能性和用户体验。 1 发布概要 1.1 前端 发布内容: 前端新版数据交互上线 支持搜索偏好收藏 支持级联、树下拉、地址、公司、部门、员工组件 支持【批量操作】功能 组件支持【显示设备】功能设置 界面设计器【菜单】支持配置【显示设备】 界面设计器支持【批量操作】相关设计 界面设计器绑定菜单增加模型限制条件 新增权限 1.2 后端 发布内容: 模块管理-模块新增 业务组件提升 批量操作-有交互类 搜索收藏、显示设备 2.版本信息 <pamirs.middleware.version>3.5.7</pamirs.middleware.version> <pamirs.boot.version>3.5.7</pamirs.boot.version> <pamirs.framework.version>3.5.7</pamirs.framework.version> <pamirs.k2.version>3.5.7</pamirs.k2.version> <pamirs.core.version>3.5.8</pamirs.core.version> <pamirs.tenant.version>3.5.7</pamirs.tenant.version> <pamirs.lowcode.version>3.5.7</pamirs.lowcode.version> <pamirs.designer.version>3.5.7</pamirs.designer.version> <pamirs.workflow.designer.version>3.5.7</pamirs.workflow.designer.version> <pamirs.workflow.version>3.5.7</pamirs.workflow.version> <pamirs.workbench.version>3.5.7</pamirs.workbench.version> <pamirs.designer.common.version>3.5.7</pamirs.designer.common.version> <pamirs.model.designer.version>3.5.8</pamirs.model.designer.version> <pamirs.logic.designer.version>3.5.7</pamirs.logic.designer.version> <pamirs.ui.designer.version>3.5.8</pamirs.ui.designer.version> <pamirs.data.designer.version>3.5.7</pamirs.data.designer.version> <pamirs.data.visualization.version>3.5.7</pamirs.data.visualization.version> <pamirs.distribution.version>3.5.7</pamirs.distribution.version> <pamirs.welcome.version>3.5.7</pamirs.welcome.version> <pamirs.gemini.version>3.5.7</pamirs.gemini.version> <pamirs.paas.version>3.5.7</pamirs.paas.version> 如果您有任何问题、建议或反馈,请随时联系我们。为了获得最佳体验,建议请升级至最新版本。我们将继续努力改进产品,提供更好的服务。谢谢您的支持!

    2023年2月15日
    1.0K00

Leave a Reply

Please Login to Comment