1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1827 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 如何关闭table的checkbox？ 前端

    如何关闭table的checkbox？

    需要修改xml的配置 将xml中的fields改成table，并将配置加上 // 原来的写法 <template slot=”fields” > … </template> // 配置后的写法 <template slot=”table” checkbox=”false”> … </template>

    oinone's avatar oinone
    2023年11月1日
    1.9K00
  • 合作伙伴中心 Oinone 7天入门到精通

    合作伙伴中心

    合作伙伴中心包含“公司、个人、部门、岗位、员工”五个菜单。其中公司、个人为合作伙伴，是创建组织架构的前置条件；部门、岗位、员工为组织架构，是选择的公司下的内部架构。 合作伙伴 公司页面中包含常规的增删改查和查看详情。 公司的创建页面如下： 个人暂不支持创建。 组织架构 同样菜单中包含常规的增删改查和查看详情。 组织架构可以依次创建部门、岗位、员工。对应关系为，一个部门下有多个岗位，一个员工可以归属于多个部门和多个岗位。 部门创建页面如下： 岗位创建页面如下： 员工创建页面如下： 合作伙伴中心创建的员工会自动生成可登录的用户并进行绑定。 在用户中心创建的用户仅为可登录用户无法操作管理员工、关联部门。 流程设计器中可选到的操作人分类为“员工、部门、角色”。

    史, 昂's avatar 史, 昂
    2024年6月20日
    1.4K00

  • 【前端】移动端工程结构最佳实践（v4/v5）

    阅读之前 你应该： 了解node与npm相关内容 了解lerna包管理工具的相关内容 官方文档 了解git仓库的相关内容 了解rollup的相关内容 工程结构包示例 Vue项目结构包下载-v4.7.xVue项目结构包下载-v5.2.x 工程结构详解 工程结构 ├── packages │   ├── kunlun-mobile-boot │   │   ├── package.json │   │   ├── public │   │   │   ├── favicon.ico │   │   │   └── index.html │   │   ├── src │   │   │   ├── main.ts │   │   │   └── shim-vue.d.ts │   │   ├── tsconfig.json │   │   └── vue.config.js │   ├── kunlun-module-mobile-demo │   │   ├── scripts │   │   │   ├── postpublish.js │   │   │   └── prepublish-only.js │   │   ├── src │   │   │   ├── index.ts │   │   │   └── shim-vue.d.ts │   │   ├── index.ts │   │   ├── package.json │   │   ├── rollup.config.js │   │   └── tsconfig.json │   └── kunlun-modules-mobile-demo │   ├── scripts │   │   ├── build.config.js │   │   ├── postpublish.js │   │   └── prepublish-only.js │   ├── packages │   │   ├── module-demo1 │   │   │   ├── index.ts │   │   │   ├── package.json │   │   │   ├── rollup.config.js │   │   │   └── src │   │   │   ├── index.ts │   │   │   └── shim-vue.d.ts │   │   ├── module-demo2 │   │   │   ├── index.ts │   │   │   ├── package.json │   │   │   ├── rollup.config.js │   │   │  …

    nation's avatar nation
    前端 2023年11月1日
    2.2K00
  • 4.7.8.1版本升级说明-20240312 4.x

    4.7.8.1版本升级说明-20240312

    版本号： 4.7.8.1版本发布日期：2024.03.12更新要点：该版本是4.7.8的小版本升级。请及时更新。 4.7.8.1版本 升级内容 1、该版本是4.7.8的小版本升级 版本包信息 4.7.8 4.7.8.1 4.7.8.1 4.7.8.1 4.7.8.1 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 4.7.8 设计器镜像版本 harbor.oinone.top/oinone/designer:4.7.9.3-allinone-mini 仅包含前后端工程harbor.oinone.top/oinone/designer:4.7.9.3-allinone-full 包含中间件及前后端工程 其他参考 更多4.7.x的版本说明，参考：https://doc.oinone.top/version/4782.html 如果您有任何问题、建议或反馈，请随时联系我们。为了获得最佳体验，请及时更新至最新版本。我们将继续努力改进产品，提供更好的服务。谢谢！

    望闲's avatar 望闲
    2024年3月12日
    1.5K00
  • 流程类 Oinone 7天入门到精通

    流程类

    1.流程类 1.1 审批 审批节点配置步骤： 添加审批节点 选择审批的模型和视图 设置审批人和通过方式 设置审批人在审批时的操作权限和数据权限 1.1.1 审批节点 审批节点只能放置在有数据可审批的流程链路上，审批分支只能放置在审批节点后。 1.1.2 审批模型和视图 可选的审批模型包含添加的审批节点之前的所有能获取到数据的模型。可选视图为该选择的数据模型关联的界面设计器中视图类型为表单的页面。 1.1.3 审批人和通过方式 审批人可在个人、部门、角色和模型中的字段里复选。当某人在不同类型人员选择中被重复选中，只会收到一次审批的代办。若为多人审批，审批是同步进行的。 单人审批： 通过方式：唯一通过方式，同意通过，拒绝否决 多人审批： 通过方式：或签/会签（默认或签） a. 或签（一名审批人同意或拒绝即可） 任意一位审批人操作通过或否决后流程就结束，其他审批人无法进入审批操作，但是会弹出消息提示审批结果。 场景：紧急且影响不大的审批可以由任意一位领导层或签。 b. 会签（需所有审批人同意才为同意，一名审批人拒绝即为拒绝） 场景：影响比较重大的审批，一票否决的形式决定是否通过。 c. 会签（一名审批人同意即为同意，需所有审批人拒绝才为拒绝） 场景：需要评估项目可操作性时，若有领导觉得有意义就通过，进入下一步评估，全员否决就否决项目。 1.1.4 操作&数据权限 操作权限 可设置是否必填拒绝原因、是否允许转交、是否允许加签、是否允许退回。 选择允许转交或允许加签之后，可选择添加人员的候选名单，不填默认所有人都可选。 选择允许退回后，可以选择退回到该审批节点之前的任意审批节点。ps：需所有审批人拒绝才为拒绝的会签不允许退回。 数据权限 选择视图后自动显示该视图下的数据字段，可选择的权限为查看、编辑、隐藏数据字段，默认可查看全部字段。 1.1.5 参与人重复 勾选参与人重复的场景时，满足场景的审批流程会由系统自动审批通过。 1.2 填写 当流程需要某些人提交数据才能继续时，可以使用填写这个动作。区别于数据类中的操作，填写这个动作只能修改当前触发模型中关联的视图表单，而数据类中的更新数据可以修改其他模型中的数据。 和审批动作相似，填写动作需要选择填写的模型和视图表单，需要选择填写人，可以选择添加转交权限。另外，填写动作必须包含一个及以上的可编辑的数据权限供操作人填写。

    史, 昂's avatar 史, 昂
    2024年5月23日
    2.2K00

Leave a Reply

Please Login to Comment