1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 820

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 请确认函数是否存在报错排查路径 Oinone FAQ

    请确认函数是否存在报错排查路径

    当函数不存在的时候，可能有的原因如下：先确认引入启动环境： 是否引入distribution-session包？（Y/N） 如果 distribution-session 包被引入，可能的原因如下： 先检查 base_function 根据 namespace 和 fun 检查函数是否存在，如果存在，检查 openLevel 是否包含 API 级别（二进制值为 14/12/8）。 在 base_model_data 中根据 res_id 检查 load_module，同一环境中所有jvm服务，加载模块必须在启动模块或启动模块的依赖模块中。 检查 redis 中 base.Model:${modelModel}:model_model 键值是否存在，如果存在，根据函数关键字尝试搜索。 如果上面三步没有找到问题，且所有元数据都存在。distribution-session 包可能没有引入，确认是否需要使用 distribution-session 包。 如果 distribution-session 包没有被引入，可能的原因如下： 先检查 base_function 根据 namespace 和 fun 检查函数是否存在，如果存在，检查 openLevel 是否包含 API 级别。 在 base_model_data 中根据 res_id 检查 load_module，加载模块必须在启动模块中。 自定义gql进行请求报函数是否存在可能的原因 检查Gql请求是否符合规范：参考文章GraphQL Service检查请求类型query/mutation是否和函数定义一致。

    yexiu的头像 yexiu
    2025年8月29日
    84200
  • 流程 Oinone 7天入门到精通

    流程

    1. 流程介绍 日常工作和生活中到处都存在各种各样的流程，例如业务开展中的产品研发流程、产品制作流程、订单发货流程等，也有管控分险的费用报销流程、员工请假审批流程、项目立项流程等。流程设计器可以帮助公司实现流程的数字化，规范流程操作，减少人工操作并留存痕迹，提高工作效率和安全性。 2. 流程的组成 流程设计器主要包含基本操作和流程设计两个部分。前者包含了流程的新增、删除、复制、停用/启用、编辑、搜索。后者包含单一流程的基础信息修改、流程设计、参数配置、保存、发布。 2.1 流程的基本操作 流程页面有两种显示方式，默认为平铺显示的模式，可以点击切换为列表详情显示的模式。 2.1.1 新增 平铺显示和列表详情模式下点击左上角的创建按钮即可新增一个流程，点击后进入流程设计页面，流程名默认为“未命名流程”，可自行修改。 2.1.2 删除 遇到流程创建有误，没有使用过且将来也不会使用该流程，可以删除流程。需要注意的是，删除流程的前提是该流程已停用，并且该流程从未执行过。 2.1.3 复制 遇到流程节点动作相似度较高的情况可以使用复制流程的功能，点击按钮后生成一个“原流程名-复制”的流程，并且进入新流程的流程设计界面。 2.1.4 停用/启用 流程需要更新或暂时不用时可以使用停用功能。流程停用后将不会执行流程中的动作，正在执行中的流程不受停用影响，会正常执行直到流程结束。 点击启用按钮，流程恢复启用状态，可正常触发。 2.1.5 编辑 点击编辑进入该流程的设计页面。 2.1.6 搜索 页面最上方的是搜索区，可以按照流程名称、触发方式、启用状态、更新状态进行筛选搜素，点击重置按钮修改搜索条件。

    史, 昂的头像 史, 昂
    2024年1月20日
    1.7K00
  • demo基础写法学习 数式Oinone新人入门

    demo基础写法学习

    1.1.1空工程准备准备工作 1.1.2建应用– 声明编码常量、名称常量– 加注解– 重写packagePrefix方法 1.1.3建完应用改配置 1.1.4建模型– 继承基类– 声明编码常量– 加注解详细文档：https://doc.oinone.top/oio4/9232.html 1.1.5建简单字段– java方式写字段– 加注解 1.1.6配菜单秒懂：定义菜单名称+绑定模型 1.1.7常用注解必填/唯一/搜索条件/隐藏/表单分列/上传图片/只读/提示 1.1.8数据字典(枚举)穷举详细文档：https://doc.oinone.top/oio4/9237.html 1.1.9序列化&多值详细文档：https://doc.oinone.top/oio4/9238.html 1.1.10建立一对多关系 1.1.11建立多对一关系 1.1.12建立多对多关系 1.1.13写方法action写了action,界面上有按钮（相当于springboot的Controller层） 1.1.14写方法Function写Function,界面上没有按钮（相当于springboot的Service层） 1.1.15继承多态详细文档：https://doc.oinone.top/oio4/9246.html 1.1.16扩展点– 自定义扩展点– 平台默认的扩展点详细文档：https://doc.oinone.top/oio4/9248.html 1.1.17拦截器详细文档：https://doc.oinone.top/oio4/9247.html

    红莲的头像 红莲
    2024年11月5日
    1.0K00
  • 环境运行时Jar版本控制 后端

    环境运行时Jar版本控制

    环境运行时Jar版本控制 前景 为了避免基于低代码定义产生的元数据错乱。因此产生了运行时Jar版本检查功能。 现象 如果当前运行时依赖的Ja版本低于已安装版本，启动时会有如下类似信息提示： 解决 按照提示升级依赖Jar版本 通过启动参数 -PgoBack=true 强制覆盖安装当前运行时版本 java -jar 方式 java -jar xxx.jar -PgoBack=true [其他参数] mvn spring-boot run 方式 mvn clean compile spring-boot:run -Dspring-boot.run.arguments=”-PgoBack=true [其他参数]”

    yakir的头像 yakir
    2025年3月10日
    1.1K00
  • PC端、移动端默认Mask模板 前端

    PC端、移动端默认Mask模板

    PC端 系统默认母版布局 <mask> <multi-tabs /> <header> <widget widget="app-switcher" /> <block> <widget widget="notification" /> <widget widget="divider" /> <widget widget="language" /> <widget widget="divider" /> <widget widget="user" /> </block> </header> <container> <sidebar> <widget widget="nav-menu" height="100%" /> </sidebar> <content> <breadcrumb /> <block width="100%"> <widget width="100%" widget="main-view" /> </block> </content> </container> </mask> 系统默认把多tabs放入视图内母版布局 <mask> <header> <widget widget="app-switcher" /> <block> <widget widget="notification" /> <widget widget="divider" /> <widget widget="language" /> <widget widget="divider" /> <widget widget="user" /> </block> </header> <container> <sidebar> <widget widget="nav-menu" height="100%" /> </sidebar> <block height="100%" flex="1 0 0" flexDirection="column" alignContent="flex-start" flexWrap="nowrap" overflow="hidden"> <multi-tabs inline="true" /> <content> <breadcrumb /> <block width="100%"> <widget width="100%" widget="main-view" /> </block> </content> </block> </container> </mask> 移动端 <mask> <widget widget="user" /> <widget widget="nav-menu" app-switcher="true" menu="true" /> <widget widget="main-view" height="100%" /> </mask>

    汤乾华的头像 汤乾华
    2024年12月11日
    1.4K00

Leave a Reply

登录后才能评论