1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1800 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 业务审计

    整体介绍 业务审计是指通过跟踪用户在平台业务应用中的各类行为操作以及关联的数据变化，支撑企业业务审计所需。平台提供可视化审计规则配置，根据审计规则记录行为日志，其中日志包括登录日志、应用日志； 登录日志：记录平台用户登录行为。 应用日志：针对已订阅的审计规则记录用户操作信息，是用户在各应用中操作行为留痕记录。 审计规则：业务审计中，数据变化订阅记录的规则，是记录应用日志的规则。 操作入口：应用中心——业务审计应用。

    史, 昂's avatar 史, 昂
    Oinone 7天入门到精通 2024年6月20日
    2.3K00
  • 数据可视化创建图表 产品使用手册

    数据可视化创建图表

    在数据可视化模块中，可以通过三种不同的数据源类型来创建图表：模型字段（现有功能）、数据库（新功能）、集成应用（新功能）。

    萧炎's avatar 萧炎
    2024年10月8日
    3.2K00
  • 工作流自定义转交/加签人函数执行时机使用说明 流程设计器

    工作流自定义转交/加签人函数执行时机使用说明

    在实际工作流程的应用过程中，我们注意到有小伙伴需要根据当前执行操作的用户，进行筛选转交或加签人员的列表。为了应对这个需求，我们在流程设计器新增了自定义函数执行时机选项。 使用说明 自定义函数执行时机为空时，逻辑同任务创建时生效。 任务创建时生效：当系统创建待办任务时，会立即调用自定义函数确定转交或加签人列表。 功能特性：效率更高，但无法知道当前操作的用户是谁。 潜在影响：如果自定义函数的逻辑被更改，已创建的任务的转交或加签人列表不会受影响。 用户审批时生效：每次用户查看审批或加签人列表时，都会触发自定义函数。 功能特性：可以获取当前操作的用户信息。 潜在影响：如果自定义函数的逻辑更改，转交或加签人列表会根据新逻辑更新。 注意事项：如果自定义函数存在耗时操作，可能会影响用户体验。 使用建议：如果需要获取当前操作的用户，建议使用用户审批时生效。如果自定义函数的运行结果不依赖于操作用户的身份，那么更推荐在任务创建时就执行。

    夜神月's avatar 夜神月
    2024年8月23日
    1.3K00

  • 4.1.7 函数之元数据详解

    介绍Function相关元数据，以及对应代码注解方式。大家还是可以通读下，以备不时之需 如您还不了解Function的定义，可以先看下2.3【oinone独特之源，元数据与设计原则】对Function的描述，本节主要带大家了解Function元数据构成，能让小伙伴非常清楚oinone从哪些维度来描述Function， 一、元数据说明 FunctionDefinition 元素数据构成 含义 对应注解 备注 namespace 函数命名空间 @Fun("") @Model.model("") @Fun或@Model.model name 技术名称 @Function( name=””, scene={}, summary=””, openLevel=FunctionOpenEnum.REMOTE ) scene 可用场景 见：FunctionSceneEnum description 描述 openLevel 开放级别 见：FunctionOpenEnum fun 编码 @Function.fun("") displayName 显示名称 @Function.Advanced( displayName=””, type=FunctionTypeEnum.UPDATE, dataManager=false, language=FunctionLanguageEnum.JAVA, isBuiltin=false, category=FunctionCategoryEnum.OTHER, group=”pamirs”, version=”1.0.0″, timeout=5000, retries=0, isLongPolling=false, longPollingKey=”userId” longPollingTimeout=1 ) type 函数类型默认：4(改) 见 FunctionTypeEnum dataManager 数据管理器函数默认：false language 函数语言默认：DSL 见FunctionLanguageEnum isBuiltin 是否内置函数 默认：false category 分类 默认：OTHER 见：FunctionCategoryEnum group 系统分组 默认：pamirs version 系统版本 默认：1.0.0 timeout 超时时间 默认：5000 retries 重试次数 默认：0 isLongPolling 是否支持long polling，默认false longPollingKey 支持从上下文中获取字段作为key longPollingTimeout long polling超时时间 默认值为1 transactionConfig 事务配置 JSON存储 见TransactionConfig 配置@PamirsTransactional source 来源 系统推断值，见：FunctionSourceEnum extPointList 函数包含扩展点 系统推断值 module 所属模块 系统推断值 bitOptions 位 系统推断值 attributes 属性 系统推断值 imports 上下文引用 系统推断值 context 上下文变量 系统推断值 codes 函数内容 系统推断值 beanName bean名称 系统推断值 rule 前端规则 系统推断值，一般Action.rule传递下来的 clazz 函数位置 系统推断值 method 函数方法 系统推断值 argumentList 函数参数 系统推断值，List<Argument> returnType 返回值类型 系统推断值 表4-1-7-1 FunctionDefinition TransactionConfig 函数事务管理之配置项事务，具体事务使用详见4.1.8【函数之事务管理】一文。 元素数据构成 含义 对应注解 备注 transactionManager 事务管理器 @PamirsTransactional( transactionManager=””, enableXa=false, isolation=Isolation.DEFAULT, propagation=Propagation.REQUIRED, timeout=-1, readOnly=false, rollbackFor={}, rollbackForClassName={}, noRollbackFor={}, noRollbackForClassName={}, rollbackForExpCode={}, noRollbackForExpCode={} ) enableXa 分布式事务默认为false isolation 事务隔离级别 propagation 事务传递类型 timeout 过期时间 默认：-1 readOnly 只读 默认：false rollbackForExpCode 回滚异常编码 rollbackForExpCode 忽略异常编码 namespace 函数命名空间 系统推断值 fun 函数编码 系统推断值 active…

    史, 昂's avatar 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    1.9K00
  • demo基础写法学习 数式Oinone新人入门

    demo基础写法学习

    1.1.1空工程准备准备工作 1.1.2建应用– 声明编码常量、名称常量– 加注解– 重写packagePrefix方法 1.1.3建完应用改配置 1.1.4建模型– 继承基类– 声明编码常量– 加注解详细文档：https://doc.oinone.top/oio4/9232.html 1.1.5建简单字段– java方式写字段– 加注解 1.1.6配菜单秒懂：定义菜单名称+绑定模型 1.1.7常用注解必填/唯一/搜索条件/隐藏/表单分列/上传图片/只读/提示 1.1.8数据字典(枚举)穷举详细文档：https://doc.oinone.top/oio4/9237.html 1.1.9序列化&多值详细文档：https://doc.oinone.top/oio4/9238.html 1.1.10建立一对多关系 1.1.11建立多对一关系 1.1.12建立多对多关系 1.1.13写方法action写了action,界面上有按钮（相当于springboot的Controller层） 1.1.14写方法Function写Function,界面上没有按钮（相当于springboot的Service层） 1.1.15继承多态详细文档：https://doc.oinone.top/oio4/9246.html 1.1.16扩展点– 自定义扩展点– 平台默认的扩展点详细文档：https://doc.oinone.top/oio4/9248.html 1.1.17拦截器详细文档：https://doc.oinone.top/oio4/9247.html

    红莲's avatar 红莲
    2024年11月5日
    1.2K00

Leave a Reply

Please Login to Comment