1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1166 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 5.3.0版本bugfix：修复权限节点加载错误的问题，请升级对应版本 5.x

    5.3.0版本bugfix：修复权限节点加载错误的问题，请升级对应版本

    版本号： 5.3.8 版本发布日期：2025.02.12更新要点：修复权限节点加载错误的问题 5.3.0 版本 升级说明及步骤（已升级为5.0.0版本忽略） 5.3.x版本以后无法通过4.7.8版本进行升级，请先升级到5.2.x版本进行权限迁移后再升级至5.3.x版本 升级内容（5.3.0） 修复权限节点加载错误的问题 移动端修复分享、催办、撤销权限控制 发布为开放接口时同步忽略日志频率配置 修复开放接口不能接收header参数的问题 修复开放接口编辑页设置忽略日志频率配置无效的问题 修复详情Tabs组件无法配置默认激活的问题 修复自定义技术名称重复发布数据库开放接口失败问题 修复移动端序号文案显示错误 修复界面设计器弹窗高度全屏时错位展示 [下拉、时间选择]对应的vue组件支持传递「getPopupContainer」属性用来控制下拉的位置 修复移动端流程详情里面的的动作无权限报错 修复VueOioProvider配置了copyrightStatus: false 不生效 移动端登录页的版权信息显隐支持配置 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm run clean && npm install即可自动升级到最新版本 后端版本包信息 Oinone平台部署及依赖说明（v5.3） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <oinone.version>5.3.8.3</oinone.version> <!– 设计器 –> <pamirs.workflow.designer.version>5.3.0</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.3.6</pamirs.model.designer.version> <pamirs.ui.designer.version>5.3.7</pamirs.ui.designer.version> <pamirs.data.designer.version>5.3.1</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.3.1</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.3.3</pamirs.eip.designer.version> <pamirs.microflow.designer.version>5.3.0</pamirs.microflow.designer.version> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi</groupId> <artifactId>oinone-bom</artifactId> <version>${oinone.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> oinone-bom详细版本信息 <!– 平台基础 –> <pamirs.middleware.version>5.2.4</pamirs.middleware.version> <pamirs.k2.version>5.3.1</pamirs.k2.version> <pamirs.framework.version>5.3.6</pamirs.framework.version> <pamirs.boot.version>5.3.3</pamirs.boot.version> <pamirs.distribution.version>5.3.1</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.3.3</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.3.3</pamirs.designer.metadata.version> <pamirs.core.version>5.3.12</pamirs.core.version> <pamirs.workflow.version>5.3.10</pamirs.workflow.version> <pamirs.workbench.version>5.3.0</pamirs.workbench.version> <pamirs.data.visualization.version>5.3.3</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.3.1</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.3.8</pamirs.flow.designer.base.version> 前端版本包信息 { "@kunlun/dependencies": "5.3.19", "@kunlun/vue-ui-antd": "5.3.19", "@kunlun/vue-ui-el": "5.3.19", "@kunlun/mobile-dependencies": "5.3.10", "@kunlun/vue-ui-mobile-vant": "5.3.10", "@kunlun/mobile-workbench": "5.3.6", "@kunlun/data-designer-open-pc": "5.3.0", "@kunlun/data-designer-open-mobile": "5.3.0" } 前端详细版本信息 可通过node_modules/@kunlun查看 { "@kunlun/cache": "5.3.5", "@kunlun/dsl": "5.3.5", "@kunlun/environment": "5.3.5", "@kunlun/event": "5.3.5", "@kunlun/expression": "5.3.5", "@kunlun/meta": "5.3.5", "@kunlun/request": "5.3.5", "@kunlun/router": "5.3.5", "@kunlun/service": "5.3.5", "@kunlun/shared": "5.3.5", "@kunlun/spi": "5.3.5", "@kunlun/state": "5.3.5", "@kunlun/theme": "5.3.5", "@kunlun/engine": "5.3.9", "@kunlun/vue-admin-base": "5.3.19", "@kunlun/vue-admin-layout": "5.3.19", "@kunlun/dependencies": "5.3.19", "@kunlun/vue-router": "5.3.19", "@kunlun/vue-ui": "5.3.19", "@kunlun/vue-ui-antd": "5.3.19", "@kunlun/vue-ui-common": "5.3.19", "@kunlun/vue-ui-el": "5.3.19", "@kunlun/vue-widget": "5.3.19", "@kunlun/vue-expression": "5.3.1", "@kunlun/mobile-dependencies": "5.3.10", "@kunlun/vue-mobile-base": "5.3.10", "@kunlun/vue-ui-mobile-vant": "5.3.10", "@kunlun/mobile-workbench": "5.3.6", "@kunlun/data-designer-core": "5.3.0", "@kunlun/data-designer-core-mobile": "5.3.0", "@kunlun/data-designer-core-pc": "5.3.0", "@kunlun/data-designer-open-mobile": "5.3.0", "@kunlun/data-designer-open-pc": "5.3.0" } 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.8.4-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.8.4-arm64 镜像拉取 镜像或JAR版本：5.3.8.4…

    张博昊's avatar 张博昊
    2025年2月12日
    1.1K00
  • 如何自定义 GraphQL 请求 前端

    如何自定义 GraphQL 请求

    在开发过程中，有时需要自定义 GraphQL 请求来实现更灵活的数据查询和操作。本文将介绍两种主要的自定义 GraphQL 请求方式：手写 GraphQL 请求和调用平台 API。 方式一：手写 GraphQL 请求 手写 GraphQL 请求是一种直接编写查询或变更语句的方式，适用于更复杂或特定的业务需求。以下分别是 query 和 mutation 请求的示例。 1. 手写 Query 请求 以下是一个自定义 query 请求的示例，用于查询某个资源的语言信息列表。 const customQuery = async () => { const query = `{ resourceLangQuery { queryListByEntity(query: {active: ACTIVE, installState: true}) { id name active installState code isoCode } } }`; const result = await http.query('resource', query); this.list = result.data['resourceLangQuery']['queryListByEntity']; }; 说明： query 语句定义了一个请求，查询 resourceLangQuery 下的语言信息。 查询的条件是 active 和 installState，只返回符合条件的结果。 查询结果包括 id、name、active、installState 等字段。 2. 手写 Mutation 请求 以下是一个 mutation 请求的示例，用于创建新的资源分类信息。 const customMutation = async () => { const code = Date.now() const name = `测试${code}` const mutation = `mutation { resourceTaxKindMutation { create(data: {code: "${code}", name: "${name}"}) { id code name createDate writeDate createUid writeUid } } }`; const res = await http.mutate('resource', mutation); console.log(res); }; 说明： mutation 语句用于创建一个新的资源分类。 create 操作的参数是一个对象，包含 code 和 name 字段。 返回值包括 id、createDate 等字段。 方式二：调用平台的 API 平台 API 提供了简化的 GraphQL 调用方法，可以通过封装的函数来发送 query 和 mutation 请求。这种方式减少了手写 GraphQL 语句的复杂性，更加简洁和易于维护。 1. 调用平台的 Mutation API 使用平台的 customMutation 方法可以简化 Mutation 请求。 /** * 自定义请求方法 * @param modelModel 模型编码 * @param method 方法名或方法对象 * @param records 请求参数，可以是单体对象或者对象的列表 * @param requestFields…

    汤乾华's avatar 汤乾华
    2024年9月21日
    2.0K00
  • TableWidget 与 FormWidget 浅析 前端

    TableWidget 与 FormWidget 浅析

    前言：本文主要聚集于 TableWidget和 FormWidget，对两者以外的内容不做赘述。 TableWidget和 FormWidget作为一个基本的渲染模块与 Mask等不同，TableWidget与 FormWidget有着明确的目的，比如 TableWidget就是作为一个表格视图，这种名称中可以看得出来。其将表格的一系列能力聚拢，如单元格，行列选择排序，翻页等等； TableWidget 我们使用表格到底是在使用什么？ 在我们讲述渲染流程前，我们需要提一个问题，在我们使用表格组件时，我们在使用什么，换而言之，我们对表格组件中关注的是什么？应该说我们更关注的是表格所展示的数据。TableWidget或者说整个低代码其实解决的就是这个问题，让我们可以很方便的展示数据。不用关心一些细枝末节 TableWidget 的渲染 TableWidget在整个渲染流程中的负责组装各种 Vue 组件所需要的核心数据或事件回调并传递给其绑定的 Vue 组件即 DefaultTable，如 allowRowClick,rowClickMode等等，这些值会作为 Props 传递给 DefaultTable，DefaultTable则一定意义上充当了一个桥接层，主要做了两件事，处理 Props， 处理 Slot，TableWidget传递给 DefaultTable的 Props 会经过 DefaultTable再次组合，创建新的 Props,同时根据当前的 Props 判断是否有必要新增一些 slot，比如 OioPagination组件是否需要渲染就取决于 Props.showPagination 的值,经过 DefaultTable的处理后， props与 slot会进一步交给 OioTable进行渲染，OioTable则会进一步聚合处理，比如如果没有 defaultSlot则进行空值的渲染，如果存在 footSlot则会构建一个包裹层去包裹它。这些组件协同完成了一个表格的结构，而我们真正关心的数据则由一个个 BaseTableColumnWidget渲染。BaseTableColumnWidget的渲染过程类似于 TableWidget，其负责组装 DefaultTableColumn渲染所需要的 props，然后交给 OioTableColumn进行实际渲染。并且会有多种基于 BaseTableColumnWidget的 widget通过重写 renderDefaultSlot,renderEditSlot,renderContentSlot,renderHeaderSlot等几个 props 实现不同状态，不同类型等组件的渲染。通过 TableWidget与 BaseTableColumnWidget相结合， Table 页面完成了主体框架与内容的渲染。而当数据完成渲染后，不可避免的会有数据交互，比如分页，排序，过滤等，这些交互都由 TableWidget与 BaseTableColumnWidget共同完成。比如排序翻页等，TableWidget会将事件作为 props 向下注入，当事件被调用，TableWidget会进行处理，比如发起请求，或者对内部数据排序等。而除了数据的展示，还有一些动作，即 Action ,Action 被触发时会按照内部的配置进行工作，比如编辑时，将获取 activeRecord，随后触发 Table 的编辑。 TableWidget就是这样去渲染出了一个完整的表格页面。能够完成数据的增删改查等操作 FormWidget FormWidget与 TableWidget一样，也是作为一个渲染模块，但是它与 TableWidget不同的是，FormWidget是作为一个表单视图，其将表单的一系列能力聚拢，如表单提交，表单校验，表单重置等等。其重点在于对数据的增改。所以在提供的能力上也有区别，比如 FormWidget没有提供翻页，排序，过滤等能力，因为这些能力属于表格的能力，而 FormWidget则更关注于表单的能力。提供了数据的存储，提交，校验等能力 Form 在渲染时流程与 Table 大同小异，其同样为三层结构 FormWidget => DefaultForm => FormFieldWidget 一层层向下渲染，不同的在于 FormWidget 更多的关注点在于维护其内部的 FormData 这是整个表单页面所围绕的东西，当页面上的控件发生变化，其变更的值会被收集到 FormData 中，并在后续中使用。同时在编辑已有数据场景下，Form 会将数据加载到 FormData，随后下放给 FormFiledWidget。 异同之处 从介绍中可以看出，Table 侧重于数据的查询展示，Form 则侧重于数据的变动处理，但是抽象的看其核心其实是同一套逻辑，即数据的存储与展示，中间或许会有对数据的某些处理，但是并不是本质上的区别，两者在核心理念上是一致的，即让使用者只需要关心数据本身，而不需要关注于繁琐的视图构造，这是整个低代码甚至前端的发展方向。

    liji2's avatar liji2
    2025年3月25日
    94500
  • 5.0.4版本bugfix：修复远程调用追踪异常的问题，请升级对应版本 5.x

    5.0.4版本bugfix：修复远程调用追踪异常的问题，请升级对应版本

    版本号： 5.0.18 版本发布日期：2024.08.20更新要点： 修复远程调用追踪异常的问题 5.0.18 版本 升级说明及步骤（已升级为5.0.0版本忽略） 此版本与4.7.8版本的兼容方案如下，请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容（5.0.0） 修复远程调用追踪异常的问题 修复调试工具-权限上下文整数溢出的问题 修复手机/邮箱登录未调用resolveAndVerification方法的问题 修复默认Excel模板小数位数未使用元数据定义的问题 分享记录新增paths字段，便于查询权限相关问题 新增Action验证方法名，不允许使用get, set, unset开头的方法名以及不允许使用toString作为方法名。验证方式同函数方法名验证一致。 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <pamirs.middleware.version>5.0.2</pamirs.middleware.version> <pamirs.k2.version>5.0.10</pamirs.k2.version> <pamirs.framework.version>5.0.28</pamirs.framework.version> <pamirs.boot.version>5.0.20</pamirs.boot.version> <pamirs.distribution.version>5.0.10</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.0.1</pamirs.metadata.manager> <pamirs.core.version>5.0.41</pamirs.core.version> <pamirs.workflow.version>5.0.9</pamirs.workflow.version> <pamirs.workbench.version>5.0.3</pamirs.workbench.version> <pamirs.data.visualization.version>5.0.4</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.0.5</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.0.3</pamirs.flow.designer.base.version> <pamirs.workflow.designer.version>5.0.2</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.0.2</pamirs.model.designer.version> <pamirs.ui.designer.version>5.0.16</pamirs.ui.designer.version> <pamirs.data.designer.version>5.0.2</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.0.3</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.0.4</pamirs.eip.designer.version> 注意镜像名称变化 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.0:5.0.18.1-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.0:5.0.18.1-arm64 镜像拉取 镜像或JAR版本：5.0.18.1 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.0:5.0.18.1 部署镜像：（包含前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.0:5.0.18.1 流程设计器镜像：（包含前后端服务，仅包含流程设计器） PS：原workflow-designer-standard-v5.0镜像不再提供，请更换为该镜像。 docker pull harbor.oinone.top/oinone/workflow-designer-v5.0:5.0.18.1 后端镜像：（仅包含后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/designer-backend-v5.0:5.0.18.1 前端镜像：（仅包含前端服务，包含全部设计器） PS：前端镜像版本为独立版本，与其他镜像版本不同。原基础镜像为nginx-1.21.0版本，从5.0.8版本开始使用nginx-1.24.0版为基础镜像 docker pull harbor.oinone.top/oinone/designer-frontend-v5.0:5.0.30 独立部署所有设计器JAR：（后端服务，包含所有设计器）pamirs-designer-boot-v5.0-5.0.18.1.jarpamirs-designer-boot-v5.0-latest.jar 独立部署流程设计器JAR：（后端服务，仅包含流程设计器）pamirs-workflow-designer-boot-v5.0-5.0.18.1.jarpamirs-workflow-designer-boot-v5.0-latest.jar 后端无代码设计器Jar包启动方法 如果您有任何问题、建议或反馈，请随时联系我们。为了获得最佳体验，请及时更新至最新版本。我们将继续努力改进产品，提供更好的服务。谢谢！

    张博昊's avatar 张博昊
    2024年8月20日
    1.1K00
  • 界面设计器教程：如何配置左树右表布局 产品常用功能讲解

    界面设计器教程：如何配置左树右表布局

    相关文章参考 【界面设计器】左树右表：https://doc.oinone.top/designer/uidesigner/63.html 左树右表,支撑不同场景的树表结构：https://doc.oinone.top/dai-ma-shi-jian/5576.html 前端自定义左树右表中的树：https://doc.oinone.top/frontend/18420.html

    shao's avatar shao
    2024年9月30日
    73100

Leave a Reply

Please Login to Comment