1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1965 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • GQL GET 请求生成图片文件流 — 技术实现方案 开发实践

    GQL GET 请求生成图片文件流 — 技术实现方案

    GQL GET 请求生成图片文件流 — 技术实现方案 基于 Oinone/Pamirs GQL GET 文件流机制，参考 FileAction#downloadFormData（查询型）与 ExcelExportTaskAction#createExportTask（同步写流），实现「按业务 ID 动态生成图片并输出文件流」的通用指南。 1. 背景与目标 1.1 需求 在业务场景中，需要根据业务 ID（如订单 ID、模板 ID、单据 ID）在后端动态渲染图片（条码、标签、证书、预览图等），并将结果以文件流形式返回给前端。 1.2 约束 复用 Oinone 既有鉴权、会话、模块路由体系，不新增独立 REST 下载接口。 与 Excel 同步导出保持一致的调用方式：通过 GET 访问 /pamirs/{module}?query=…&variables=…。 前端仅两种消费方式： 页面预览：<img :src="imageUrl" /> 触发下载：window.open(imageUrl, '_blank') 2. 参考实现 2.1 查询型文件流（图片查看应对齐此模式） 图片查看属于只读查询，应使用 query + @Function(type = QUERY)，与 CDN 文件下载一致： // @oinone/kunlun-vue-ui-common/…/UploadService.ts const gql = `query{resourceFileFormQuery{downloadFormData(resourceFileForm:{downloadUrl:"${url}"}){filename}}}`; window.open(UrlHelper.appendBasePath(`/pamirs/file?query=${encodeURIComponent(gql)}`), '_blank'); // pamirs-core/pamirs-file2/…/FileAction.java @Function.Advanced(displayName = "前端下载数据", type = FunctionTypeEnum.QUERY) public ResourceFileForm downloadFormData(ResourceFileForm resourceFileForm) { // 直接写 HttpServletResponse 输出流 response.setContentType("application/octet-stream"); response.setHeader("Content-Disposition", "attachment; filename=" + …); IOUtils.copy(inputStream, response.getOutputStream()); return new ResourceFileForm(); } 图片查看用 GQL.query，不用 GQL.mutation。 2.2 同步写流机制（共用） 无论 query 还是 mutation，文件流输出的底层机制相同：在 Function/Action 执行过程中直接写 HttpServletResponse。 2.2.1 HTTP 网关：RequestController GET /pamirs/{moduleName}?query={gql}&variables={json} POST /pamirs/{moduleName} body: { query, variables } GET 与 POST 走同一执行链路： // pamirs-framework/pamirs-gateways-graph-java/…/RequestController.java @RequestMapping(value = "/pamirs/{moduleName}", method = RequestMethod.GET) public DeferredResult<String> pamirsGet( @PathVariable("moduleName") String moduleName, @RequestParam("query") String gql, @RequestParam(value = "variables", required = false) String variables, …) { PamirsClientRequestParam gqlRequest = new PamirsClientRequestParam(); gqlRequest.setQuery(gql); if (!StringUtils.isBlank(variables)) { gqlRequest.setVariables(JsonUtils.parseMap(variables)); } return pamirsPost(moduleName, gqlRequest, request, response); } variables.path 在 RequestHelper.preparePamirsRequestParam 中经 SessionPrepareApi.prepare 注入会话上下文，与前端 getSessionPath() 对应。 2.2.2 Excel 导出对照：ExcelFileServiceImpl#doExportSync Excel 同步导出使用 mutation（createExportTask），因为会创建导出任务记录；图片查看无此副作用，故用 query。 同步导出的关键：劫持 FileClient.upload，将字节直接写入当前…

    nation's avatar nation
    2026年7月2日
    29000
  • 正式版发布：Oinone 5.3.0 版本 新增微流设计器，邀您体验 5.x

    正式版发布：Oinone 5.3.0 版本 新增微流设计器，邀您体验

    版本号： 5.3.0 版本发布日期：2024.12.05更新要点：新增微流设计器 5.3.0 版本 升级说明及步骤（已升级为5.0.0版本忽略） 5.3.x版本以后无法通过4.7.8版本进行升级，请先升级到5.2.x版本进行权限迁移后再升级至5.3.x版本 升级内容（5.3.0） 设计器yaml配置 pamirs: boot: modules: – microflow_designer 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm run clean && npm install即可自动升级到最新版本 后端版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <oinone.version>5.3.0</oinone.version> <!– 设计器 –> <pamirs.workflow.designer.version>5.3.0</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.3.0</pamirs.model.designer.version> <pamirs.ui.designer.version>5.3.0</pamirs.ui.designer.version> <pamirs.data.designer.version>5.3.0</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.3.0</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.3.0</pamirs.eip.designer.version> <pamirs.microflow.designer.version>5.3.0</pamirs.microflow.designer.version> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi</groupId> <artifactId>oinone-bom</artifactId> <version>${oinone.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> oinone-bom详细版本信息 <!– 平台基础 –> <pamirs.middleware.version>5.2.3</pamirs.middleware.version> <pamirs.k2.version>5.3.0</pamirs.k2.version> <pamirs.framework.version>5.3.0</pamirs.framework.version> <pamirs.boot.version>5.3.0</pamirs.boot.version> <pamirs.distribution.version>5.3.0</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.3.0</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.3.0</pamirs.designer.metadata.version> <pamirs.core.version>5.3.0</pamirs.core.version> <pamirs.workflow.version>5.3.0</pamirs.workflow.version> <pamirs.workbench.version>5.3.0</pamirs.workbench.version> <pamirs.data.visualization.version>5.3.0</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.3.0</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.3.0</pamirs.flow.designer.base.version> 前端版本包信息 { "@kunlun/vue-dependencies": "5.3.0", "@kunlun/vue-ui-antd": "5.3.0", "@kunlun/vue-ui-el": "5.3.0", "@kunlun/vue-mobile-dependencies": "5.3.0", "@kunlun/vue-ui-mobile-vant": "5.3.0", "@kunlun/mobile-workbench": "5.3.0", "@kunlun/data-designer-open-pc": "5.3.0", "@kunlun/data-designer-open-mobile": "5.3.0" } 前端详细版本信息 可通过node_modules/@kunlun查看 { "@kunlun/cache": "5.3.0", "@kunlun/dsl": "5.3.0", "@kunlun/event": "5.3.0", "@kunlun/expression": "5.3.0", "@kunlun/meta": "5.3.0", "@kunlun/request": "5.3.0", "@kunlun/router": "5.3.0", "@kunlun/service": "5.3.0", "@kunlun/shared": "5.3.0", "@kunlun/spi": "5.3.0", "@kunlun/state": "5.3.0", "@kunlun/theme": "5.3.0", "@kunlun/engine": "5.3.0", "@kunlun/vue-admin-base": "5.3.0", "@kunlun/vue-admin-layout": "5.3.0", "@kunlun/vue-dependencies": "5.3.0", "@kunlun/vue-router": "5.3.0", "@kunlun/vue-ui": "5.3.0", "@kunlun/vue-ui-antd": "5.3.0", "@kunlun/vue-ui-common": "5.3.0", "@kunlun/vue-ui-el": "5.3.0", "@kunlun/vue-widget": "5.3.0", "@kunlun/vue-expression": "5.2.0", "@kunlun/vue-mobile-base": "5.3.0", "@kunlun/vue-mobile-dependencies": "5.3.0", "@kunlun/vue-ui-mobile-vant": "5.3.0", "@kunlun/mobile-workbench": "5.3.0", "@kunlun/data-designer-core": "5.3.0", "@kunlun/data-designer-core-mobile": "5.3.0", "@kunlun/data-designer-core-pc": "5.3.0", "@kunlun/data-designer-open-mobile": "5.3.0", "@kunlun/data-designer-open-pc": "5.3.0" } 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.0-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.0-arm64 镜像拉取 镜像或JAR版本：5.3.0 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.0 部署镜像：（包含前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.3:5.3.0 流程设计器镜像：（包含前后端服务，仅包含流程设计器） docker pull…

    张博昊's avatar 张博昊
    2024年12月5日
    1.1K00
  • 协同开发支持 后端

    协同开发支持

    协同开发概述 在使用Oinone进行业务开发中，目前开发方式为: 开发各个本地启动项目 与 设计器环境共库共redis的方式进行。 在多个开发人员同时修改一个模型，或者没有及时更新其他同学提交的代码时，存在业务模型创建的数据表字段被删除的情况，协同开发模式正式为解决这个问题而生。 版本支持 4.7.x版本 已经包含分布式支持。 使用步骤 1、业务后端boot工程引入协同开发包 <dependency> <groupId>pro.shushi.pamirs.distribution</groupId> <artifactId>pamirs-distribution-session-cd</artifactId> </dependency> 2、yml文件配置ownSign pamirs: distribution: session: allMetaRefresh: false # ownSign根据实际情况修改，一般为研发各自名称 ownSign: wangxian 配置说明：allMetaRefresh，全量刷新Redis中的元数据，绝大多数情况下都不需要配置；1）第一次启动或者Redis的缓存被清空后，会自动进行全量。2）配置为true表示强制进行全量，一般都不需要配置；3）【推荐】默认增量的方式(即allMetaRefresh: false)写入redis的数据更少，相应的启动速度也更快4）【强制】ownSign是环境隔离的设置，同一个项目组不同的开发人员之间，ownSign配置成不同的（即各自配置成各自的，达到互不干扰） 3、业务系统DB和缓存的约束1）【强制】业务库和设计器Redis共用，包括Redis的前缀，租户和系统隔离键都需要一样(这三个值影响RedisKey的拼接)2）【强制】base库业务系统与设计器共用；3) 【强制】公共库即pamirs (资源-resource、用户-user、权限-auth、文件-file等)共用；4）【强制】「业务库」数据源的别名必须一直，每个开发人员必须配置到自己的本地 或者是远程库库加一个后缀区分； 4、开发同学在各自访问设计器时，URL最后面增加;ownSign=wangxian后回车，ownSign会被保存到浏览器缓存中，后续访问其他的URL访问不需要再次输入；如果需要去掉ownSign的值，则直接把界面上的悬浮窗删掉即可。说明：访问设计URL上增加的ownSign需要与开发各自本地项目yml文件中ownSign的值相同。（每个开发人员各自用各自的ownSign）PS:具体参数配置详见Oinone协同开发使用手册

    望闲's avatar 望闲
    2023年12月4日
    2.3K00
  • 5.1.0版本bugfix：修复高级首页无法正常配置菜单的问题，请升级对应版本 5.x

    5.1.0版本bugfix：修复高级首页无法正常配置菜单的问题，请升级对应版本

    版本号： 5.1.1 版本发布日期：2024.08.03更新要点：修复高级首页无法正常配置菜单的问题 5.1.1 版本 升级说明及步骤（已升级为5.0.0版本忽略） 此版本与4.7.8版本的兼容方案如下，请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容（5.1.0） 修复高级首页无法正常配置菜单的问题 修复管理权限组无法正常添加角色的问题 修复表达式计算异常的问题 修复行权限报行过滤条件重复的问题 修复新增配置时，设置当前环境报错问题 修复导入导出时表达式枚举异常的问题 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <pamirs.middleware.version>5.0.2</pamirs.middleware.version> <pamirs.k2.version>5.1.1</pamirs.k2.version> <pamirs.framework.version>5.1.1</pamirs.framework.version> <pamirs.boot.version>5.1.1</pamirs.boot.version> <pamirs.distribution.version>5.1.1</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.1.2</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.1.2</pamirs.designer.metadata.version> <pamirs.core.version>5.1.2</pamirs.core.version> <pamirs.workflow.version>5.1.1</pamirs.workflow.version> <pamirs.workbench.version>5.0.2</pamirs.workbench.version> <pamirs.data.visualization.version>5.1.1</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.1.1</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.1.1</pamirs.flow.designer.base.version> <pamirs.workflow.designer.version>5.1.1</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.1.1</pamirs.model.designer.version> <pamirs.ui.designer.version>5.1.1</pamirs.ui.designer.version> <pamirs.data.designer.version>5.1.1</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.1.1</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.1.1</pamirs.eip.designer.version> 注意镜像名称变化 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.1.1-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.1.1-arm64 镜像拉取 镜像或JAR版本：5.1.1.1 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.1.1 部署镜像：（包含前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.1:5.1.1.1 流程设计器镜像：（包含前后端服务，仅包含流程设计器） docker pull harbor.oinone.top/oinone/workflow-designer-v5.1:5.1.1.1 后端镜像：（仅包含后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/designer-backend-v5.1:5.1.1.1 前端镜像：（仅包含前端服务，包含全部设计器） PS：前端镜像版本为独立版本，与其他镜像版本不同。原基础镜像为nginx-1.21.0版本，从5.0.7版本开始使用nginx-1.24.0版为基础镜像 docker pull harbor.oinone.top/oinone/designer-frontend-v5.1:5.1.2 独立部署所有设计器JAR：（后端服务，包含所有设计器）pamirs-designer-boot-v5.1-5.1.1.1.jarpamirs-designer-boot-v5.1-latest.jar 独立部署流程设计器JAR：（后端服务，仅包含流程设计器）pamirs-workflow-designer-boot-v5.1-5.1.1.1.jarpamirs-workflow-designer-boot-v5.1-latest.jar 后端无代码设计器Jar包启动方法 如果您有任何问题、建议或反馈，请随时联系我们。为了获得最佳体验，请及时更新至最新版本。我们将继续努力改进产品，提供更好的服务。谢谢！

    张博昊's avatar 张博昊
    2024年8月3日
    1.6K00
  • 5.5 基础支撑之结算域 Oinone 7天入门到精通

    5.5 基础支撑之结算域

    一、基础介绍 随着企业的业务不断进行数字化改造、业务越来越在线化，给企业财务工作带来几个明显的变化和挑战： 变化： 业务在线后，不同类收费、预售、授信模式的创新层出不穷，需要财务不仅只从事单一传统的会计核算工作，还需要积极地参与到业务中去。 从事后算账事后报账，变成财务业务一体化信息的实时处理 挑战： 业务系统与财务系统明显割裂，业务部门与财务部门各自采用一套软件处理其数据，不能及时沟通信息和协同更正信息。 财务系统往往都是单体的传统架构，凭证处理能力无法适应今天企业的不断爆棚的业务发展。 财务的严谨性与业务的灵活性中间有巨大的鸿沟，导致业务要做一种创新的模式，财务可能是最大阻碍。 不论是传统软件公司喜欢说的业财一体化还是互联网平台公司喜欢说的结算平台，都是为了解决以上变化和挑战的。业财一体化主要是从财务部门角度出发进行，在业务支撑上化被动为主动。结算中心往往是结合财务部门和业务运营部门的需求。如果拿我们下面介绍的，计费、账务、会计三个领域来说，业财一体化项目往往只包括账务和会计，结算中心往往包括：计费、账务、会计。或者说业财一体化弱化了计费，没有纳入企业统一管理，把如何计价给到了业务系统自行决定或者简单处理只要产生应收应付单据（计费详单）就好了。 结算域的是一个相对比较专业的领域，没有一定背景知识甚至连一些专业名词都很难理解，更不用说模型设计了，这里我尽快地简单去描述定位而不是描述细节。而且2.1.9版本的结算领域相对还是没有那么完善，这里介绍的是下个版本的内容，所以大家看当前版本的时候会有一些对不上。 二、子领域职责 图5-5-1 子领域职责 计费 计费的价值 随着企业多业务发展以及融合计费需求，我们需要引入计费模型，对灵活计价模式进行支持，快速支撑未来可能的计费方式等 计费的核心设计理念 所有的计算器都继承自虚函数计算器y=f(x) 平滑兼容-默认斜率计算器y=a+bxY – 求值结果(用下标描述结果是什么)A – 偏移量(计算固定值)B – 斜率(费率值)X – 变量(数量)任何计算都是通过一组斜率组合出来的 利用区间限定定义各种斜率组合出各种算法交易额0-100w：y=0.03x >100w：y=0.02x;时间0:00-6:00：y=0.02x 6:00-24:00：y=0.03xX- 变量，数量 图5-5-2 计费的核心设计理念 更灵活多维区间组合，时间维度、计数器维度、其它属性维度计数器区间斜率限定，比如交易额、空间、使用月份数… 计费的核心功能 通过产品定义运营方案 通过订购产品完成商务合同的签订来决定客户计费策略，或者通过系统产品定义通用计费策略 支撑各类产品的模拟计费 以事件驱动，根据事件、产品、订购关系完成产品路由，并实时产生计费详单 根据计费科目与账务科目，打通账务进行核销 账务 账务的价值 以账户账本为中心，提供记账、账户管理，以及账务的实时监控与持续对账。如果计费是对接业务，那么账务的价值是对接财务系统 账务的核心设计理念 不依赖计费，可独立对接，所有业务最终都需要反馈到帐户账本的操作上，并通过账本明细记录所有操作 账务的核心功能 记账：充值、转账、提现，冻结、解冻，差错处理 账务管理：开户、科目维护 账务查询：对账 会计（暂不在计划内） 会计的价值 结算平台的会计模块不是严格意义上的会计系统，它主要是衔接其他的财务系统，做凭证前置处理。在于汇总凭证，产出业务帐，对接到财务总帐系统，缓解财务系统压力。 三、模型介绍 图5-5-3 模型介绍 四、结算基础流程 图5-5-4 结算基础流程

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.3K00

Leave a Reply

Please Login to Comment