1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 864

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 4.7.8.28 版本升级说明-20240824 4.x

    4.7.8.28 版本升级说明-20240824

    版本号： 4.7.8.28 版本发布日期：2024.08.24更新要点：修复工作流日期/时间相关类型转换异常的问题 4.7.8.28 版本 升级内容 修复工作流日期/时间相关类型转换异常的问题 版本包信息 Oinone平台部署及依赖说明（v4.7） 未使用到的版本号请忽略，按项目中使用到的进行替换 <!– 平台基础 –> <pamirs.middleware.version>4.7.8.5</pamirs.middleware.version> <pamirs.k2.version>4.7.8.7</pamirs.k2.version> <pamirs.framework.version>4.7.8.19</pamirs.framework.version> <pamirs.boot.version>4.7.8.12</pamirs.boot.version> <pamirs.distribution.version>4.7.8.5</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>4.7.8</pamirs.metadata.manager> <pamirs.core.version>4.7.8.19</pamirs.core.version> <pamirs.workflow.version>4.7.8.16</pamirs.workflow.version> <pamirs.workbench.version>4.7.8</pamirs.workbench.version> <pamirs.data.visualization.version>4.7.8.1</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>4.7.8</pamirs.designer.common.version> <pamirs.flow.designer.base.version>4.7.8.1</pamirs.flow.designer.base.version> <pamirs.workflow.designer.version>4.7.8</pamirs.workflow.designer.version> <pamirs.model.designer.version>4.7.8</pamirs.model.designer.version> <pamirs.ui.designer.version>4.7.8.9</pamirs.ui.designer.version> <pamirs.data.designer.version>4.7.8</pamirs.data.designer.version> <pamirs.dataflow.designer.version>4.7.8.1</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>4.7.8.1</pamirs.eip.designer.version> 注意镜像名称变化 体验镜像：（所有中间件及前后端服务，包含全部设计器）docker pull harbor.oinone.top/oinone/oinone-designer-full-v4.8:4.8.19 部署镜像：（包含前后端服务，包含全部设计器）docker pull harbor.oinone.top/oinone/oinone-designer-mini-v4.8:4.8.19 流程设计器镜像：（包含前后端服务，仅包含流程设计器）docker pull harbor.oinone.top/oinone/workflow-designer-v4.8:4.8.19 流程设计器镜像：（包含前后端服务，仅包含流程设计器，非外部库镜像）docker pull harbor.oinone.top/oinone/workflow-designer-standard-v4.8:4.8.19 独立部署流程设计器JAR：（包含前后端服务，仅包含流程设计器）pamirs-workflow-designer-boot-4.8.19.jar 后端无代码设计器Jar包启动方法 如果您有任何问题、建议或反馈，请随时联系我们。为了获得最佳体验，请及时更新至最新版本。我们将继续努力改进产品，提供更好的服务。谢谢！

    张博昊的头像 张博昊
    2024年8月24日
    1.4K00
  • 5.0.0升级详细说明及步骤 5.x

    5.0.0升级详细说明及步骤

    注意事项 1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照文档中写的顺序执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 概述 该升级说明仅针对4.7.8以上版本，如正在使用4.7.8之前的版本，可根据升级说明尝试升级，或联系Oinone平台售后获取技术支持。 主要变动 rocketmq配置方式变化 依赖变化 yaml配置变化 用法发生变化 弃用canal监听binlog，改用sql-records模块 依赖变化 yaml配置变化 权限 依赖变化 用法发生变化 需执行迁移脚本 翻译 需执行迁移脚本 集成设计器 需执行迁移脚本 重要事项 本次升级需停机发布，以确保升级过程可以稳健进行。 在升级前，停机后，需妥善备份数据库，以防止无法预知的问题无法正常上线。 强烈建议在测试环境先模拟升级步骤，并根据部署环境建立自己的升级步骤文档及升级执行记录，以确保生产环境可以稳定升级。 本次升级执行的记录应妥善保留一段时间，以确保线上环境出现无法预知问题时进行修复。 升级步骤 发布前确认 admin用户或具备超级管理员的用户是否可以正常登录 是否已创建升级步骤文档及升级执行记录文档 当前时段是否允许停机发布 1. 根据版本说明中提供的版本号进行修改 PS: 下列版本号为5.0.0版本的首个稳定版本，如需要更新到最新版本，请根据5.0.x版本的更新日志查看最新版本。 <!– 平台基础 –> <pamirs.middleware.version>5.0.0</pamirs.middleware.version> <pamirs.k2.version>5.0.1</pamirs.k2.version> <pamirs.framework.version>5.0.2</pamirs.framework.version> <pamirs.boot.version>5.0.1</pamirs.boot.version> <pamirs.distribution.version>5.0.1</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.0.0</pamirs.metadata.manager> <pamirs.core.version>5.0.2</pamirs.core.version> <pamirs.workflow.version>5.0.1</pamirs.workflow.version> <pamirs.workbench.version>5.0.1</pamirs.workbench.version> <pamirs.data.visualization.version>5.0.1</pamirs.data.visualization.version> 2. 所有项目工程修改依赖项 pamirs-auth-api变更为pamirs-auth3-api 原依赖项: <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-auth-api</artifactId> </dependency> 修改后的依赖项: <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-auth3-api</artifactId> </dependency> pamirs-auth-core变更为pamirs-auth3-core 原依赖项: <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-auth-core</artifactId> </dependency> 修改后的依赖项: <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-auth3-core</artifactId> </dependency> 3. 启动工程添加依赖项 <!– rocketmq –> <dependency> <groupId>pro.shushi.pamirs.framework</groupId> <artifactId>pamirs-connectors-event-rocketmq</artifactId> </dependency> <!– auth –> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-auth3-core</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-auth3-view</artifactId> </dependency> <!– auth compatible –> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-auth-compatible</artifactId> </dependency> <!– management center –> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-management-center</artifactId> </dependency> <!– sql-record –> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-sql-record-core</artifactId> </dependency> 其他可能需要补充的依赖项 eip模块从core中分离出view部分代码，如有用到eip模块，则需要检查该依赖项 <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-view</artifactId> </dependency> 主POM依赖缺失可能会导致版本无法正确处理，如缺少以下依赖的，则需要补充缺失的版本管理依赖 <dependency> <groupId>pro.shushi.pamirs</groupId> <artifactId>pamirs-k2</artifactId> <version>${pamirs.k2.version}</version> <type>pom</type> <scope>import</scope> </dependency> <dependency> <groupId>pro.shushi.pamirs</groupId> <artifactId>pamirs-framework</artifactId> <version>${pamirs.framework.version}</version> <type>pom</type> <scope>import</scope> </dependency> <dependency> <groupId>pro.shushi.pamirs.boot</groupId> <artifactId>pamirs-boot-dependencies</artifactId> <version>${pamirs.boot.version}</version> <type>pom</type> <scope>import</scope> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-core-dependencies</artifactId> <version>${pamirs.core.version}</version> <type>pom</type> <scope>import</scope> </dependency> <dependency> <groupId>pro.shushi.pamirs</groupId> <artifactId>pamirs-distribution</artifactId> <version>${pamirs.distribution.version}</version> <type>pom</type> <scope>import</scope> </dependency> 4. 根据环境配置yaml spring: rocketmq: name-server: 127.0.0.1:9876 #ACL配置 #accesskey: xxxx #secretkey: xxx pamirs: boot: modules: – management_center – sql_record event: notify-map:…

    张博昊的头像 张博昊
    2024年5月25日
    1.5K00
  • 【HighGo】后端部署使用HighGo数据库 后端

    【HighGo】后端部署使用HighGo数据库

    HighGo数据库配置 驱动配置 jdbc仓库 https://mvnrepository.com/artifact/com.highgo/HgdbJdbc Maven配置（6.0.1版本可用） <highgo.version>6.0.1.jre8</highgo.version> <dependency> <groupId>com.highgo</groupId> <artifactId>HgdbJdbc</artifactId> <version>${highgo.version}</version> </dependency> JDBC连接配置 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.highgo.jdbc.Driver url: jdbc:highgo://127.0.0.1:5866/oio_base?currentSchema=base,utl_file username: xxxxxx password: xxxxxx initialSize: 5 maxActive: 200 minIdle: 5 maxWait: 60000 timeBetweenEvictionRunsMillis: 60000 testWhileIdle: true testOnBorrow: false testOnReturn: false poolPreparedStatements: true asyncInit: true 连接url配置 官方文档 https://www.highgo.com/document/zh-cn/application/jdbc.html url格式 jdbc:highgo://ip:端口号/数据库名?currentSchema=schema1,schema2 在jdbc连接配置时，${database}和${schema}必须完整配置，不可缺省。 jdbc指定schema时可以在currentSchema后指定多个schema，中间用,分隔，第一个schema为业务库表存放的主schema。 highgo数据库6.0版本里每个数据库默认会带一个utl_file的schema，该模式与文件访问功能有关，需要带在jdbc的schema中，但不能放在第一个。 其他连接参数如需配置，可自行查阅相关资料进行调优。 方言配置 pamirs方言配置 pamirs: dialect: ds: base: type: HighGoDB version: 6 major-version: 6.0.1 biz_data: type: HighGoDB version: 6 major-version: 6.0.1 数据库版本 type version majorVersion 6.0.x HighGo 6 6.0.1 PS：由于方言开发环境为6.0.1版本，其他类似版本（6.0.x）原则上不会出现太大差异，如出现其他版本无法正常支持的，可在文档下方留言。 schedule方言配置 pamirs: event: enabled: true schedule: enabled: true dialect: type: HighGoDB version: 6 major-version: 6.0.1 其他配置 逻辑删除的值配置 pamirs: mapper: global: table-info: logic-delete-value: (EXTRACT(epoch FROM CURRENT_TIMESTAMP) * 1000000 + EXTRACT(MICROSECONDS FROM CURRENT_TIMESTAMP))::bigint Highgo数据库用户初始化及授权 — init oio_base user (user name can be modified by oneself) CREATE USER oio_base WITH PASSWORD 'Test@12345678'; — if using automatic database and schema creation, this is very important. ALTER USER oio_base CREATEDB; SELECT * FROM pg_roles; — if using highgo database, this authorization is required. GRANT CREATE ON DATABASE highgo TO oio_base;

    Gesi的头像 Gesi
    2025年7月10日
    48900
  • 开放平台/接口 怎么使用 集成设计器

    开放平台/接口 怎么使用

    这是调用 Oinone 开放平台 API 的完整教程，适合用于集成调试、自动化测试，或构建第三方对接服务。

    萧炎的头像 萧炎
    2025年7月8日
    95200
  • 【工作流】如何在业务模型的列表中展示工作流的审批按钮 工作流

    【工作流】如何在业务模型的列表中展示工作流的审批按钮

    介绍 当我们需要在业务模型的列表中展示审批的按钮时，我们可以通过自定义的方式完成扩展，这样就可以在业务数据中直接点击该动作按钮跳转到工作流待办详情页处理审批或填写任务 1.先在业务数据模型中新增userTaskList字段存放该条数据的工作流待办数据 @Model.model(DemoItem.MODEL_MODEL) @Model(displayName = "测试商品") public class DemoItem extends IdModel { @Field.one2many @Field(displayName = "工作流任务列表", store = NullableBoolEnum.FALSE, invisible = true) @Field.Relation(store = false) private List<WorkflowUserTask> userTaskList; } 2. 在业务数据的查询方法中查询当前登录用户在工作流任务中的数据 @Function.Advanced(type = FunctionTypeEnum.QUERY, displayName = "查询列表", timeout = 50000) @Function.fun(FunctionConstants.queryPage) @Function(openLevel = {FunctionOpenEnum.LOCAL, FunctionOpenEnum.REMOTE, FunctionOpenEnum.API}) public Pagination<DemoItem> queryPage(Pagination<DemoItem> page, QueryWrapper<DemoItem> queryWrapper) { new DemoItem().queryPage(page, queryWrapper); List<Long> bizIds = page.getContent().stream().map(DemoItem::getId).collect(Collectors.toList()); LambdaQueryWrapper<WorkflowUserTask> userTaskWrapper = new LambdaQueryWrapper<>(); userTaskWrapper.setModel(WorkflowUserTask.MODEL_MODEL); userTaskWrapper.select(WorkflowUserTask::getId, WorkflowUserTask::getNodeDataBizId); userTaskWrapper.eq(WorkflowUserTask::getUserId, PamirsSession.getUserId()) .eq(WorkflowUserTask::getModel, DemoItem.MODEL_MODEL) .eq(WorkflowUserTask::getStatus, WorkflowUserStatusEnum.ACTIVE) .in(WorkflowUserTask::getNodeDataBizId, bizIds); Pagination<WorkflowUserTask> userTaskPagination = new Pagination<>(); userTaskPagination.setCurrentPage(1); userTaskPagination.setSize(200L); userTaskPagination.setSort(new Sort().addOrder(SortDirectionEnum.DESC, WorkflowUserTask::getCreateDate)); List<WorkflowUserTask> userTasks = new WorkflowUserTask().queryListByWrapper(userTaskPagination, userTaskWrapper); Map<Long, WorkflowUserTask> map = userTasks.stream().collect(Collectors.toMap(WorkflowUserTask::getNodeDataBizId, v -> v, (a, b) -> a)); page.getContent().forEach((item) -> { WorkflowUserTask workflowUserTask = map.get(item.getId()); if (workflowUserTask != null) { item.setUserTaskList(Lists.newArrayList(workflowUserTask)); } }); return page; } 3. 在界面设计器拖一个服务端动作到操作列中 4. 将工作流任务列表字段userTaskList拖到表格列中并隐藏该字段 5. 前端自定义跳转到工作流待办详情页的动作组件 import { ActionType, ActionWidget, ClickResult, executeViewAction, RuntimeViewAction, ServerActionWidget, SPI, ViewActionTarget, ViewType, Widget } from '@kunlun/dependencies'; // name为界面设计器拖出的动作名称 @SPI.ClassFactory(ActionWidget.Token({ actionType: ActionType.Server, model: 'demo.DemoItem', name: 'uiServer0358d42817d64fe7908fe48dfce084d3' })) class WorkflowJumpActionWidget extends ServerActionWidget { @Widget.Reactive() public get invisible(): boolean { if (!this.activeRecords?.[0]?.userTaskList?.[0]?.id) { return true; } return super.invisible; } protected async clickAction(): Promise<ClickResult> { const…

    nation的头像 nation
    2024年5月8日
    1.7K00

Leave a Reply

登录后才能评论