1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 930

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 3.1.2 环境准备（windows版） Oinone 7天入门到精通

    3.1.2 环境准备（windows版）

    一、后端基础环境准备 安装JDK1.8 ，高于1.8_221以上（下载地址见书籍【附件一】） 打开Windows环境变量配置页 此电脑 => 右键属性 => 系统高级设置 => 环境变量 配置环境变量 在用户环境变量中新建变量为JAVA_HOME的项,值为JDK安装之后的路径 图3-1-27 新建环境变量JAVA_HOM 编辑变量为Path的项添加一个值%JAVA_HOME%\bin 图3-1-28 添加一个环境变量值%JAVA_HOME%\\bin PowerShell或者CMD中验证，输出类似信息为安装配置成功 图3-1-29 验证JAVA是否安装成功 安装 Apache Maven 3.8+ （下载地址见书籍【附件一】） 删除Maven安装目录下的conf/settings.xml 配置mvn的settings，下载附件settings-open.xml，并重命名为settings.xml,建议直接放在【C:\Users\你的用户名.m2】下面。下载地址见oinone开源社区群公告，也可以联系oinone合作伙伴或服务人员 配置环境变量 在用户环境变量中新建变量为M2_HOME的项,值为Maven安装路径 图3-1-30 新建变量M2_HOME 编辑变量为Path的项添加一个值%M2_HOME%\bin 图3-1-31 添加一个值%M2_HOME%\\bin 验证 图3-1-32 验证Maven是否安装成功 安装 Jetbrains IDEA （下载地址见书籍【附件一】） 插件安装 下载地址 密码: mdji 如果IDEA安装了Lombok插件,请禁用Lombok插件 点击菜单项File => Settings => Plugins 图3-1-33 插件管理页面操作示意 下载插件包 (联系Oinone官方客服) 图3-1-35 操作指引 图3-1-36 操作指引 安装MySQL 8 （下载地址见书籍【附件一】） 解压下载的ZIP安装包, 复制到自定义安装目录 设置环境变量 MYSQL_BASE_DIR 提换成MySQL安装目录路径 把 %MYSQL_BASE_DIR%\bin 加入到系统环境变量中 在PowerShell中可以使用 Get-Command mysqld 命令验证环境变量是否配置成功，执行成功输出mysqld的所在路径 初始化 在命令行中执行 mysqld –initialize-insecure –user=mysql 安装 mysqld -install 启动MySQL服务 mysqld -install 设置root用户密码 alter user \’root\’@\’localhost\’ identified with mysql_native_password by \’oinone\’; flush privileges; 安装DB GUI工具 Datagrip、MySQLWorkbench、DBEaver 选其一 ### 安装Git （下载地址见书籍【附件一】） 安装GraphQL测试工具Insomnia（下载地址见书籍【附件一】） 安装RocketMQ（下载地址见书籍【附件一】） 修改安装目录下bin中对应文件的默认配置 a. runserver.cmd文件内容 -Xms2g -Xmx2g为 -Xms1g -Xmx1g b. runbroker.cmd文件内容 -Xms2g -Xmx2g为 -Xms1g -Xmx1g，以及-XX:G1HeapRegionSize=1m 启动RocketMQ NameServer命令 RocketMQ安装目录\bin\mqnamesrv.cmd start 启动RocketMQ Broker命令 RocketMQ安装目录\bin\mqbroker.cmd -n localhost:9876 停止 RocketMQ命令 mqshutdown.cmd broker mqshutdown.cmd namesrv 安装ElasticSearch 版本 8.4.1（下载地址见书籍【附件一】） （非必须） ES运行时需要JDK18及以上版本JDK运行环境, ES安装包中包含了一个JDK18版本 set JAVA_HOME=ES安装路径\jdk 启动 ES安装路径\bin\elasticsearch.bat 停止 ctrl+c 或者关闭cmd、PowerShell的窗口 安装Redis （下载地址见书籍【附件一】） 解压安装包到安装目录 在PowerShell进入到Redis安装目录 在PowerShell中执行.\redis-server.exe，输出图中类似信息（如下图3-35所示）： 图3-1-37 验证redis是否安装成功 新开PowerShell窗口, 进入到Redis安装目录, 执行 .\redis-cli.exe回车，输入 ping 回车输出 PONG即表示Redis安装成功 图3-1-38 验证redis是否安装成功 Zookeeper安装（下载地址见书籍【附件一】） 解压安装, 在 PowerShell中执行 tar zxvf 安装包路径(tar.gz包) -C Zk安装目录 进入 Zk安装目录\conf\ 复制 zoo_sample.cfg文件为 zoo.cfg 修改zoo.cfg文件的内容 （其中dataDir需要自己设定） tickTime=2000…

    史, 昂的头像 史, 昂
    2024年5月23日
    2.9K00
  • 合作伙伴中心 Oinone 7天入门到精通

    合作伙伴中心

    合作伙伴中心包含“公司、个人、部门、岗位、员工”五个菜单。其中公司、个人为合作伙伴，是创建组织架构的前置条件；部门、岗位、员工为组织架构，是选择的公司下的内部架构。 合作伙伴 公司页面中包含常规的增删改查和查看详情。 公司的创建页面如下： 个人暂不支持创建。 组织架构 同样菜单中包含常规的增删改查和查看详情。 组织架构可以依次创建部门、岗位、员工。对应关系为，一个部门下有多个岗位，一个员工可以归属于多个部门和多个岗位。 部门创建页面如下： 岗位创建页面如下： 员工创建页面如下： 合作伙伴中心创建的员工会自动生成可登录的用户并进行绑定。 在用户中心创建的用户仅为可登录用户无法操作管理员工、关联部门。 流程设计器中可选到的操作人分类为“员工、部门、角色”。

    史, 昂的头像 史, 昂
    2024年6月20日
    1.2K00
  • 工作流引入流程概览与流程监控 后端

    工作流引入流程概览与流程监控

    流程概览依赖说明 使用 流程概览 功能前，需要在项目中引入 pamirs-workflow-datavi-core、 pamirs-data-visualization-core依赖，并启动datavi模块： <dependency> <groupId>pro.shushi.pamirs.workflow</groupId> <artifactId>pamirs-workflow-datavi-core</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.data.visualization</groupId> <artifactId>pamirs-data-visualization-core</artifactId> </dependency> 警告： 在 oinone 平台启用「流程概览」能力时，应用启动模块一旦引入 pamirs-workflow-api/core，必须同时引入 pamirs-workflow-datavi-api/core。在多启动模块架构下，严禁出现仅部分启动模块引入 pamirs-workflow-core 而未引入 pamirs-workflow-datavi-core 的情况，否则将导致流程概览相关元数据计算异常，出现删表等情况。 流程概览配置项 流程概览页面内置缓存机制，可通过配置项调整缓存刷新周期及图表展示的数据条数： pamirs: workflow: dashboard: cache-time: 10 # 流程概览缓存刷新时间（单位：分钟），默认 10 分钟 page-size: 10 # 流程运行分析中 4 个图表的展示数量，默认查询前 10 条数据 统计指标说明 引入 pamirs-workflow-datavi-core 依赖后，系统会按照以下规则进行数据同步： 当日数据同步：每小时同步一次当日数据； 昨日数据同步：次日凌晨同步前一日数据。 由于在引入依赖后才会开始执行数据同步，统计指标页提供了「同步」按钮，可用于对历史数据进行补采。即使不执行历史同步，也不会影响核心业务流程，仅会影响统计数据和图表的展示效果。 统计指标数据主要用于 支撑 流程概览 和 流程监控 中的统计图表展示； 为数据分析与可视化提供基础数据。 上述统计数据对工作流的审批、流转等核心业务无任何影响。如有需要，也可以基于流程监控的数据，配合数据可视化设计器，自定义构建符合业务需求的展示页面。

    夜神月的头像 夜神月
    2025年11月17日
    41700
  • 多语言-日期格式国际化 产品使用手册

    多语言-日期格式国际化

    1. 功能概述 多语言切换支持：支持用户填写多种日期、时间格式，并在切换语言后自动匹配对应格式。 自定义格式：用户可以自定义日期时间格式，使其不受语言切换影响。 地址格式：支持不同地区地址格式的自定义。 分位格式设置：支持用户选择数字分组规则，实现千分位或分位的展示效果。 2. 详细配置说明 2.1. 多语言切换 – 创建语言 步骤： 进入“创建语言”页面： 依次选择资源 – 语言 – 语言创建，进入语言创建界面。 填写基本信息： 编码：填写唯一的语言编码，必填。 语言名称：填写语言名称，必填。 语言ISO代码：填写语言的ISO代码，必填。 图标：选择国旗图标，非必填。 书写习惯：选择书写方向（从左向右或从右向左），必填。 一周开始日：选择一周的第一天，必填。 日历：选择日历类型（格里高利历、农历、阳历），必填。 时区：从下拉菜单中选择适合的时区，必填。 日期格式、时间格式：配置用户在不同语言下的6种日期、时间格式，必填。 小数分隔符、整数分隔符：分别设置小数和整数的分隔符，必填。 数字分组规则：默认为3，即千分位设置。 地址格式：设置区域的地址格式，必填。 激活状态：选择激活或无效状态，必填。 当前用户语言：可选择开启或关闭，默认为关。 2.2. 日期与时间格式 步骤： 日期格式：可设置为“年/月/日”、“年月日”等格式。 时间格式：可选择12小时制或24小时制，上午/下午显示等格式。 格式填写规则： 日期格式： 年月日格式需包含年、月、日三个元素。 年月格式仅包含年和月。 时间格式： 时分秒格式包含时、分、秒三个元素。 时分格式仅包含时和分。 注： 在此设置的日期格式应根据个性化爱好自定义日期或时间的显示格式，其中如年月日的格式需要一一对应，不能缺少或增加元素。此处配置的6种格式即对应中文设计器中的6种格式。时间格式同理。 3. 设计器操作指南 3.1. 日期与时间格式自定义 进入设计器： 在设计器中打开属性面板，选择日期或时间相关组件。 选择格式选项： 日期格式：从下拉菜单中选择日期格式，该选项来源于资源-语言-创建语言模块中的填写项。 时间格式：同样从下拉菜单中选择时间格式，选项来源于创建语言模块的填写项。 设置自定义格式： 若选择自定义格式，则在切换语言后该格式将保持不变。 通过手动输入的方式自定义日期或时间格式，无需受限于预设格式。 3.2. 数字分组格式（千分位/分位） 在设计器中配置数字分组： 显示分位：将“显示千分位”修改为“显示分位”，默认为3，即千分位。 配置逻辑： 若局部配置中关闭分位，则数字不进行分组。 若全局配置为2，则局部配置生效的分组规则即为2。 4. 常见问题解答 4.1. Q1. 切换语言后，为什么自定义的日期格式没有变化？ 自定义格式在语言切换后保持不变，以确保用户手动选择的格式优先级最高。 Q2. 日期格式填写不符合要求，提示无法保存？ 日期格式填写需按照要求，确保格式包含正确的元素（如年月日）。 Q3. 如何确保日期时间显示符合当地习惯？ 请在创建语言模块中填写6种日期和时间格式，确保切换语言后格式自动匹配。

    萧炎的头像 萧炎
    2024年11月12日
    2.9K00
  • 技术精要：数据导出与固化实用指南 后端

    技术精要：数据导出与固化实用指南

    数据被认为是企业发展和决策的重要资产。随着业务的不断发展和数据量的不断增加，企业通常需要将数据从不同的源头导出，并将其固化到产品中，以便进行进一步的分析、处理和利用。数据导出与固化的过程涉及到数据的提取、清洗、整合和存储，是确保数据长期有效性和可用性的关键步骤。 了解数据导出与固化的流程和方法对于企业具有重要意义。通过有效的数据导出和固化，企业可以更好地管理和利用数据资源，提升决策的准确性和效率，实现业务的持续发展和创新。本次讨论将重点探讨数据导出与固化的流程和关键步骤，帮助参与者深入了解如何将数据从导出到产品中，为企业数据管理和应用提供有力支持。 1. 数据导出与固化：将数据从导出到产品中的流程 1.1. pom依赖： <dependency> <groupId>pro.shushi.pamirs.metadata.manager</groupId> <artifactId>pamirs-metadata-manager</artifactId> </dependency> 1.2 将第⼆步下载后的⽂件放⼊项⽬中（注意⽂件放置的位置）。放置⼯程的resources 下⾯。例如： 1.3 项⽬启动过程中，将⽂件中的数据导⼊(通常放在core模型的init包下 ⾯)。⽰例代码： package pro.shushi.pamirs.sys.setting.enmu; import com.google.common.collect.Lists; import org.apache.commons.collections4.CollectionUtils; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.ApplicationContext; import org.springframework.stereotype.Component; import pro.shushi.pamirs.boot.common.api.command.AppLifecycleCom mand; import pro.shushi.pamirs.boot.common.api.init.LifecycleCompleted AllInit; import pro.shushi.pamirs.boot.common.extend.MetaDataEditor; import pro.shushi.pamirs.core.common.InitializationUtil; import pro.shushi.pamirs.meta.annotation.fun.extern.Slf4j; import pro.shushi.pamirs.meta.api.dto.meta.Meta; import pro.shushi.pamirs.meta.domain.module.ModuleDefinition; import pro.shushi.pamirs.metadata.manager.core.helper.DesignerIn stallHelper; import pro.shushi.pamirs.metadata.manager.core.helper.WidgetInst allHelper; import java.util.List; import java.util.Map; @Slf4j @Component public class DemoAppMetaInstall implements MetaDataEditor, LifecycleCompletedAllInit { @Autowired private ApplicationContext applicationContext; @Override public void edit(AppLifecycleCommand command, Map<String, Meta> metaMap) { if (!doImport()) { return; } log.info("[设计器业务元数据导⼊]"); InitializationUtil bizInitializationUtil = InitializationUtil.get(metaMap, DemoModule.MODULE_MODULE/ ***改成⾃⼰的Module*/, DemoModule.MODULE_NAME/***改成⾃⼰的 Module*/); DesignerInstallHelper.mateInitialization(bizInitializatio nUtil, "install/meta.json"); log.info("[⾃定义组件元数据导⼊]"); // 写法1: 将组件元数据导⼊到⻚⾯设计器. 只有在安装设计器的 服务中执⾏才有效果 WidgetInstallHelper.mateInitialization(metaMap, "install/widget.json"); // 写法2: 与写法1相同效果 InitializationUtil uiInitializationUtil = InitializationUtil.get(metaMap, "ui_designer", "uiDesigner"); if (uiInitializationUtil != null) { DesignerInstallHelper.mateInitialization(uiInitialization Util, "install/widget.json"); } // 写法3: 业务⼯程和设计器分布式部署,且希望通过业务⼯程导⼊ ⾃定义组件元数据. 业务模块需要依赖⻚⾯设计器模块,然后指定业务模块导 ⼊ DesignerInstallHelper.mateInitialization(bizInitializatio nUtil, "install/widget.json"); } @Override public void process(AppLifecycleCommand command, Map<String, ModuleDefinition> runModuleMap) { if (!doImport()) { return; } log.info("[设计器业务数据导⼊]"); // ⽀持远程调⽤,但是执⾏的⽣命周期必须是 LifecycleCompletedAllInit或之后. 本地如果安装了设计器,则没有要 求 DesignerInstallHelper.bizInitialization("install/ meta.json"); log.info("[⾃定义组件业务数据导⼊]"); // 当开发环境和导⼊环境的⽂件服务不互通时, 可通过指定js和 css的⽂件压缩包,⾃动上传到导⼊环境,并替换导⼊组件数据中的⽂件url // WidgetInstallHelper.bizInitialization("install/ widget.json", "install/widget.zip"); WidgetInstallHelper.bizInitialization("install/ widget.json"); return; } private boolean doImport() { // ⾃定义导⼊判断. 避免⽤于设计的开发环境执⾏导⼊逻辑 String[] envs = applicationContext.getEnvironment().getActiveProfiles(); List<String> envList = Lists.newArrayList(envs); return…

    数式-海波的头像 数式-海波
    2024年2月27日
    2.4K00

Leave a Reply

登录后才能评论