1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1459 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 自定义RSQL占位符(placeholder)及在权限中使用 后端

    自定义RSQL占位符(placeholder)及在权限中使用

    1 自定义RSQL占位符常用场景 统一的数据权限配置 查询表达式的上下文变量扩展 2 自定义RSQL的模板 /** * 演示Placeholder占位符基本定义 * * @author Adamancy Zhang at 13:53 on 2024-03-24 */ @Component public class DemoPlaceHolder extends AbstractPlaceHolderParser { private static final String PLACEHOLDER_KEY = "${thisPlaceholder}"; /** * 占位符 * * @return placeholder */ @Override public String namespace() { return PLACEHOLDER_KEY; } /** * 占位符替换值 * * @return the placeholder replace to the value */ @Override protected String value() { return PamirsSession.getUserId().toString(); } /** * 优先级 * * @return execution order of placeholders, ascending order. */ @Override public Integer priority() { return 0; } /** * 是否激活 * * @return the placeholder is activated */ @Override public Boolean active() { return true; } } 注意事项 在一些旧版本中，priority和active可能不起作用，为保证升级时不受影响，请保证该属性配置正确。 PLACEHOLDER_KEY变量表示自定义占位符使用的关键字，需按照所需业务场景的具体功能并根据上下文语义正确定义。 为保证占位符可以被正确替换并执行，所有占位符都不应该出现重复，尤其是不能与系统内置的重复。 3 占位符使用时的优先级问题 多个占位符在进行替换时，会根据优先级按升序顺序执行，如需要指定替换顺序，可使用Spring的Order注解对其进行排序。 import org.springframework.core.annotation.Order; @Order(0) 4 Oinone平台内置的占位符 占位符 数据类型 含义 备注 ${currentUser} String 当前用户ID 未登录时无法使用 ${currentRoles} Set<String> 当前用户的角色ID集合 未登录时无法使用 5 如何覆盖平台内置的占位符？ 通过指定占位符的优先级，并定义相同的namespace可优先替换。 6 如何定义会话级别的上下文变量？ 在上述模板中，我们使用的是Oinone平台内置的上下文变量进行演示，通常情况下，我们需要根据实际业务场景增加上下文变量，以此来实现所需功能。 下面，我们将根据当前用户获取当前员工ID定义该上下文变量进行演示。 /** * 员工Session * * @author Adamancy Zhang at 14:33 on 2024-03-24 */ @Component public class EmployeeSession implements HookBefore { private static final String SESSION_KEY = "CUSTOM_EMPLOYEE_ID"; @Autowired private DemoEmployeeService demoEmployeeService; public static String getEmployeeId() { return PamirsSession.getTransmittableExtend().get(SESSION_KEY);…

    张博昊's avatar 张博昊
    2024年3月24日
    2.0K00
  • Oinone发布版本一览 Oinone 稳定版本

    Oinone发布版本一览

    点击查看更多版本 20250312 为了更好的服务合作伙伴，便于所有发布版本可以有序迭代和升级，我们开始使用LTS（长期存储）版本对长期维护版本和镜像进行维护。 在未来的版本更新中，我们会将历史版本中需要长期保存版本标记为LTS，这个标记一般出现在一个新版本发布后的1-3个月。 LTS表示以下含义： 不再增加任何新特性的支持，这一点同第二位中版本号的维护一致。 不再主动修复高版本发现的已知BUG。 所有版本的修复迭代将统一使用第四位版本号进行维护，同时第三位小版本号不再更新。 版本迭代将长期使用同一篇发布日志进行维护，根据时间倒序追加在文档前。 7.x 注: 此版本需要使用JDK17环境进行开发和部署 Oinone平台部署及依赖说明（v6.3） 主要特性： 后端升级适配 JDK17 优化全平台界面交互 版本 发布日志 发布时间 主要更新内容摘要 备注 7.0.0 点击查看 20251217 升级 JDK17，优化全平台界面交互 6.x 注: 此版本为JDK8环境支持的最后一个长期存储和维护版本 Oinone平台部署及依赖说明（v6.3） 主要特性： 新增涡轮增加启动加速 新增AI设计器 新增虚拟字段 界面设计器支持下钻 Oinone 正式开源 工作流节点支持：拖拽、缩放、复制、剪切、粘贴等功能 工作流新增自动审批组件 EIP开放应用支持流控 集成设计器新增 MCP 流程设计器优化 优化全平台界面交互 版本 发布日志 发布时间 主要更新内容摘要 备注 6.4.0 点击查看 20251217 优化全平台界面交互 LTS 6.3.7 点击查看 20251217 集成设计器新增 MCP，流程设计器优化 6.3.0 点击查看 20250905 集成设计器新增 MCP，流程设计器优化 6.2.15 点击查看 20250905 Oinone 正式开源 6.2.0 点击查看 20250609 Oinone 正式开源 6.1.4 点击查看 20250612 新增AI设计器、虚拟字段 6.1.0 点击查看 20250418 新增AI设计器、虚拟字段 6.0.2 点击查看 20250418 新增涡轮增加启动加速 6.0.0 点击查看 20250312 新增涡轮增加启动加速 5.7.x 主要特性： 新增打印设计器 新增低无一体 版本 发布日志 发布时间 主要更新内容摘要 备注 5.7.4 点击查看 20250312 新增打印设计器、低无一体 LTS 5.3.x Oinone平台部署及依赖说明（v5.3） 主要特性： 新增微流设计器 版本 发布日志 发布时间 主要更新内容摘要 备注 5.3.9 点击查看 20250312 修复子表格导入导出权限控制异常的问题 LTS 5.3.8 点击查看 20250212 集成设计器支持文件集管理 5.3.7 点击查看 20250124 集成设计器支持文件集管理 5.3.6 点击查看 20250116 弹窗和抽屉新增全屏功能 5.3.5 点击查看 20250107 修复EIP参数转换异常的问题 5.2.x 主要特性： 界面设计器新增与其他设计器结合（调用工作流相关功能、调用集成设计器相关功能等） 流程设计器新增并发节点 数据可视化新增数据库、集成接口数据源 MSSQL（SQLServer）数据库方言支持 KDB（Kingbase8）数据库方言支持 版本 发布日志 发布时间 主要更新内容摘要 备注 5.2.21 点击查看 20250212 修复权限节点加载错误的问题 LTS 5.2.20 点击查看 20250116 修复动作上下文的value配置false不生效 5.2.19 点击查看 20250107 修复EIP参数转换异常的问题 5.2.18 点击查看 20241225 修复日期格式未根据语言配置转换的问题 5.1.x Oinone平台部署及依赖说明（v5.1） 主要特性： 新增元数据多环境在线发布功能 界面设计器新增菜单管理 系统设置新增多首页规则配置 版本 发布日志 发布时间 主要更新内容摘要 备注 5.1.17 点击查看 20241122 修复MQ注册时ConsumerGroup为空导致的异常 LTS…

    张博昊's avatar 张博昊
    2024年8月24日
    3.9K00

  • 李强

    我们常说“在今天所有的不确定性当中，数字化是最大的确定性”，数字化一定会全面改造所有的行业更是确定的。在菜鸟九年的探索中，我们最大的感受是“未来，任何一个物流企业都会是一个技术公司，真正拉开差距的是：技术与实体产业的结合有多深”。菜鸟“简单极致，贴地疾飞”的技术文化也深刻体现了这一点——好的技术要能解决实际问题。数字化并不是简单地上线一个或几个系统，这是一个贴近业务持续迭代的过程，伴随着这个过程，我相信会诞生非常多的创新技术。 在本书中我看到了工程思维在推进技术创新的缩影，把难的问题转化为简单的问题，用成熟实用的技术分而解之。高性能的微服务框架、CDM、元数据、低代码、无代码等，都是当下非常热门的技术课题，Oinone把这一切都有机地结合起来，形成了一种具备先进理念的全新一代软件产品，每一个特性都贴合企业数字化遇到的实际问题。Oinone的产品设计，把“大道至简，软件自造”贯穿始终，用最简单的方式，帮助企业驾驭数字化，相信会给企业带来不一样的体验。 就跟本书提到的“「企业视角由内部管理转向业务在线、生态在线(协同)带来一系列新的诉求」这一大背景下，以及云、端等新技术的发展，对研发人员的需求越来越大，同时要求越来越高，低代码平台是提升研发效率，降低研发成本的核心手段”，低代码已经不是需不需要的问题，而是怎么选的问题。菜鸟网络自身也在推进自有低代码开发平台，我们有幸邀请本书作者陈鹏程来到菜鸟网络进行了分享交流，收获非常大。如您正在选型低代码开发平台，向您推荐这本书，低无一体的Oinone肯定会打动您。 菜鸟网络CTO李强（在宽）

    史, 昂's avatar 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    2.2K00
  • 3.1.1 环境准备（Mac版） Oinone 7天入门到精通

    3.1.1 环境准备（Mac版）

    工欲善其事，必先利其器。 在进行学习前，大家务必先检查环境。为了降低大家环境准备难度，基础环境全程用安装包无脑模式进行环境配置，安装请从附件下载（提供mac版本安装包，其他操作系统请自行网上下载与安装）。 后端相关 基础环境准备 安装 jdk 1.8 （下载地址见书籍【附件一】） 安装 mysql 8.0.26 （下载地址见书籍【附件一】） 安装mysql，并配置环境变量详见本文中的【环境变量设置】部分 如果mysql启动失败则，在命令行加执行以下命令 Shell mysqld –initalize-insecure sudo chmod -R a+rwx /usr/local/mysql/data/ 图3-1-1 mysql启动失败需执行的命令 安装 idea社区版 （官方下载链接见书籍【附件一】） 根据不同版本下载不同的idea插件 (联系Oinone官方客服) b. 点击Preferences菜单（快捷键 comand+,） c. 选择Plugins，进入插件管理页面，接下来按图操作就可以了 d. 图3-1-3 插件管理页面操作示意 e. 选择.zip文件，不需要解压 如果安装了Lombok，请禁用 idea的Java Complier，不然java反射获取方法入参名会变成arg*，导致元数据默认取值出错。或者pom中加入Complier插件，此方法为正解，不然上线也会有问题，我们学习的工程都会选用mvn插件方式 图3-1-4 界面操作示意图 图3-1-5 界面操作示意图 图3-1-6 界面操作示意图 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <configuration> <compilerArgument>-parameters</compilerArgument> <source>${maven.compiler.source}</source> <target>${maven.compiler.source}</target> <encoding>${project.build.sourceEncoding}</encoding> </configuration> </plugin> 图3-1-7 pom文件代码 安装 dataGrip 最新版本的 过期就去删“ ~/Library/Application\ Support/JetBrains/DataGrip202xxxx”相关的目录，无限期试用，或者安装其他mysql GUI 工具 安装 git 2.2.0（下载地址见书籍【附件一】） 安装 GraphQL的客户端工具 Insomnia 第一次使用可以参考3.2.1【构建第一个Module】一文中在模块启动后如何用该工具验证后端启动成功，更多使用技巧自行百度，Insomnia.Core-2022.4.2.dmg.txt(186.9 MB)（下载地址见书籍【附件一】）,下载文件后修改文件名去除.txt后缀 安装 maven ，并配置环境变量（下载地址见书籍【附件一】） 配置mvn的settings，下载附件settings-open.xml，并重命名为settings.xml,建议直接放在~/.m2/下面。下载地址见oinone开源社区群公告，也可以联系oinone合作伙伴或服务人员 把settings.xml拷贝一份到maven安装目录conf目录下 环境变量设置 vi ~/.bash_profile ，并执行 source ～/.bash_profile ##按实际情况设置 export PATH=$PATH:/usr/local/mysql/bin export PATH=$PATH:/usr/local/mysql/support-files export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_0221.jdk/Contents/Home ##替换掉${mavenHome}，为你的实际maven的安装路径 export M2_HOME=${mavenHome} export PATH=$PATH:$M2_HOME/bin 图3-1-8 环境变量设置 查看主机名 #查看主机名 echo $HOSTNAME 图3-1-9 查看主机名 根据主机名，配置/etc/hosts文件。此步如果没有配置，可能导致mac机器在启动模块时出现dubbo超时,从而导致系统启动巨慢，记得把oinonedeMacBook-Pro.local换成自己的主机名 #oinonedeMacBook-Pro.local 需要换成自己对应的主机名，自己的主机名用 echo $HOSMNAME 127.0.0.1 oinonedeMacBook-Pro.local ::1 oinonedeMacBook-Pro.local 图3-1-10 配置/etc/hosts文件 必备中间件安装脚本（rocketmq、zk、redis） zk 下载并解压（下载地址见书籍【附件一】） vi ～/.bash_profile ，追加以下两行，并执行 source ～/.bash_profile #### 替换掉${basePath}，为你的实际安装路径 export ZOOKEEPER_HOME=${basePath}/apache-zookeeper-3.5.8-bin export PATH=$PATH:$ZOOKEEPER_HOME/bin 图3-1-11 配置zk环境变量 启动zk ##启动 zkServer.sh start ##停止 zkServer.sh stop 图3-1-12 启停zk rocketmq （下载地址见书籍【附件一】） vi ～/.bash_profile ，追加以下两行，并执行 source ～/.bash_profile #### 替换掉${basePath}，为你的实际安装路径 export ROECET_MQ_HOME=${basePath}/rocketmq-all-4.7.1-bin-release export PATH=$PATH:$ROECET_MQ_HOME:$ROECET_MQ_HOME/bin 图3-1-13 配置rocketmq环境变量 到bin目录下修改配置文件 runserver.sh 和 runbroker.sh ##注释掉下面一行 ##choose_gc_log_directory ##修改java启动所需内存，按自己实际情况改，1g或者512m JAVA_OPT = "${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m" 图3-1-14 bin目录下修改配置文件 启停rocketmq ##启动 nameserver nohup…

    史, 昂's avatar 史, 昂
    2024年5月23日
    2.5K00

  • 4.1.15 框架之网关协议

    一、多端协议 协议内容格式 请求头 头信息 headerMap "sec-fetch-mode" -> "cors" "content-length" -> "482" "sec-fetch-site" -> "none" "accept-language" -> "zh-CN,zh;q=0.9" "cookie" -> "pamirs_uc_session_id=241af6a1dbba41a4b35afc96ddf15915" "origin" -> "chrome-extension://flnheeellpciglgpaodhkhmapeljopja" "accept" -> "application/json" "host" -> "127.0.0.1:8090" "connection" -> "keep-alive" "content-type" -> "application/json" "accept-encoding" -> "gzip, deflate, br" "user-agent" -> "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.192 Safari/537.36" "sec-fetch-dest" -> "empty" 图4-1-15-1 头信息 headerMap 请求地址 requestUrl 例如 http://127.0.0.1:8090/pamirs/DemoCore?scene=redirectListPage HTTP参数键值对 parameterMap url中queryString在服务端最终会转化为参数键值对。 请求体格式 请求体格式采用GraphQL协议。请求体格式分为API请求和上下文变量。以商品的test接口为例，请求格式如下。 API请求格式 query{ petShopProxyQuery { queryPage(page: {currentPage: 1, size: 1}, queryWrapper: {rsql: "(1==1)"}) { content { income id code creater { id nickname } relatedShopName shopName petTalents { id name } items { id itemName } } size totalPages totalElements } } } 图4-1-15-2 API请求格式 上下文变量 variables 请求策略requestStrategy 名称 类型 说明 checkStrategy CheckStrategyEnum 校验策略：RETURN_WHEN_COMPLETED -?全部校验完成再返回结果RETURN_WHEN_ERROR -?校验错误即返回结果 msgLevel InformationLevelEnum 消息级别：DEBUG("debug", "调试", "调试"),INFO("info", "信息", "信息"),WARN("warn", "警告", "警告"),SUCCESS("success", "成功", "成功"),ERROR("error", "错误", "错误")不设置，则只返回错误消息；上方消息级别清单，越往下级别越高。只有消息的级别高于或等于该设定级别才返回，否则会被过滤。 onlyValidate Boolean 只校验不提交数据 表4-1-15-1 请求策略requestStrategy 上下文变量式例如下。 { "requestStrategy": { "checkStrategy": "RETURN_WHEN_COMPLETED", "msgLevel":"INFO" } } 图4-1-15-3 上下文变量式例 响应体格式 协议响应内容包括data、extensions和errors三部分，extensions和errors是可缺省的。data部分为业务数据返回值。应用业务层可以在extensions中添加API返回值之外的扩展信息。extensions中包含success、messages和extra三部分，success标识请求是否成功。如果业务正确处理并返回，则errors部分为空；如果业务处理返回失败，则将错误信息添加到errors中。 正确响应格式示例如下。 { "data": { "petShopProxyQuery": { "queryPage": { "content": [ { "id": "246675081504233477", "creater": { "id": "10001" }, "relatedShopName": "oinone宠物店铺001", "shopName": "oinone宠物店铺001", "petTalents": […

    史, 昂's avatar 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    1.3K00

Leave a Reply

Please Login to Comment