1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1299 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 后端环境准备并快速启动 数式Oinone新人入门

    后端环境准备并快速启动

    注意： 部署/启动后端的过程中如果出现问题，请先在 常见问题 中寻找答案。如仍未解决，请及时在群里咨询。 视频教程(点此观看) 一、环境搭建 1. 需要安装的工具 JDK(1.8_221+) Maven IDEA 注意：以上工具需安装在本地开发电脑上，根据实际情况补充所需工具； 已安装请忽略。 2. 安装 JDK(JDK1.8_221+) 检查是否已安装 JDK 在终端中执行以下命令： java -version 如果安装了，会出现版本号。如果没有安装，请选择以下方式下载 JDK： 官网下载（建议下载 JDK 8, installer）：Oracle JDK下载 注意：JDK版本必须高于1.8_221+版本。若无法升级，低于这个版本需要覆盖JCE（覆盖JCE：https://www.cnblogs.com/jinloooong/p/10619353.html） 配置环境变量 打开 Windows 环境变量配置页： 此电脑 => 右键属性 => 系统高级设置 => 环境变量 在用户环境变量中新建变量为JAVA_HOME的项,值为JDK安装之后的路径 变量名：JAVA_HOME 变量值：JDK 安装路径 编辑变量为Path的项添加一个值%JAVA_HOME%\bin 在 PowerShell 或 CMD 中验证，输入java -version，输出类似信息为安装配置成功 3. 安装 Maven 检查是否已安装 Maven 在终端中执行： mvn -v 如果安装了，会出现版本号。如果未安装，请下载 Maven： 推荐安装： Maven 3.6.3 下载 下载后解压。 配置 Maven 私服 之前解压的数式提供的部署包中有两个settings.xml文件： 根据 Maven 版本选择对应的 settings.xml 文件： 3.6.x 及以下的版本使用 settings-3.6.3.xml 3.8.x 及以上的版本使用 settings-3.8.x.xml 具体步骤： 将对应的 settings-3.x.x.xml 复制到 Maven 安装目录的 conf 文件夹里面。 备份已有 settings.xml，将已经存在的settings.xml进行备份(即重命名)。 3.然后将 settings-3.x.x.xml 重命名为 settings.xml。 配置环境变量 在用户环境变量中新建变量为M2_HOME的项,值为Maven安装路径 变量名：M2_HOME 变量值：Maven 安装路径 编辑变量为Path的项添加一个值%M2_HOME%\bin 验证安装 在终端执行： mvn –version 出现下列信息，表示成功了： 如果仍然不成功，请检查环境变量配置。 4. 下载安装 IDEA IntelliJ IDEA Community Edition（社区版）即可，该版本免费且完全够用下载方式： 官网下载：IDEA下载链接 二、IDEA 配置 1. 下载 IDEA 插件 有2种方式： 【推荐】根据不同版本下载不同的idea插件 (联系Oinone获取) 插件下载地址：https://guide.oinone.top/zh-cn/DevManual/Tutorials/setup-guide.html#%E4%B8%89%E3%80%81%E5%90%8E%E7%AB%AF%E9%A2%9D%E5%A4%96%E5%B7%A5%E5%85%B7 1、打开 IDEA，依次点击菜单项 File => Settings => Plugins，找到下载的插件包。 2、找到自己前面下载的插件包: 3、idea插件包输入验证码 Oinone企业版需要激活idea插件，设计器版本可不用激活。 输入数式提供的验证码进行验证, 若激活失败(包括无提示)可数式支持人员询问 2. IDEA 配置（Maven 配置，Annotation 配置） 先打开数式提供的部署包中的后端工程 设置 Maven 的 settings.xml： Maven home path：设置为下载的 Maven 路径。 User settings file：设置为 Maven conf 目录下的 settings.xml。 配置 Java Compiler 为 -parameters。 配置 Annotation Processors，勾选 Enable annotation processing。 编译 Maven 拉取包，执行 mvn install，然后再 reload。 3. 项目启动（修改 yml 文件）…

    红莲's avatar 红莲
    2024年10月31日
    2.2K00
  • 5.5 基础支撑之结算域 Oinone 7天入门到精通

    5.5 基础支撑之结算域

    一、基础介绍 随着企业的业务不断进行数字化改造、业务越来越在线化，给企业财务工作带来几个明显的变化和挑战： 变化： 业务在线后，不同类收费、预售、授信模式的创新层出不穷，需要财务不仅只从事单一传统的会计核算工作，还需要积极地参与到业务中去。 从事后算账事后报账，变成财务业务一体化信息的实时处理 挑战： 业务系统与财务系统明显割裂，业务部门与财务部门各自采用一套软件处理其数据，不能及时沟通信息和协同更正信息。 财务系统往往都是单体的传统架构，凭证处理能力无法适应今天企业的不断爆棚的业务发展。 财务的严谨性与业务的灵活性中间有巨大的鸿沟，导致业务要做一种创新的模式，财务可能是最大阻碍。 不论是传统软件公司喜欢说的业财一体化还是互联网平台公司喜欢说的结算平台，都是为了解决以上变化和挑战的。业财一体化主要是从财务部门角度出发进行，在业务支撑上化被动为主动。结算中心往往是结合财务部门和业务运营部门的需求。如果拿我们下面介绍的，计费、账务、会计三个领域来说，业财一体化项目往往只包括账务和会计，结算中心往往包括：计费、账务、会计。或者说业财一体化弱化了计费，没有纳入企业统一管理，把如何计价给到了业务系统自行决定或者简单处理只要产生应收应付单据（计费详单）就好了。 结算域的是一个相对比较专业的领域，没有一定背景知识甚至连一些专业名词都很难理解，更不用说模型设计了，这里我尽快地简单去描述定位而不是描述细节。而且2.1.9版本的结算领域相对还是没有那么完善，这里介绍的是下个版本的内容，所以大家看当前版本的时候会有一些对不上。 二、子领域职责 图5-5-1 子领域职责 计费 计费的价值 随着企业多业务发展以及融合计费需求，我们需要引入计费模型，对灵活计价模式进行支持，快速支撑未来可能的计费方式等 计费的核心设计理念 所有的计算器都继承自虚函数计算器y=f(x) 平滑兼容-默认斜率计算器y=a+bxY – 求值结果(用下标描述结果是什么)A – 偏移量(计算固定值)B – 斜率(费率值)X – 变量(数量)任何计算都是通过一组斜率组合出来的 利用区间限定定义各种斜率组合出各种算法交易额0-100w：y=0.03x >100w：y=0.02x;时间0:00-6:00：y=0.02x 6:00-24:00：y=0.03xX- 变量，数量 图5-5-2 计费的核心设计理念 更灵活多维区间组合，时间维度、计数器维度、其它属性维度计数器区间斜率限定，比如交易额、空间、使用月份数… 计费的核心功能 通过产品定义运营方案 通过订购产品完成商务合同的签订来决定客户计费策略，或者通过系统产品定义通用计费策略 支撑各类产品的模拟计费 以事件驱动，根据事件、产品、订购关系完成产品路由，并实时产生计费详单 根据计费科目与账务科目，打通账务进行核销 账务 账务的价值 以账户账本为中心，提供记账、账户管理，以及账务的实时监控与持续对账。如果计费是对接业务，那么账务的价值是对接财务系统 账务的核心设计理念 不依赖计费，可独立对接，所有业务最终都需要反馈到帐户账本的操作上，并通过账本明细记录所有操作 账务的核心功能 记账：充值、转账、提现，冻结、解冻，差错处理 账务管理：开户、科目维护 账务查询：对账 会计（暂不在计划内） 会计的价值 结算平台的会计模块不是严格意义上的会计系统，它主要是衔接其他的财务系统，做凭证前置处理。在于汇总凭证，产出业务帐，对接到财务总帐系统，缓解财务系统压力。 三、模型介绍 图5-5-3 模型介绍 四、结算基础流程 图5-5-4 结算基础流程

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.2K00
  • 开放接口怎么使用 集成设计器

    开放接口怎么使用

    开放接口的具体使用 第一步将接口授权的应用变成启用状态 第二步点击查看密钥，复制API Key与API Secret 第三步利用复制下来的API Key与API Secret生成token 第四步调用开放接口

    oinone's avatar oinone
    2023年11月7日
    91600
  • 5.2 CDM之工程模式 Oinone 7天入门到精通

    5.2 CDM之工程模式

    两种工程模式介绍 oinone推荐的两种工程模式都保留互联网特性，如跟业务无关的基础平台还是采用平台化思路建设。二种侧重点差异如下 第一种：比较适合企业采用多供应商联合开发场景，先以业务区分，各个业务线有独立的领域平台，最大限度保持不同业务线的独立性，有利于各个业务线独立发展（目前oinone上层星空系列产品采用这种工程模式，因为我们期望的时候帮助企业构建软件生态，必然要考虑不同供应商联合开发场景） 第二种：比较接近传统互联网架构，先按平台领域区分，如商品领域：商品平台做总工程，但里面按业务区分模块分子工程来保持业务相互独立，相对于第一种把领域的代码放一起，带来好处强化大家思考模型通用性。但不适用于跨公司主体间配合。 图5-2-1 Oinone-CDM的两种工程模式 注意事项： oinone兼容传统互联网架构 不管哪种模式，都需要解决CDM的维护问题 CDM维护的常见问题： Q：CDM层缺少模型怎么办？ A：CDM层模型是逐步完善和丰富的。如果是特定业务自己需要的模型，这类模型无通用性。则加到自己的工程中；如果是通用的，则架构组确定是否需要纳入到CDM。 Q：CDM层已有的模型缺少字段怎么办？ A：CDM层模型的字段也是逐步完善和丰富的，通用的字段在架构组确定后也会被吸收进来 Q：CDM层不同业务线相互影响怎么办？ A：扩展字段最好带上自有前缀标志，如果觉得通用则提交架构组走模型缺少字段加入 Q：CDM层某模型新增加了的字段，但原先业务线已经加了相同含义字段 A：业务线可以把自己的字段related到CDM增加的新字段，并做数据迁移

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.8K00
  • 【PostgreSQL】后端部署使用PostgreSQL数据库 后端

    【PostgreSQL】后端部署使用PostgreSQL数据库

    PostgreSQL数据库配置 驱动配置 Maven配置（14.3版本可用） <postgresql.version>42.6.0</postgresql.version> <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>${postgresql.version}</version> </dependency> 离线驱动下载 postgresql-42.2.18.jarpostgresql-42.6.0.jarpostgresql-42.7.3.jar JDBC连接配置 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: org.postgresql.Driver url: jdbc:postgresql://127.0.0.1:5432/pamirs?currentSchema=base username: xxxxxx password: xxxxxx 连接url配置 暂无官方资料 url格式 jdbc:postgresql://${host}:${port}/${database}?currentSchema=${schema} 在jdbc连接配置时，${database}和${schema}必须完整配置，不可缺省。 其他连接参数如需配置，可自行查阅相关资料进行调优。 方言配置 pamirs方言配置 pamirs: dialect: ds: base: type: PostgreSQL version: 14 major-version: 14.3 pamirs: type: PostgreSQL version: 14 major-version: 14.3 数据库版本 type version majorVersion 14.x PostgreSQL 14 14.3 PS：由于方言开发环境为14.3版本，其他类似版本（14.x）原则上不会出现太大差异，如出现其他版本无法正常支持的，可在文档下方留言。 schedule方言配置 pamirs: event: enabled: true schedule: enabled: true dialect: type: PostgreSQL version: 14 major-version: 14.3 type version majorVersion PostgreSQL 14 14.3 PS：由于schedule的方言在多个版本中并无明显差异，目前仅提供一种方言配置。 其他配置 逻辑删除的值配置 pamirs: mapper: global: table-info: logic-delete-value: (EXTRACT(epoch FROM CURRENT_TIMESTAMP) * 1000000 + EXTRACT(MICROSECONDS FROM CURRENT_TIMESTAMP))::bigint PostgreSQL数据库用户初始化及授权 — init root user (user name can be modified by oneself) CREATE USER root WITH PASSWORD 'password'; — if using automatic database and schema creation, this is very important. ALTER USER root CREATEDB; SELECT * FROM pg_roles; — if using postgres database, this authorization is required. GRANT CREATE ON DATABASE postgres TO root;

    oinone's avatar oinone
    2023年11月1日
    1.7K00

Leave a Reply

Please Login to Comment