1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1093 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 3.3.1 构建第一个Model Oinone 7天入门到精通

    3.3.1 构建第一个Model

    定义模型，并配上相应的菜单或配置模块的homepage为该模型，模块就具备了可访问的该模型对应的列表页、新增页、修改页、删除记录和导入导出功能。 都说oinone是以model为驱动，对于模型的理解，希望通过本节跟给大家带来一个初步的认识。 一、构建宠物店铺模型 package pro.shushi.pamirs.demo.api.model; import pro.shushi.pamirs.meta.annotation.Field; import pro.shushi.pamirs.meta.annotation.Model; import pro.shushi.pamirs.meta.base.IdModel; import java.sql.Time; @Model.model(PetShop.MODEL_MODEL) @Model(displayName = "宠物店铺",summary="宠物店铺") public class PetShop extends IdModel { public static final String MODEL_MODEL="demo.PetShop"; @Field(displayName = "店铺名称",required = true) private String shopName; @Field(displayName = "开店时间",required = true) private Time openTime; @Field(displayName = "闭店时间",required = true) private Time closeTime; } 图3-3-1-1 构建宠物店铺模型 配置注解 模型类必需使用@Model注解来标识当前类为模型类。 可以使用@Model.model、@Fun注解模型的模型编码（也表示命名空间），先取@Model.model注解值，若为空则取@Fun注解值，若皆为空则取全限定类名。 使用@Model.model注解配置模型编码，模型编码唯一标识一个模型。 请勿使用Query和Mutation作为模型编码和技术名称的结尾。 上方示例使用Model注解和Field注解来定义一个实体模型。displayName属性最终会作为label展现在前端界面上。 更多Model的详细元数据描述介绍参见4.1.6【模型元数据详解】一文 模型命名规范 模型属性 默认取值规范 命名规则规范 name 默认取model.model的点分割最后一位 1仅支持数字、字母2必须以字母开头3长度必须小于等于128个字符 module 无默认值开发人员定义规范示例：{项目名称}_{模块功能示意名称} 1仅支持数字、大写或小写字母、下划线2必须以字母开头3不能以下划线结尾4长度必须小于等于128个字符 model 默认使用全类名，取lname的值开发人员定义规范示例：{项目名称}.{模块功能示意名称}.{简单类名} 1仅支持数字、字母、点2必须以字母开头3不能以点结尾4长度必须小于等于128个字符 display_name 空字符串 1长度必须小于等于128个字符 lname 符合java命名规范，真实的java全类名，无法指定，要符合model的约束，即为包名+类名 lname是不能定义的，为全类名：包名+类名，和model一样的校验规则：包名和类名的校验 summary 默认使用displayName属性 1不能使用分号2长度必须小于等于128个字符 descripition NULL，注解无法定义 1长度必须小于等于65535个字符 table 默认使用name字段生成表名时，table字段的命名规则约束同样生效（大小驼峰命名转为下划线分割的表名称） 1仅支持数字、字母、下划线2长度必须小于等于128个字符（此限制为系统存储约束，与数据库本身无关） type java属性类型与数据库存储类型可执行转换即可 ModelTypeEnum枚举值 表3-3-1-1 模型命名规范 字段命名规范 字段属性 默认取值规范 命名规则规范 name 默认使用java属性名 1仅支持数字、字母2必须以小写字母开头3长度必须小于等于128个字符 field 默认使用java属性名 与name使用相同命名规则约束 display_name 默认使用name属性 1长度必须小于等于128个字符 lname 使用java属性名，符合java命名规范，真实的属性名称，无法指定 与name使用相同命名规则约束 column 列名为属性名的小驼峰转下划线格式 1仅支持数字、字母、下划线2长度必须小于等于128个字符（此限制为系统存储约束，与数据库本身无关） summary 默认使用displayName属性 1不能使用分号2长度必须小于等于500个字符 表3-3-1-2 字段命名规范 我们重启Demo应用以后，打开Insomnia刷新GraphQL的schema，就可以看到PetShop默认对应的读写服务了 图3-3-1-2 PetShopQuery默认读写服务 图3-3-1-3 PetShopMutatiom默认读写服务 配置模块的主页为宠物商店的列表页 为了方便大家对模型有个更加直观的了解，接下来我们通过前端交互来感受下。 在3.2.2【启动前端工程】一文中，在模块下拉列表中“oinoneDemo工程”还是不能点击的。是因为该模块没有配置主页，我们现在把主页设置为宠物商店的列表页，只需要在DemoModule这个类上增加一个注解@UxHomepage(@UxRoute(PetShop.MODEL_MODEL))，关于该注解的更多说明请查看4.1.4一文中的【UxHomepage注解详解】部分 package pro.shushi.pamirs.demo.api; import org.springframework.stereotype.Component; import pro.shushi.pamirs.boot.base.ux.annotation.action.UxRoute; import pro.shushi.pamirs.boot.base.ux.annotation.navigator.UxHomepage; import pro.shushi.pamirs.demo.api.model.PetShop; import pro.shushi.pamirs.meta.annotation.Module; import pro.shushi.pamirs.meta.base.PamirsModule; import pro.shushi.pamirs.meta.common.constants.ModuleConstants; @Component @Module( name = DemoModule.MODULE_NAME, displayName = "oinoneDemo工程", version = "1.0.0", dependencies = {ModuleConstants.MODULE_BASE} ) @Module.module(DemoModule.MODULE_MODULE) @Module.Advanced(selfBuilt = true, application = true) @UxHomepage(@UxRoute(PetShop.MODEL_MODEL)) public class DemoModule implements PamirsModule { public static final String MODULE_MODULE = "demo_core"; public…

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.8K00
  • 5.2.0版本bugfix：修复EIP参数转换异常的问题，请升级对应版本 5.x

    5.2.0版本bugfix：修复EIP参数转换异常的问题，请升级对应版本

    版本号： 5.2.19 版本发布日期：2025.01.07更新要点：修复EIP参数转换异常的问题 5.2.0 版本 升级说明及步骤（已升级为5.0.0版本忽略） 此版本与4.7.8版本的兼容方案如下，请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容（5.2.0） 修复EIP参数转换异常的问题 修复在特定情况下工作流时间字段转换异常的问题 修复流程参数弹窗样式问题 修复设计器容器里面的字段间距不生效 表格选中事件可以获取vxe-table里面的数据 修复模型设计器导出元数据报错的问题 修复模型设计器修改数据字典校验错误的问题 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 后端版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <oinone.version>5.2.19.2</oinone.version> <!– 设计器 –> <pamirs.workflow.designer.version>5.2.0</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.2.11</pamirs.model.designer.version> <pamirs.ui.designer.version>5.2.14</pamirs.ui.designer.version> <pamirs.data.designer.version>5.2.5</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.2.0</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.2.6</pamirs.eip.designer.version> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi</groupId> <artifactId>oinone-bom</artifactId> <version>${oinone.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> oinone-bom详细版本信息 <!– 平台基础 –> <pamirs.middleware.version>5.2.3</pamirs.middleware.version> <pamirs.k2.version>5.2.11</pamirs.k2.version> <pamirs.framework.version>5.2.17</pamirs.framework.version> <pamirs.boot.version>5.2.16</pamirs.boot.version> <pamirs.distribution.version>5.2.7</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.2.2</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.2.4</pamirs.designer.metadata.version> <pamirs.core.version>5.2.24</pamirs.core.version> <pamirs.workflow.version>5.2.11</pamirs.workflow.version> <pamirs.workbench.version>5.2.0</pamirs.workbench.version> <pamirs.data.visualization.version>5.2.7</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.2.3</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.2.8</pamirs.flow.designer.base.version> 前端版本包信息 { "@kunlun/vue-dependencies": "5.2.35", "@kunlun/vue-ui-antd": "5.2.35", "@kunlun/vue-ui-el": "5.2.35", "@kunlun/vue-mobile-dependencies": "5.2.14", "@kunlun/vue-ui-mobile-vant": "5.2.14", "@kunlun/mobile-workbench": "5.2.5", "@kunlun/data-designer-open-pc": "5.2.1", "@kunlun/data-designer-open-mobile": "5.2.1" } 前端详细版本信息 可通过node_modules/@kunlun查看 { "@kunlun/cache": "5.2.9", "@kunlun/dsl": "5.2.9", "@kunlun/event": "5.2.9", "@kunlun/expression": "5.2.9", "@kunlun/meta": "5.2.9", "@kunlun/request": "5.2.9", "@kunlun/router": "5.2.9", "@kunlun/service": "5.2.9", "@kunlun/shared": "5.2.9", "@kunlun/spi": "5.2.9", "@kunlun/state": "5.2.9", "@kunlun/theme": "5.2.9", "@kunlun/engine": "5.2.12", "@kunlun/vue-admin-base": "5.2.35", "@kunlun/vue-admin-layout": "5.2.35", "@kunlun/vue-dependencies": "5.2.35", "@kunlun/vue-router": "5.2.35", "@kunlun/vue-ui": "5.2.35", "@kunlun/vue-ui-antd": "5.2.35", "@kunlun/vue-ui-common": "5.2.35", "@kunlun/vue-ui-el": "5.2.35", "@kunlun/vue-widget": "5.2.35", "@kunlun/vue-expression": "5.2.1", "@kunlun/vue-mobile-base": "5.2.14", "@kunlun/vue-mobile-dependencies": "5.2.14", "@kunlun/vue-ui-mobile-vant": "5.2.14", "@kunlun/mobile-workbench": "5.2.5", "@kunlun/data-designer-core": "5.2.1", "@kunlun/data-designer-core-mobile": "5.2.1", "@kunlun/data-designer-core-pc": "5.2.1", "@kunlun/data-designer-open-mobile": "5.2.1", "@kunlun/data-designer-open-pc": "5.2.1" } 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.19.3-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.19.3-arm64 镜像拉取 镜像或JAR版本：5.2.19.3 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.19.3 部署镜像：（包含前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.2:5.2.19.3 流程设计器镜像：（包含前后端服务，仅包含流程设计器） docker pull harbor.oinone.top/oinone/workflow-designer-v5.2:5.2.19.3 后端镜像：（仅包含后端服务，包含全部设计器）…

    张博昊's avatar 张博昊
    2025年1月8日
    1.0K00
  • 4.1.25 框架之搜索引擎 Oinone 7天入门到精通

    4.1.25 框架之搜索引擎

    一、使用场景 在碰到大数据量并且需要全文检索的场景，我们在分布式架构中基本会架设ElasticSearch来作为一个常规解决方案。在oinone体系中增强模型就是应对这类场景，其背后也是整合了ElasticSearch。 二、整体介绍 oinone与es整合设计图 图4-1-25-1 Oinone与es整合设计图 基础环境安装 Canal安装 详见4.1.10【函数之触发与定时】一文 修改Canal配置并重启 新增Canal的实例【destinaion: pamirs】，监听分表模型的binlog【filter: demo.demo_core_sharding_model……】用于增量同步 pamirs: middleware: data-source: jdbc-url: jdbc:mysql://localhost:3306/canal_tsdb?useUnicode=true&characterEncoding=utf-8&verifyServerCertificate=false&useSSL=false&requireSSL=false driver-class-name: com.mysql.cj.jdbc.Driver username: root password: oinone canal: ip: 127.0.0.1 port: 1111 metricsPort: 1112 zkClusters: – 127.0.0.1:2181 destinations: – destinaion: pamirschangedata name: pamirschangedata desc: pamirschangedata slaveId: 1235 filter: demo\.demo_core_pet_talent dbUserName: root dbPassword: oinone memoryStorageBufferSize: 65536 topic: CHANGE_DATA_EVENT_TOPIC dynamicTopic: false dbs: – { address: 127.0.0.1, port: 3306 } – destinaion: pamirs id: 1234 name: pamirs desc: pamirs slaveId: 1234 filter: demo\.demo_core_sharding_model_0,demo\.demo_core_sharding_model_1,demo\.demo_core_sharding_model_2,demo\.demo_core_sharding_model_3,demo\.demo_core_sharding_model_4,demo\.demo_core_sharding_model_5,demo\.demo_core_sharding_model_6,demo\.demo_core_sharding_model_7 dbUserName: root dbPassword: oinone memoryStorageBufferSize: 65536 topic: BINLOG_EVENT_TOPIC dynamicTopic: false dbs: – { address: 127.0.0.1, port: 3306 } tsdb: enable: true jdbcUrl: "jdbc:mysql://127.0.0.1:3306/canal_tsdb" userName: root password: oinone mq: rocketmq rocketmq: namesrv: 127.0.0.1:9876 retryTimesWhenSendFailed: 5 dubbo: application: name: canal-server version: 1.0.0 registry: address: zookeeper://127.0.0.1:2181 protocol: name: dubbo port: 20881 scan: base-packages: pro.shushi server: address: 0.0.0.0 port: 10010 sessionTimeout: 3600 图4-1-25-2 修改Canal配置并重启 ES安装 下载安装包官方下载地址，也可以直接下载elasticsearch-8.4.1-darwin-x86_64.tar.gz.txt(361.7 MB)，下载后去除后缀.txt，然后解压文件 替换安装目录/config下的[elasticsearch.yml](elasticsearch)(1 KB)，主要是文件中追加了三个配置 xpack.security.enabled: false xpack.security.http.ssl.enabled: false xpack.security.transport.ssl.enabled: false 图4-1-25-3 elasticsearc.yml追加三个配置 启动 a. 导入环境变量（ES运行时需要JDK18及以上版本JDK运行环境, ES安装包中包含了一个JDK18版本） # export JAVA_HOME=/Users/oinone/Documents/oinone/es/elasticsearch-8.4.1/jdk.app/Contents/Home/ export JAVA_HOME=ES解压安装目录/jdk.app/Contents/Home/ 图4-1-25-4 导入环境变量 b. 运行ES ## nohup /Users/oinone/Documents/oinone/es/elasticsearch-8.4.1/bin/elasticsearch >> $TMPDIR/elastic.log 2>&1 & nohup ES安装目录/bin/elasticsearch >> $TMPDIR/elastic.log 2>&1 & 图4-1-25-5 运行ES 停止ES lsof…

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.4K00
  • 多语言-日期格式国际化 产品使用手册

    多语言-日期格式国际化

    1. 功能概述 多语言切换支持：支持用户填写多种日期、时间格式，并在切换语言后自动匹配对应格式。 自定义格式：用户可以自定义日期时间格式，使其不受语言切换影响。 地址格式：支持不同地区地址格式的自定义。 分位格式设置：支持用户选择数字分组规则，实现千分位或分位的展示效果。 2. 详细配置说明 2.1. 多语言切换 – 创建语言 步骤： 进入“创建语言”页面： 依次选择资源 – 语言 – 语言创建，进入语言创建界面。 填写基本信息： 编码：填写唯一的语言编码，必填。 语言名称：填写语言名称，必填。 语言ISO代码：填写语言的ISO代码，必填。 图标：选择国旗图标，非必填。 书写习惯：选择书写方向（从左向右或从右向左），必填。 一周开始日：选择一周的第一天，必填。 日历：选择日历类型（格里高利历、农历、阳历），必填。 时区：从下拉菜单中选择适合的时区，必填。 日期格式、时间格式：配置用户在不同语言下的6种日期、时间格式，必填。 小数分隔符、整数分隔符：分别设置小数和整数的分隔符，必填。 数字分组规则：默认为3，即千分位设置。 地址格式：设置区域的地址格式，必填。 激活状态：选择激活或无效状态，必填。 当前用户语言：可选择开启或关闭，默认为关。 2.2. 日期与时间格式 步骤： 日期格式：可设置为“年/月/日”、“年月日”等格式。 时间格式：可选择12小时制或24小时制，上午/下午显示等格式。 格式填写规则： 日期格式： 年月日格式需包含年、月、日三个元素。 年月格式仅包含年和月。 时间格式： 时分秒格式包含时、分、秒三个元素。 时分格式仅包含时和分。 注： 在此设置的日期格式应根据个性化爱好自定义日期或时间的显示格式，其中如年月日的格式需要一一对应，不能缺少或增加元素。此处配置的6种格式即对应中文设计器中的6种格式。时间格式同理。 3. 设计器操作指南 3.1. 日期与时间格式自定义 进入设计器： 在设计器中打开属性面板，选择日期或时间相关组件。 选择格式选项： 日期格式：从下拉菜单中选择日期格式，该选项来源于资源-语言-创建语言模块中的填写项。 时间格式：同样从下拉菜单中选择时间格式，选项来源于创建语言模块的填写项。 设置自定义格式： 若选择自定义格式，则在切换语言后该格式将保持不变。 通过手动输入的方式自定义日期或时间格式，无需受限于预设格式。 3.2. 数字分组格式（千分位/分位） 在设计器中配置数字分组： 显示分位：将“显示千分位”修改为“显示分位”，默认为3，即千分位。 配置逻辑： 若局部配置中关闭分位，则数字不进行分组。 若全局配置为2，则局部配置生效的分组规则即为2。 4. 常见问题解答 4.1. Q1. 切换语言后，为什么自定义的日期格式没有变化？ 自定义格式在语言切换后保持不变，以确保用户手动选择的格式优先级最高。 Q2. 日期格式填写不符合要求，提示无法保存？ 日期格式填写需按照要求，确保格式包含正确的元素（如年月日）。 Q3. 如何确保日期时间显示符合当地习惯？ 请在创建语言模块中填写6种日期和时间格式，确保切换语言后格式自动匹配。

    萧炎's avatar 萧炎
    2024年11月12日
    3.1K00
  • Class Component(ts)（v4） 前端

    Class Component(ts)（v4）

    Class Component 一种使用typescript的class声明组件的方式。 IWidget类型声明 IWidget是平台内所有组件的统一接口定义，也是一个组件定义的最小集。 /** * 组件构造器 */ export type WidgetConstructor<Props extends WidgetProps, Widget extends IWidget<Props>> = Constructor<Widget>; /** * 组件属性 */ export interface WidgetProps { [key: string]: unknown; } /** * 组件 */ export interface IWidget<Props extends WidgetProps = WidgetProps> extends DisposableSupported { /** * 获取当前组件响应式对象 * @return this */ getOperator(); /** * 组件初始化 * @param props 属性 */ initialize(props: Props); /** * 创建子组件 * @param constructor 子组件构造器 * @param slotName 插槽名称 * @param props 属性 * @param specifiedIndex 插入/替换指定索引的子组件 */ createWidget<ChildProps extends WidgetProps = WidgetProps>( constructor: WidgetConstructor<ChildProps, IWidget<ChildProps>>, slotName?: string, props?: ChildProps, specifiedIndex?: number ); } Widget Widget是平台实现的类似于Class Component组件抽象基类，定义了包括渲染、生命周期、provider/inject、watch等相关功能。 export abstract class Widget<Props extends WidgetProps = WidgetProps, R = unknown> implements IWidget<Props> { /** * 添加事件监听 * * @param {string} path 监听的路径 * @param {deep?:boolean;immediate?:boolean} options? * * @example * * @Widget.Watch('formData.name', {deep: true, immediate: true}) * private watchName(name: string) { * … todo * } * */ protected static Watch(path: string, options?: { deep?: boolean; immediate?: boolean }); /** * 可以用来处理不同widget之间的通讯，当被订阅的时候，会将默认值发送出去 * * @param {Symbol} name 唯一标示 * @param {unknown} value? 默认值 * * @example *…

    oinone's avatar oinone
    2023年11月1日
    1.6K00

Leave a Reply

Please Login to Comment