1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 611

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 如何自定义表格字段？ 前端

    如何自定义表格字段？

    目录 一、表单字段注册vue组件实现机制 二、表格字段注册vue组件实现机制 三、机制对比分析 四、表格字段完整案例 表单字段注册vue组件实现机制 核心代码 public initialize(props) { super.initialize(props); this.setComponent(VueComponent); return this; } 表格字段注册vue组件实现机制 核心代码 @Widget.Method() public renderDefaultSlot(context: RowContext) { const value = this.compute(context); return [createVNode(CustomTableString, { value })]; } 因为表格有行跟列，每一列都是一个单独的字段（对应的是TS文件），但是每列里面的单元格承载的是Vue组件，所以通过这种方式可以实现表格每个字段对应的TS文件是同一份，而单元格的组件入口是通过renderDefaultSlot函数动态渲染的vue组件，只需要通过createVNode创建对应的vue组件，然后将props传递进去就行 上下文接口 interface RowContext<T = unknown> { /** * 当前唯一键, 默认使用__draftId, 若不存在时，使用第三方组件内置唯一键（如VxeTable使用{@link VXE_TABLE_X_ID}） */ key: string; /** * 当前行数据 */ data: Record<string, unknown>; /** * 当前行索引 */ index: number; /** * 第三方组件原始上下文 */ origin: T; } 机制对比分析 表单字段 vs 表格字段渲染机制对比表 对比维度 表单字段实现方案 表格字段实现方案 绑定时机 initialize 阶段静态绑定 renderDefaultSlot 阶段动态创建 组件声明方式 this.setComponent(Component) createVNode(Component, props) 上下文传递 通过类成员变量访问 显式接收 RowContext 参数 渲染控制粒度 字段级（表单控件） 单元格级 表格字段完整案例 import { SPI, ViewType, BaseFieldWidget, Widget, TableNumberWidget, ModelFieldType, RowContext } from '@kunlun/dependencies'; import CustomTableString from './CustomTableString.vue'; import { createVNode } from 'vue'; @SPI.ClassFactory( BaseFieldWidget.Token({ ttype: ModelFieldType.String, viewType: [ViewType.Table], widget: 'CustomTableStringWidget' }) ) export class CustomTableStringWidget extends BaseTableFieldWidget { @Widget.Method() public renderDefaultSlot(context:RowContext) { const value = this.compute(context); // 当前字段的值 const rowData = context.data // 当前行的数据 const dataSource = this.dataSource // 表格数据 if (value) { // 自定义组件入口在此处 return [createVNode(CustomTableString, { value })]; } return []; } } <template> <div>当前值： {{value}}</div> </template> <script lang="ts"> import { defineComponent } from 'vue'…

    汤乾华的头像 汤乾华
    2023年11月6日
    1.7K00
  • 5.2.0版本feature：新增界面设计器下拉选择组件选择加载函数功能，请升级对应版本 5.x

    5.2.0版本feature：新增界面设计器下拉选择组件选择加载函数功能，请升级对应版本

    版本号： 5.2.14 版本发布日期：2024.12.03更新要点：新增界面设计器下拉选择组件选择加载函数功能 5.2.0 版本 升级说明及步骤（已升级为5.0.0版本忽略） 此版本与4.7.8版本的兼容方案如下，请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容（5.2.0） 新增界面设计器下拉选择组件选择加载函数功能 修复模型设计器创建的数据字典无法在协同开发时使用的问题 修复在删除全部翻译项时无法正确移除翻译文件的问题 修复增强模型默认视图未正确生成的问题 修复逐行导入时异常无法正确显示在excel中的问题 元数据环境保护允许IP/端口配置不同 修复收藏条件删除无权限问题 修复字段按钮打开的视图配置加载函数不生效 修复登录页、忘记密码页翻译不生效 优化界面设计器页面发布失败的错误文案提示 修复登录后语言错误切换的问题 修复导入/导出任务列表的翻译问题 修复使用LOCAL的绝对路径存储时导入失败的问题 优化非应用模块允许导入翻译项 优化默认日期时间相关组件使用语言配置的格式化 修复同步导出时url超长的问题 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 后端版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <oinone.version>5.2.14.1</oinone.version> <!– 设计器 –> <pamirs.workflow.designer.version>5.2.0</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.2.7</pamirs.model.designer.version> <pamirs.ui.designer.version>5.2.10</pamirs.ui.designer.version> <pamirs.data.designer.version>5.2.5</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.2.0</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.2.6</pamirs.eip.designer.version> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi</groupId> <artifactId>oinone-bom</artifactId> <version>${oinone.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> oinone-bom详细版本信息 <!– 平台基础 –> <pamirs.middleware.version>5.2.3</pamirs.middleware.version> <pamirs.k2.version>5.2.11</pamirs.k2.version> <pamirs.framework.version>5.2.15</pamirs.framework.version> <pamirs.boot.version>5.2.14</pamirs.boot.version> <pamirs.distribution.version>5.2.7</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.2.1</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.2.2</pamirs.designer.metadata.version> <pamirs.core.version>5.2.17</pamirs.core.version> <pamirs.workflow.version>5.2.5</pamirs.workflow.version> <pamirs.workbench.version>5.2.0</pamirs.workbench.version> <pamirs.data.visualization.version>5.2.7</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.2.3</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.2.3</pamirs.flow.designer.base.version> 前端版本包信息 { "@kunlun/vue-dependencies": "5.2.26", "@kunlun/vue-ui-antd": "5.2.26", "@kunlun/vue-ui-el": "5.2.26", "@kunlun/vue-mobile-dependencies": "5.2.10", "@kunlun/vue-ui-mobile-vant": "5.2.10", "@kunlun/mobile-workbench": "5.2.1", "@kunlun/data-designer-open-pc": "5.2.1", "@kunlun/data-designer-open-mobile": "5.2.1" } 前端详细版本信息 可通过node_modules/@kunlun查看 { "@kunlun/cache": "5.2.7", "@kunlun/dsl": "5.2.7", "@kunlun/event": "5.2.7", "@kunlun/expression": "5.2.7", "@kunlun/meta": "5.2.7", "@kunlun/request": "5.2.7", "@kunlun/router": "5.2.7", "@kunlun/service": "5.2.7", "@kunlun/shared": "5.2.7", "@kunlun/spi": "5.2.7", "@kunlun/state": "5.2.7", "@kunlun/theme": "5.2.7", "@kunlun/engine": "5.2.8", "@kunlun/vue-admin-base": "5.2.26", "@kunlun/vue-admin-layout": "5.2.26", "@kunlun/vue-dependencies": "5.2.26", "@kunlun/vue-router": "5.2.26", "@kunlun/vue-ui": "5.2.26", "@kunlun/vue-ui-antd": "5.2.26", "@kunlun/vue-ui-common": "5.2.26", "@kunlun/vue-ui-el": "5.2.26", "@kunlun/vue-widget": "5.2.26", "@kunlun/vue-expression": "5.2.0", "@kunlun/vue-mobile-base": "5.2.10", "@kunlun/vue-mobile-dependencies": "5.2.10", "@kunlun/vue-ui-mobile-vant": "5.2.10", "@kunlun/mobile-workbench": "5.2.1", "@kunlun/data-designer-core": "5.2.1", "@kunlun/data-designer-core-mobile": "5.2.1", "@kunlun/data-designer-core-pc": "5.2.1", "@kunlun/data-designer-open-mobile": "5.2.1", "@kunlun/data-designer-open-pc": "5.2.1" } 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.14.3-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.14.3-arm64 镜像拉取 镜像或JAR版本：5.2.14.3 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.14.3…

    张博昊的头像 张博昊
    2024年12月3日
    1.0K00
  • 如何排查启动依赖错误的问题 Oinone FAQ

    如何排查启动依赖错误的问题

    场景 启动的时候可能会出现以下错误提示 启动模块中包含jar包或者数据库中不存在的模块 启动模块中包含不存在的模块 启动模块互斥模块中包含已安装模块 排查项 确保启动工程的application.yml中的启动模块pamirs.boot.modules配置项内的模块在pom.xml内依赖了对应模块的jar包 确保出问题的模块的定义文件内的包扫描前缀packagePrefix方法内的路径定义正确，该路径可以是多个，但是一定要包含模块下所有子工程的路径，包括但不限于api子工程、core工程等，另外该路径也不能和其他模块的配置有重复、交集、包含关系（例如：a模块是 aa.bb.cc, b模块是aa.bb，这样b模块的路径就包含了a模块的） 启动类里spring自带的@ComponentScan.basePackages注解项需要包含所有依赖模块的路径 无代码应用创建的时候，配置了依赖模块。但这个依赖没有被本地安装，该模块就会出问题，要么删除该依赖，要么在代码里添加该依赖。

    nation的头像 nation
    2024年7月18日
    1.5K00
  • 后端基础学习路径 项目实践充电站-后端

    后端基础学习路径

    模块 内容 目标 概念/举例 文档链接 环境搭建 mac环境搭建 按照教程搭建环境 按照教程搭建环境 3.1.2 环境准备（windows版） windows环境搭建 按照教程搭建环境 按照教程搭建环境 3.1.2 环境准备（windows版） 常见问题 常见问题查阅 列举了可能出现的问题，比如mysql 大小写的问题 【附件一】下载说明 元数据-模块 模块 新建一个独立的模块 能力中心的概念，不被用户感知，可被其他模型或者应用使用 3.2.1 构建第一个Module 应用 新建一个独立的应用，依赖新建的模块 可被用户直接操作的模块称为应用 3.2.1 构建第一个Module 元数据-模型 抽象模型 新建一个抽象模型 不会直接用于构建协议和基础设施（如表结构等），而是通过继承的机制供子模型复用其字段和函数。子模型可以是所有类型的模型。 3.3.2 模型的类型 传输模型 新建一个传输模型 没有默认的数据管理器，只有数据构造器，所以在不自定义动作的情况下，传输模型可以打开详情页、新增表单和修改表单和列表页，但是所有的动作全部为窗口动作。传输模型本身不会存储，如果是关联关系字段关联传输模型，可以将传输模型序列化存储在模型的关联关系字段上。因为没有数据管理器，所以传输模型的列表页没有分页能力 3.3.2 模型的类型 存储模型 新建一个存储模型 用于定义数据表结构和数据的增删改查（数据管理器）功能，是直接与连接器进行交互的数据容器。 3.3.2 模型的类型 代理模型 新建一个代理模型 用于代理存储模型的数据管理器能力，同时又可以扩展出非存储数据信息的交互功能的模型 3.3.2 模型的类型 数据管理器 熟悉Oinone数据管理器和数据构造器，并用于上述新建的模型中 数据管理器和数据构造器是Oinone为模型自动赋予的Function是内在数据管理能力，数据管理器针对存储模型是方便在大家编程模式下可以利用数据管理器Function快速达到相关数据操作的目的。数据构造器则主要用于模型进行初始化时字段默认值计算和页面交互 3.3.3 模型的数据管理器 编码生成器 给单据生成指定格式的编码 商品编码按照生产日期+物料编号+缩写生成唯一标识 3.3.4 模型的继承 元数据-模型继承 抽象基类ABSTRACT 新建一个抽象基类 同抽象模型 3.3.4 模型的继承 扩展继承EXTENDS 新建多个模型，完成扩展继承 零售商品模型、b2b商品模型依赖商品中心的商品模型，零售商品模型想加几个字段 3.3.4 模型的继承 多表继承MULTI_TABLE 新建多个模型，完成多表继承 零售商品模型、b2b商品模型依赖商品中心的商品模型，商品类型不同 3.3.4 模型的继承 代理继承PROXY 新建多个模型，完成代理继承 继承方式代理另一个存储模型， 一个代理模型也可以继承任意数量继承相同父类的代理模型 3.3.4 模型的继承 临时继承TRANSIENT 新建多个模型，完成临时继承 同传输模型 3.3.4 模型的继承 枚举与数据字典 可继承枚举 实现可继承枚举 继承BaseEnum可以实现java不支持的继承枚举。同时可继承枚举也可以用编程式动态创建枚举项。可继承枚举也可以兼容无代码枚举 3.3.6 枚举与数据字典 二进制枚举 实现二进制枚举 通过@Dict注解设置数据字典的bit属性或者实现BitEnum接口来标识该枚举值为2的次幂 3.3.6 枚举与数据字典 不可继承枚举 实现不可继承枚举 实现JAVA语言的enum 3.3.6 枚举与数据字典 异常枚举 实现异常枚举 oinone管理异常的规范 3.3.6 枚举与数据字典 元数据-字段 序列化方式 熟悉字段序列化的方式 使用@Field注解的serialize属性来配置非字符串类型属性的序列化与反序列化方式，最终会以序列化后的字符串持久化到存储中。 3.3.7 字段之序列化方式 字段类型 熟悉字段类型 字段是描述实体的特征属性，重点介绍字段的基础类型与复合类型 3.3.8 字段类型之基础与复合 关系与引用 熟悉字段的关系与引用 关系与引用类型才让oinone具备完整的描述模型与模型间关系的能力 3.3.9 字段类型之关系与引用 函数 Function 熟悉函数 Function做为oinone的可管理的执行逻辑单元 3.4.1 构建第一个Function 开放级别与类型 为方法定义不同的开放层级 辑都通过Function来归口统一管理，所以在Function是可以定义其开放级别有API、REMOTE、LOCAL三种类型，配置可多选。 3.4.2 函数的开放级别与类型 继承与多态 熟悉函数继承与多态 面向对象-继承与多态 3.4.3.1 面向对象-继承与多态 面向切面-拦截器 熟悉函数-面向切面-拦截器 拦截器为平台满足条件的函数以非侵入方式根据优先级扩展函数执行前和执行后的逻辑。 3.4.3.2 面向切面-拦截器 扩展点 熟悉函数扩展点 逻辑中会预留扩展点，以便日后应对不同需求时可以灵活替换某一小块逻辑 3.4.3.3 SPI机制-扩展点 交互 菜单 新增业务菜单 模块就是地图，菜单是导航 3.5.1 构建第一个Menu 视图 自定义视图 日常业务开发中对页面进行调整 3.5.2.1 整体介绍 服务器动作ServerAction 熟悉服务器动作 类似于Spring MVC的控制器Controller 3.5.3 Action的类型 窗口动作ViewAction 熟悉窗口动作 站内跳转，通过模型编码和动作名称路由 3.5.3 Action的类型 跳转动作UrlAction 熟悉跳转动作 外链跳转 3.5.3 Action的类型…

    shao的头像 shao
    2024年6月15日
    1.1K00

  • 4.1.7 函数之元数据详解

    介绍Function相关元数据，以及对应代码注解方式。大家还是可以通读下，以备不时之需 如您还不了解Function的定义，可以先看下2.3【oinone独特之源，元数据与设计原则】对Function的描述，本节主要带大家了解Function元数据构成，能让小伙伴非常清楚oinone从哪些维度来描述Function， 一、元数据说明 FunctionDefinition 元素数据构成 含义 对应注解 备注 namespace 函数命名空间 @Fun("") @Model.model("") @Fun或@Model.model name 技术名称 @Function( name=””, scene={}, summary=””, openLevel=FunctionOpenEnum.REMOTE ) scene 可用场景 见：FunctionSceneEnum description 描述 openLevel 开放级别 见：FunctionOpenEnum fun 编码 @Function.fun("") displayName 显示名称 @Function.Advanced( displayName=””, type=FunctionTypeEnum.UPDATE, dataManager=false, language=FunctionLanguageEnum.JAVA, isBuiltin=false, category=FunctionCategoryEnum.OTHER, group=”pamirs”, version=”1.0.0″, timeout=5000, retries=0, isLongPolling=false, longPollingKey=”userId” longPollingTimeout=1 ) type 函数类型默认：4(改) 见 FunctionTypeEnum dataManager 数据管理器函数默认：false language 函数语言默认：DSL 见FunctionLanguageEnum isBuiltin 是否内置函数 默认：false category 分类 默认：OTHER 见：FunctionCategoryEnum group 系统分组 默认：pamirs version 系统版本 默认：1.0.0 timeout 超时时间 默认：5000 retries 重试次数 默认：0 isLongPolling 是否支持long polling，默认false longPollingKey 支持从上下文中获取字段作为key longPollingTimeout long polling超时时间 默认值为1 transactionConfig 事务配置 JSON存储 见TransactionConfig 配置@PamirsTransactional source 来源 系统推断值，见：FunctionSourceEnum extPointList 函数包含扩展点 系统推断值 module 所属模块 系统推断值 bitOptions 位 系统推断值 attributes 属性 系统推断值 imports 上下文引用 系统推断值 context 上下文变量 系统推断值 codes 函数内容 系统推断值 beanName bean名称 系统推断值 rule 前端规则 系统推断值，一般Action.rule传递下来的 clazz 函数位置 系统推断值 method 函数方法 系统推断值 argumentList 函数参数 系统推断值，List<Argument> returnType 返回值类型 系统推断值 表4-1-7-1 FunctionDefinition TransactionConfig 函数事务管理之配置项事务，具体事务使用详见4.1.8【函数之事务管理】一文。 元素数据构成 含义 对应注解 备注 transactionManager 事务管理器 @PamirsTransactional( transactionManager=””, enableXa=false, isolation=Isolation.DEFAULT, propagation=Propagation.REQUIRED, timeout=-1, readOnly=false, rollbackFor={}, rollbackForClassName={}, noRollbackFor={}, noRollbackForClassName={}, rollbackForExpCode={}, noRollbackForExpCode={} ) enableXa 分布式事务默认为false isolation 事务隔离级别 propagation 事务传递类型 timeout 过期时间 默认：-1 readOnly 只读 默认：false rollbackForExpCode 回滚异常编码 rollbackForExpCode 忽略异常编码 namespace 函数命名空间 系统推断值 fun 函数编码 系统推断值 active…

    史, 昂的头像 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    1.2K00

Leave a Reply

登录后才能评论