1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 547

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 书籍封面 Oinone 7天入门到精通

    书籍封面

    史, 昂的头像 史, 昂
    2024年5月23日
    3.2K00
  • 平台基础服务 平台基础服务

    平台基础服务

    模块 内容 目标 doc 链接 工作台 工作台处理流程 了解工作台用途和熟练查看、处理流程 应用中心 用户中心 创建用户 熟悉用户创建和其他用户相关操作 用户中心 权限 了解权限项 熟悉权限项设置 新版权限操作手册（5.0以上） 了解角色权限 熟悉角色权限操作 新版权限操作手册（5.0以上） 低无一体 上传jar包模式 熟悉上传jar包模式的低无一体操作 7.4 Oinone的低无一体 源码托管模式 熟悉源码托管模式的低无一体操作 7.4 Oinone的低无一体 合作伙伴中心 熟悉合作伙伴中心 创建部门、岗位、员工 合作伙伴中心 应用中心 了解应用中心 了解应用中心 应用中心 文件 了解导入导出产生的文件 了解导入导出产生的文件 文件 翻译 了解如何进行翻译 了解如何进行翻译 翻译 工作流 熟悉工作流程的查看、操作 熟悉工作流程的查看、操作 工作流

    shao的头像 shao
    2024年6月15日
    1.2K00
  • 序列化工具使用问题 问题诊断

    序列化工具使用问题

    后端使用的JSON序列化JsonUtils.toJSONString(nodes);前端使用的JSON序列化PamirsJsonUtils.toJSONString(nodes, SerializerFeature.DisableCircularReferenceDetect, SerializerFeature.WriteDateUseDateFormat, SerializerFeature.BrowserCompatible);注意：用什么工具序列化，就用什么工具反序列化、parse 的时候，要保持一致， 使用PamirsJsonUtils序列化工具主要是为了解决枚举取值错误的问题以及id精度丢失问题。当出现这两个问题的时候，需要使用PamirsJsonUtils 进行序列化。

    yexiu的头像 yexiu
    2024年9月5日
    1.2K00
  • 3.3.8 字段类型之基础与复合 Oinone 7天入门到精通

    3.3.8 字段类型之基础与复合

    模型字段是描述实体的特征属性，本文介绍重点介绍字段的基础类型与复合类型 使用@Field注解来描述模型的字段。如果未配置字段类型，系统会根据Java代码的字段声明类型来自动获取业务类型。建议配置displayName属性来描述字段在前端的显示名称。可以使用defaultValue配置字段的默认值。 一、安装与更新 使用@Field.field来配置字段的不可变更编码。字段一旦安装，无法在对该字段编码值进行修改，之后的字段配置更新会依据该编码进行查找并更新；如果仍然修改该注解的配置值，则系统会将该字段识别为新字段，存储模型会创建新的数据库表字段，而原字段将会rename为废弃字段。 二、字段类型 类型系统由基本类型、复合（组件）类型、引用类型和关系类型四种类型系统构成。通过类型系统描述应用程序、数据库和前端视觉视图如何进行交互，数据及数据间关系如何处理的协议。其中引用类型和关系类型介绍详见3.3.9【字段类型之关系与引用】一文,字段命名规范参见3.3.1【构建第一个Model】一文，这里不再赘述。 基本类型 业务类型 Java类型 数据库类型 规则说明 BINARY ByteByte[] TINYINTBLOB 二进制类型，不推荐使用 INTEGER ShortIntegerLongBigInteger smallintintbigintdecimal(size,0) 整数, 包括整数（10-11位有效数字）、长整数（19-20位有效数字）和大整数（超过19位）。【数据库规则】：默认使用int；如果size小于6则使用smallint；如果size超过6则使用int；如果size超过10位数字，即大于11（包含符号位），则使用长整数bigint；如果size超过19位数字，即大于20（包含符号位），则使用大数decimal。若未配置size，则按Java类型推测。【前端交互规则】：整数使用Number类型，长整数和大整数前后端协议使用字符串类型。 FLOAT FloatDoubleBigDecimal float(M,D)double(M,D)decimal(M,D) 浮点数,?包括单精度浮点数（7-8位有效数字）、双精度浮点数（15-16位有效数字）和大数（超过15位）。【数据库规则】：默认使用单精度浮点数float；如果size超过7位数字，即大于等于8，则使用双精度浮点数double；如果size超过15位数字，即大于等于16，则使用大数decimal。若未配置size，则按Java类型推测。【前端交互规则】：单精度浮点数float和双精度浮点数double使用Number类型（因为都使用IEEE754协议64位进行存储），大数前后端协议使用字符串类型。 BOOLEAN Boolean tinyint(1) 布尔类型，值为1,true(真)或0,false(假) ENUM Enum 与数据字典指定基本类型一致 【前端交互规则】：可选项从ModelField的options字段获取，options字段值为字段指定数据字典子集的JSON序列化字符串。前后端传递的是可选项的name，数据库存储使用可选项的value。multi属性为true，则使用多选控件；multi属性为false，则使用单元控件 STRING String varchar(size) 字符串，size为长度限制默认值参考，前端可以view中覆盖该配置 TEXT String text 多行文本，编辑态组件为多行文本框，长度限制为配置项size值 HTML String text 富文本编辑器 DATETIME java.util.Datejava.sql.Timestamp datetime(fraction)timestamp(fraction) 日期时间类型【数据库规则】：日期和时间的组合，时间格式为?YYYY-MM-DD HH:MM:SS[.fraction]，默认精确到秒，在默认的秒精确度上，可以带小数，最多带6位小数，即可以精确到?microseconds (6 digits) precision。可以通过设置fraction来设置精确小数位数，最终存储在字段的decimal属性上。【前端交互规则】：前端默认使用日期时间控件，根据日期时间类型格式化格式format格式化日期时间 YEAR java.util.Date year 年份类型日期类型【数据库规则】：默认“YYYY”格式表示的日期值【前端交互规则】：前端默认使用年份控件，根据日期类型格式化格式format格式化日期 DATE java.util.Datejava.sql.Date datedate 日期类型【数据库规则】：默认“YYYY-MM-DD”格式表示的日期值【前端交互规则】：前端默认使用日期控件，根据日期类型格式化格式format格式化日期 TIME java.util.Datejava.sql.Time time(fraction)time(fraction) 时间类型【数据库规则】：默认“HH:MM:SS”格式表示的时间值【前端交互规则】：前端默认使用时间控件，根据日期类型格式化格式format格式化日期 表3-3-8-1 字段基本类型 复合类型 业务类型 Java类型 数据库类型 规则说明 MONEY BigDecimal decimal(M,D) 金额，前端使用金额控件，可以使用currency设置币种字段 表3-3-8-2 字段复合类型 不可变更字段 使用immutable属性来描述该字段前后端都无法进行更新操作，系统会忽略不可变更字段的更新操作。 自动生成编码的字段 详见3.3.5【模型编码生成器】一文。 字段的序列化与反序列化 使用@Field注解的serialize属性来配置非字符串类型属性的序列化与反序列化方式，最终会以序列化后的字符串持久化到存储中。 详见3.3.7【字段之序列化方式】一文 前端默认配置 可以使用@Field注解中的以下属性来配置前端的默认视觉与交互规则，也可以在前端设置覆盖以下配置。 @Field(required)，是否必填 @Field(invisible)，是否不可见 @Field(priority)，字段优先级，列表的列使用该属性进行排序 更多前端默认视图配置详见：3.5.4【Ux注解详解】一文，如：readonly是否只读等。 举例 回顾我们前面学习例子 现有PetShop代码如下 package pro.shushi.pamirs.demo.api.model; import pro.shushi.pamirs.core.common.enmu.DataStatusEnum; import pro.shushi.pamirs.demo.api.enumeration.PetShopOptionEnum; import pro.shushi.pamirs.meta.annotation.Field; import pro.shushi.pamirs.meta.annotation.Model; import java.sql.Time; import java.util.List; @Model.model(PetShop.MODEL_MODEL) @Model(displayName = 宠物店铺,summary=宠物店铺,labelFields ={shopName} ) @Model.Code(sequence = DATE_ORDERLY_SEQ,prefix = P,size=6,step=1,initial = 10000,format = yyyyMMdd) public class PetShop extends AbstractDemoIdModel { public static final String MODEL_MODEL=demo.PetShop; @Field(displayName = 店铺编码) private String code; @Field(displayName = 店铺编码2) @Field.Sequence(sequence = DATE_ORDERLY_SEQ,prefix = C,size=6,step=1,initial = 10000,format = yyyyMMdd) private String codeTwo; @Field(displayName = 店铺名称,required = true) private String shopName; @Field(displayName = 开店时间,required = true) private Time openTime; @Field(displayName = 闭店时间,required = true) private Time closeTime; @Field(displayName =…

    史, 昂的头像 史, 昂
    2024年5月23日
    1.3K00
  • 5.x前端升级事项 5.x

    5.x前端升级事项

    1.开放源码注意事项 前端从2024年7月23日发布的5.0.57版本开始，将前端组件相关的源码放到了npm包供大家方便调试和理解，该版本需要在原有启动工程的src目录下新增翻译相关的全局vue插件 插件下载地址 2.搜索区域的数据字典字段支持标签栏写法优化 下图为数据字段标签栏功能示意图 5.x之前是在SearchWidget.ts内通过属性和方法实现，5.x开始剥离出了SearchTabWidget组件来实现 以下为原本在SearchWidget.ts内的方法，现已不再提供 export class SearchWidget extends BaseSearchWidget { @Widget.Reactive() protected get cateFields(): string[]; @Widget.Reactive() protected get topCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showTopCateAll(); @Widget.Reactive() protected get topCateFieldOptions(); @Widget.Reactive() protected get secondCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showSecondCateAll(); @Widget.Reactive() protected get secondCateFieldOptions(); } 迁移到了SearchTabWidget.ts @SPI.ClassFactory( BaseElementWidget.Token({ viewType: ViewType.Search, widget: 'SearchTab' }) ) export class SearchTabWidget extends BaseElementWidget { @Widget.Reactive() protected get cateFields(): string[]; @Widget.Reactive() protected get topCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showTopCateAll(); @Widget.Reactive() protected get topCateFieldOptions(); @Widget.Reactive() protected get secondCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showSecondCateAll(); @Widget.Reactive() protected get secondCateFieldOptions(); } 3.视图动作执行的executeViewAction方法的第一个入参需要提供path参数来控制权限 export class DemoTableStringWidget extends TableStringFieldWidget { // ❌ 错误的写法，完全手写，无法拿到该动作在当前页面的权限路径参数（path) private oldGotoAction() { executeViewAction( { viewType: ViewType.Table, moduleName: 'resource', model: 'resource.ResourceCity', name: 'resource#市', // 注释掉的下面这行的path属性可能是动态的，所以无法在此处写死 // path: 'xxxx' } as RuntimeViewAction ); } // ✅ 正确的写法，将动作配置到当前页面中(不想展示可以隐藏)， // 这样才能在解析页面的时候拿到下面有哪些动作，才可以在权限处管理该页面下的所有动作， // 页面进入后会从后端拿到该页面的所有动作极其权限信息，前端的自定义代码就根据动作名称拿到带了权限信息的“动作Action”实例 private newGotoAction() { const viewAction = this.model.modelActions.find((a) => a.name === 'resource#市'); executeViewAction(viewAction); } }

    nation的头像 nation
    2024年7月23日
    2.4K00

Leave a Reply

登录后才能评论