1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1701 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 蒋江伟

    企业数字化转型经过多年演进，其趋势价值已经毋庸置疑。近些年来，随着流媒体平台的崛起，对企业的营销方式、渠道建设方式甚至供应链都带来了新的挑战，我们可以清晰地感觉到世界每时每刻都在发生变化。在未来的企业竞争中，谁数字化走在前沿，谁就更能掌握主动权。数字化是为了满足业务的持续创新，只有持续创新才能更好的迎接未知变化。而过去很多企业的技术路径是一个采购型的发展路径，买来的ERP和CRM，升级都是各自管各自的，有一天推出一个新概念或者业务发生新需求，又去采购另外一家企业的ERP和CRM，整个替换掉了，烟囱式地迭代演进模式。企业不怕重复建设，怕的是不断重复建设，企业不怕系统延期上线，怕的是错过业务发展的机会窗口。 本书主要介绍了一种全新的数字化构建理念和技术落地方式——用低代码的方式一站式支撑企业的商业场景并能满足商业化持续创新，和其他低代码不同的是：既结合了中台架构，又兼顾了传统企业的IT发展水平，更符合企业数字化发展需求，持续保持企业竞争力，对各行业在做数字化选型的时候有很大的帮助。 很高兴看到阿里校友陈鹏程（本书作者）在这条路上发光发热，也把此书推荐给IT从业者、程序员以及爱好计算机应用软件的所有同学，希望对大家学习新型、更高效的系统构建方式有所启发。 阿里巴巴高级研究员 蒋江伟（小邪）

    史, 昂's avatar 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    3.2K00
  • 前端工程合理注意事项 前后端标准研发流程及工程合理

    前端工程合理注意事项

    相关知识点文档 前端工程结构示例，包括标品和定制层：https://doc.oinone.top/jia-gou-kai-fa/5527.html

    shao's avatar shao
    2024年10月5日
    1.3K00
  • 接口日志 Oinone 7天入门到精通

    接口日志

    记录每个PAPI接口执行日志，接口的响应结果、执行时间、执行时长等信息，可查看接口详情。 接口详情

    史, 昂's avatar 史, 昂
    2023年5月23日
    1.5K00
  • O2M、M2O、M2M关系字段配置问题以及问题排查路径 问题诊断

    O2M、M2O、M2M关系字段配置问题以及问题排查路径

    M2O关系字段 配置示例： @Field(displayName = “教师关联学生”) @Field.many2one @Field.Relation(relationFields = {“studentName”}, referenceFields = {“name”}) private Student students; 解析： 在这个多对一关系中，studentName为本模型的字段，name为Student的字段，这个多对一关系通过这两个字段关联起来。 在保存该关联关系时，会将name的值带到studentName里并保存在当前模型中（many） studentName字段必须是存储字段，因为在查询many的数据的时候是通过这个字段进行查询的。 name必须在关系模型即Student里面定义（one），studentName在本模型里面定义不定义都可以，如果没有的话会在本模型中创建该字段。 常见问题： 启动报错：根据报错内容进行相应修改 保存报错：Duplicate entry '******' for key 'PRIMARY'，报这个错是因为studentName是唯一键，在将相同name的值赋值给studentName时导致唯一键冲突。其他关系也会有此情况。 O2M关系字段 配置示例： @Field(displayName = "教师关联宠物") @Field.one2many @Field.Relation(relationFields = {"id"}, referenceFields = {"teacherId"}) private List<PetShop> studentsCode; 解析： 在这个一对多关系中，id为本模型的字段，teacherId为PetShop的字段，这个一对多关系通过这两个字段关联起来。 在保存该关联关系时，会将id的值带到teacherId里并保存在PetShop模型中（many） id必须在本模型中定义（one）, teacherId在PetShop模型里面定义不定义都可以，如果没有的话会在PetShop模型中创建该字段。 常见问题： 启动报错：根据报错内容进行相应修改 保存报错：请先保存关联关系模型：如果 id 为自定义字段 与 PetShop进行关联，那么保存关联关系时必须给id 赋值，不然会报错 M2M关系字段 配置示例1： @Field.many2many(through = OrderRelLogistics.MODEL_MODEL, relationFields = {"parentOrderId"}, referenceFields = {"logisticsBillId"}) @Field.Relation(relationFields = {"id"}, referenceFields = {"id"}) @Field(displayName = "物流单") private List<LogisticsBill> logisticsBillList; 解析： 在这个多对多关系中，id（左）为本模型的字段，id（右）为PetShop的字段。OrderRelLogistics.MODEL_MODEL为中间表，在保存关联关系时中间表会维护双方的关系字段，id（左）的值写到中间表的parentOrderId字段，id（右）的值写到中间表的logisticsBillId字段。 常见问题： 保存报错，请先保存关联关系模型：如果id（左）为在本模型自定义的字段，则需要在保存关联关系的时候的时候将该自定义赋值，这样才能正确保存关联关系。 配置示例2： 新增TalentTypeEnum @Dict(dictionary = TalentTypeEnum.DICTIONARY,displayName = “达人类型”) public class TalentTypeEnum extends BaseEnum { public static final String DICTIONARY =”top.TalentTypeEnum”; public final static TalentTypeEnum DOG =create(“DOG”,1,”狗达人”,”狗达人”); public final static TalentTypeEnum CAT =create(“CAT”,2,”猫达人”,”猫达人”); } 中间表定义 @Model.model(PetItemRelPetTalent.MODEL_MODEL) @Model(displayName = “中间表”, summary = “中间表”) public class PetItemRelPetTalent extends BaseRelation { public static final String MODEL_MODEL = “top.PetItemRelPetTalent”; @Field.String @Field(displayName = “商店ID”) private String petItemId; @Field.String @Field(displayName = “宠物ID”) private String petTalentId; @Field.String @Field(displayName = “宠物类型”) private TalentTypeEnum talentType; } 关系字段定义（关联关系中，使用”##“包括定义常量，这里定义常量"test"） @Field(displayName = “推荐达人”) @Field.many2many( through = PetItemRelPetTalent.MODEL_MODEL, relationFields = {“petItemId”}, referenceFields = {“petTalentId”,”talentType”} ) @Field.Relation(relationFields = {“id”}, referenceFields = {“id”, “#2#”})…

    yexiu's avatar yexiu
    2024年8月9日
    2.1K00
  • 3.4.3.3 SPI机制-扩展点 Oinone 7天入门到精通

    3.4.3.3 SPI机制-扩展点

    扩展点结合拦截器的设计，oinone可以点、线、面一体化管理Function 扩展点用于扩展函数逻辑。扩展点类似于SPI机制（Service Provider Interface），是一种服务发现机制。这一机制为函数逻辑的扩展提供了可能。 一、构建第一个扩展点 自定义扩展点（举例） 在我们日常开发中，随着对业务理解的深入，往往还在一些逻辑中会预留扩展点，以便日后应对不同需求时可以灵活替换某一小块逻辑。 在3.3.4【模型的继承】一文中的PetCatItemQueryService,是独立新增函数只作公共逻辑单元。现在我们给它的实现类增加一个扩展点。在PetCatItemQueryServiceImpl的queryPage方法中原本会先查询PetCatType列表，我们这里假设这个逻辑随着业务发展未来会发生变化，我们可以预先预留【查询萌猫类型扩展点】 Step1 新增扩展点定义PetCatItemQueryCatTypeExtpoint 扩展点命名空间：在接口上用@Ext声明扩展点命名空间。会优先在本类查找@Ext，若为空则往接口向上做遍历查找，返回第一个查找到的@Ext.value注解值，使用该值再获取函数的命名空间；如果未找到，则返回扩展点全限定类名。所以我们这里扩展点命名空间为：pro.shushi.pamirs.demo.api.extpoint.PetCatItemQueryCatTypeExtpoint 扩展点技术名称：先取@ExtPoint.name，若为空则取扩展点接口方法名。所以我们这里技术名为queryCatType package pro.shushi.pamirs.demo.api.extpoint; import pro.shushi.pamirs.demo.api.model.PetCatType; import pro.shushi.pamirs.meta.annotation.Ext; import pro.shushi.pamirs.meta.annotation.ExtPoint; import java.util.List; @Ext public interface PetCatItemQueryCatTypeExtpoint { @ExtPoint(displayName = "查询萌猫类型扩展点") List<PetCatType> queryCatType(); } 图3-4-3-11 新增扩展点定义PetCatItemQueryCatTypeExtpoint Step2 修改PetCatItemQueryServiceImpl（用Ext.run模式调用） 修改queryPage，增加扩展点的使用代码。扩展点的使用有两种方式 方法一，使用命名空间和扩展点名称调用Ext.run(namespace, fun, 参数); 方法二，使用函数式接口调用Ext.run(函数式接口, 参数); 我们这里用了第二种方式 用PetCatItemQueryCatTypeExtpoint的全限定类名作为扩展点的命名空间(namespace) 用queryCatType的方法名作为扩展点的技术名称(name) 根据namespace+name去找到匹配扩展点实现，并根据规则是否匹配，以及优先级唯一确定一个扩展点实现去执行逻辑 package pro.shushi.pamirs.demo.core.service; ……省略依赖包 @Model.model(PetCatItem.MODEL_MODEL) @Component public class PetCatItemAction extends DataStatusBehavior<PetCatItem> { @Override protected PetCatItem fetchData(PetCatItem data) { return data.queryById(); } @Action(displayName = "启用") public PetCatItem dataStatusEnable(PetCatItem data){ data = super.dataStatusEnable(data); data.updateById(); return data; } @Function.Advanced(displayName = "查询模型数据的默认过滤条件", type = FunctionTypeEnum.QUERY, managed = true) @Function(openLevel = {LOCAL}) public String queryFilters() { StringBuilder sqlWhereCondition = new StringBuilder(); // List<PetCatType> typeList = new PetCatType().queryList(); List<PetCatType> typeList = Ext.run(PetCatItemQueryCatTypeExtpoint::queryCatType, new Object[]{}); if(!CollectionUtils.isEmpty(typeList)){ // sqlWhereCondition.append("type_id"); sqlWhereCondition.append(PStringUtils.fieldName2Column(LambdaUtil.fetchFieldName(PetCatItem::getTypeId))); sqlWhereCondition.append(StringUtils.SPACE).append(SqlConstants.IN).append(CharacterConstants.LEFT_BRACKET); for(PetCatType petCatType: typeList){ sqlWhereCondition.append(petCatType.getId()).append(CharacterConstants.SEPARATOR_COMMA); } sqlWhereCondition.deleteCharAt(sqlWhereCondition.lastIndexOf(CharacterConstants.SEPARATOR_COMMA)); sqlWhereCondition.append(StringUtils.SPACE).append(CharacterConstants.RIGHT_BRACKET); } return sqlWhereCondition.toString(); } ……省略其他函数 } 图3-4-3-12 修改PetCatItemQueryServiceImpl Step3 新增扩展点实现PetCatItemQueryCatTypeExtpointOne 扩展点命名空间要与扩展点定义一致，用@Ext(PetCatItemQueryCatTypeExtpoint.class) @ExtPoint.Implement声明这是在@Ext声明的命名空间下，且技术名为queryCatType的扩展点实现 package pro.shushi.pamirs.demo.core.extpoint; import pro.shushi.pamirs.demo.api.extpoint.PetCatItemQueryCatTypeExtpoint; import pro.shushi.pamirs.demo.api.model.PetCatType; import pro.shushi.pamirs.meta.annotation.Ext; import pro.shushi.pamirs.meta.annotation.ExtPoint; import pro.shushi.pamirs.meta.api.session.PamirsSession; import java.util.List; @Ext(PetCatItemQueryCatTypeExtpoint.class) public class PetCatItemQueryCatTypeExtpointOne implements PetCatItemQueryCatTypeExtpoint { @Override @ExtPoint.Implement(displayName = "查询萌猫类型扩展点的默认实现") public List<PetCatType> queryCatType() { PamirsSession.getMessageHub().info("走的是第一个扩展点"); List<PetCatType> typeList = new PetCatType().queryList(); return typeList; } } 图3-4-3-13 新增扩展点实现PetCatItemQueryCatTypeExtpointOne Step4…

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.8K00

Leave a Reply

Please Login to Comment