1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1239 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 集成接口与数据流程的使用 集成设计器

    集成接口与数据流程的使用

    连接器 点击连接器tab，进入连接器页面，默认选择应用 应用 点击新增应用资源，抽屉打开创建应用的表单 创建应用成功之后，点击应用卡片，进入应用详情页 点击新增API，出现新增API与新增webservice的选项 点击新增API或者新增webservice，抽屉打开新增页面，需设置api名称、url、描述、请求参数、响应结果等信息 数据库 点击数据库tab，切换至数据库列表页 点击新增db资源，抽屉打开新增页面 数据库创建完成之后，点击数据卡片，可进入数据库详情页 点击新增API，抽屉打开新增页面，新增页面包含API名称、描述、请求参数、数据库操作、响应结果等内容（注意：响应结果中的取值表达式的值为查询结果中的列名，如列名取了别名，就写别名，截图有例子） 数据流程 点击数据流程tab进入数据流程列表页 点击创建流程，选择应用之后，点击创建，进入数据流程创建页 点击名称处的编辑操作可设置流程名称 触发-定时触发 点击触发节点，选择定时触发 设置好定时信息之后，点击保存（到定时时间之后会自动触发流程） 触发-消息触发 点击触发节点，触发方式选择消息触发，输入消息标识，设置参数（触发时根据消息标识触发，如果存在两个相同的消息标识，那触发时两个都会触发） 设置完成参数之后，点击确定 再点击保存，触发设置完成 消息触发的方式，可直接调用接口，或者写入到代码中触发，以下为接口触发方式 先调用登录接口 再调用消息触发接口（msgId为消息标识） 点击加号可添加节点，可选择API、新增数据、更新数据、获取数据、删除数据、更新流程参数、引用逻辑、延时、条件分支、子流程、循环、站内信、邮件、短信等节点 API节点 点击API节点 点击节点可设置节点名称 输入节点名称 点击节点设置，进入设置页面 先选择资源应用，再选择API（资源应用的数据为连接器创建的数据） 设置赋值表达式（当字段为必填，且无默认值时，赋值表达式必填） 设置完成点击，保存 API的响应结果可作为下个节点的参数 提示：当参数类型为对象非数组时，赋值表达式配置在对象的下个层级中，当参数类型为对象数组时，赋值表达式配置在对象中，具体见如下图片 对象非数组 对象数组 ### 循环节点-列表循环 设置循环节点 #### 设置循环列表 设置完成，点击保存（循环次数为获取的数据条数） 循环里面可添加节点 设置循环里面的节点，如选择新增节点，点击新增节点之后，选择应用，模型数据保存方式，点击创建 字段的表达式可选择循环节点的参数 设置完内容之后，点击保存 #### 循环节点-次数循环 点击循环节点，循环模式选择次数循环 循环开始值、结束值、步长，可通过表达式选择数字类型的，也可自己手动输入 设置完成之后，点击保存 ### 更新流程参数 第一步先进行流程配置 点击添加新参数 参数类型支持四种，文本、数值、日期（日期时间）、布尔 输入参数名称之后点击保存 保存成功之后，再切换至流程设计 第二步添加更新流程参数节点 第三步设置流程参数节点 进入节点设置之后，点击添加参数 选择参数，给参数赋值（注意布尔类型的值，直接输入ture或者false） 参数值设置完成之后点击保存 设置的参数可用于下个节点的赋值表达式中（如更新数据节点） 设置完成点击保存 ### 引用逻辑 添加引用逻辑节点 设置引用逻辑节点 选择应用、模型、函数，设置参数 配置表达式，配置完成，点击确定 节点信息设置完成之后，点击保存 ### 新增数据、更新数据、获取数据、删除数据、延时、条件分支、子流程、循环、站内信、邮件、短信节点与流程设计器用法一致 流程发布 流程设置完成之后，点击发布流程（如果是定时触发，将会到触发时间自动触发，如果是消息触发，当发送对应消息时触发，具体见上文中写的触发-消息触发）

    oinone's avatar oinone
    2023年11月10日
    96900
  • 入门学习路径 数式Oinone新人入门

    入门学习路径

    前端学习路径 后端学习路径

    红莲's avatar 红莲
    2024年10月25日
    2.2K00
  • 函数如何跳过权限拦截 问题诊断

    函数如何跳过权限拦截

    跳过登录直接调用接口 示例： 跳过queryTea的权限验证 @Action(displayName = "queryTea", bindingType = ViewTypeEnum.FORM) @Action.Advanced(type = FunctionTypeEnum.UPDATE) public Teacher queryTea(Teacher data) { } 在yaml文件里面配置上该函数的namespace（模型编码）以及函数名字 pamirs: auth: fun-filter: – namespace: user.PamirsUserTransient fun: login #登录 – namespace: top.Teacher fun: queryTea 不跳过登录直接调用接口 示例： 在yaml文件里面配置上该函数的namespace（模型编码）以及函数名字 pamirs: auth: fun-filter-only-login: #登录后不再校验该函数的权限 – namespace: top.Teacher fun: queryTea 按包设置权限过滤 如何批量跳过权限验证？以上两种方式提供了在yml文件里面配置权限过滤的方式，但如果需要大量过滤权限，配置就变得很繁琐，所以下面主要介绍通过代码扩展的方式去控制权限。 示例： 以下示例通过控制包路径来跳过权限。 继承pro.shushi.pamirs.auth.api.spi.AuthFilterService接口 import org.springframework.core.annotation.Order; import org.springframework.stereotype.Component; @Order(88) @Component public class CustomAuthFilterService implements AuthFilterService { public static final String skipClass = "pro.shushi.pamirs.top.core.action"; @Override public Boolean isAccessAction(String model, String name) { //从缓存中取函数 Action cacheAction = PamirsSession.getContext().getExtendCache(ActionCacheApi.class).get(model, name); if (cacheAction instanceof ServerAction) { ServerAction serverAction = (ServerAction) cacheAction; Function function = PamirsSession.getContext().getFunction(serverAction.getModel(), serverAction.getFun()); String clazz = function.getClazz(); //返回true就代表通过验证 if (clazz != null && clazz.startsWith(skipClass)) { return true; } } return null; } } 请求pro.shushi.pamirs.top.core.action路径下的动作可以通过验证。

    yexiu's avatar yexiu
    2024年8月22日
    1.4K00
  • 3.3.10 字段类型之关系描述的特殊场景 Oinone 7天入门到精通

    3.3.10 字段类型之关系描述的特殊场景

    在3.3.9【字段类型之关系与引用】一文中已经描述了各种关系字段的常规写法，还有一些特殊场景如：关系映射中存在常量，或者M2M中间表是大于两个字段构成。 举例说明关系字段-高级用法 场景描述 PetTalent模型增加talentType字段，PetItem与PetTalent的多对多关系增加talentType（达人类型），PetItemRelPetTalent 中间表维护petItemId、petTalentId以及talentType，PetDogItem和PetCatItem分别重写petTalents 字段，关系中增加常量描述。示意图如下 实际操作步骤： Step1 新增 TalentTypeEnum package pro.shushi.pamirs.demo.api.enumeration; import pro.shushi.pamirs.meta.annotation.Dict; import pro.shushi.pamirs.meta.common.enmu.BaseEnum; @Dict(dictionary = TalentTypeEnum.DICTIONARY,displayName = "达人类型") public class TalentTypeEnum extends BaseEnum<TalentTypeEnum,Integer> { public static final String DICTIONARY ="demo.TalentTypeEnum"; public final static TalentTypeEnum DOG =create("DOG",1,"狗达人","狗达人"); public final static TalentTypeEnum CAT =create("CAT",2,"猫达人","猫达人"); } Step2 PetTalent模型增加talentType字段 package pro.shushi.pamirs.demo.api.model; import pro.shushi.pamirs.demo.api.enumeration.TalentTypeEnum; import pro.shushi.pamirs.meta.annotation.Field; import pro.shushi.pamirs.meta.annotation.Model; @Model.model(PetTalent.MODEL_MODEL) @Model(displayName = "宠物达人",summary="宠物达人",labelFields ={"name"}) public class PetTalent extends AbstractDemoIdModel{ public static final String MODEL_MODEL="demo.PetTalent"; @Field(displayName = "达人") private String name; @Field(displayName = "达人类型") private TalentTypeEnum talentType; } Step3 修改PetItem的petTalents字段，在关系描述中增加talentType（达人类型） @Field.many2many(relationFields = {"petItemId"},referenceFields = {"petTalentId","talentType"},through = "PetItemRelPetTalent") @Field.Relation(relationFields = {"id"}, referenceFields = {"id","talentType"}) @Field(displayName = "推荐达人",summary = "推荐该商品的达人们") private List<PetTalent> petTalents; Step4 PetDogItem增加petTalents字段，重写父类PetItem的关系描述 talentType配置为常量，填入枚举的值 增加domain描述用户页面选择的时候自动过滤出特定类型的达人，RSQL用枚举的name @Field.many2many(relationFields = {"petItemId"},referenceFields = {"petTalentId","talentType"},through = "PetItemRelPetTalent") @Field.Relation(relationFields = {"id"}, referenceFields = {"id","talentType"}) @Field(displayName = "推荐达人",summary = "推荐该商品的达人们") private List<PetTalent> petTalents; Step5 PetCatItem增加petTalents字段，重写父类PetItem的关系描述 talentType配置为常量，填入枚举的值 增加domain描述用户页面选择的时候自动过滤出特定类型的达人，RSQL用枚举的name @Field(displayName = "推荐达人") @Field.many2many( through = "PetItemRelPetTalent", relationFields = {"petItemId"}, referenceFields = {"petTalentId","talentType"} ) @Field.Relation(relationFields = {"id"}, referenceFields = {"id", "#2#"}, domain = " talentType == CAT") private List<PetTalent> petTalents; Step6 清除中间表demo_core_pet_item_rel_pet_talent的数据记录 清除PetItem与PetTalent的多对多中间表demo_core_pet_item_rel_pet_talent的数据记录 Step7 重启看效果 修改达人记录，选择不同达人类型 PetItem、PetCatItem、PetDogItem不同的交互页面

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.7K00
  • 跳转动作无权限问题排查 问题诊断

    跳转动作无权限问题排查

    版本： 5.0.X以上 现象 配置了一个跳转动作，并配置了加载函数。点击跳转到另一个页面，发现弹出“无权限进行该操作”错误。 原因 权限那边配置动作权限也都给了权限，但是为什么会出现这种情况呢？大概率是因为没有配置加载函数的权限，导致报错。 排查路径 5.0.X 以上版本权限控制是通过请求载荷里面的variables参数携带的path路径进行鉴权的。这个path路径是通过菜单名字一层一层拼接的。这个报错的根本原因就是因为这个无权限的请求的path路径下，没有这个加载函数的权限。所以要解决问题很简单，只需要在这个路径下配置上这个加载函数的权限就可以了。 ① 跳转页面是弹窗打开或抽屉打开：这种情况新打开的页面的path路径是不会变的，所使用的还是外面表格页面的路径，所以只需要把该加载函数配置到外面表格页面并隐藏掉，然后在权限那边配置上该动作权限问题就解决了。 ② 跳转页面是新窗口打开，这个时候新打开的页面的path路径是会变成新窗口所在的路径，所以只需要把该加载函数配置到跳转页面上，并隐藏掉，然后在权限那边配置上该动作权限问题也可以解决。 ③ 如果这个加载函数不需要有页面交互，或者页面和函数不属于同一个模型，则可以直接把这个函数改为Function绕过权限验证就好。

    yexiu's avatar yexiu
    2024年10月29日
    4.4K00

Leave a Reply

Please Login to Comment