1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 436

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 框架之MessageHub(信息提示) 后端

    框架之MessageHub(信息提示)

    框架之信息概述 后端除了可以返回错误信息以外，还可以返回调试、告警、成功、信息等级别的信息给前端。但是默认情况下前端只提示错误信息，可以通过前端的统一配置放开提示级别，有点类似后端的日志级别。 框架之MessageHub 在oinone平台中，我们怎么做到友好的错误提示呢？接下来介绍我们的MessageHub，它为自定义错误提示提供无限的可能。 何时使用 错误提示是用户体验中特别重要的组成部分，大部分的错误体现在整页级别，字段级别，按钮级别。友好的错误提示应该是怎么样的呢？我们假设他是这样的 与用户操作精密契合 当字段输入异常时，错误展示在错误框底部 按钮触发服务时异常，错误展示在按钮底部 区分不同的类型 错误 成功 警告 提示 调试 简洁易懂的错误信息 不同信息类型的举例 package pro.shushi.pamirs.demo.core.action; import org.springframework.stereotype.Component; import pro.shushi.pamirs.demo.api.model.PetCatItem; import pro.shushi.pamirs.demo.api.model.PetType; import pro.shushi.pamirs.meta.annotation.Action; import pro.shushi.pamirs.meta.annotation.Model; import pro.shushi.pamirs.meta.api.dto.common.Message; import pro.shushi.pamirs.meta.api.session.PamirsSession; import pro.shushi.pamirs.meta.enmu.ActionContextTypeEnum; import pro.shushi.pamirs.meta.enmu.InformationLevelEnum; import pro.shushi.pamirs.meta.enmu.ViewTypeEnum; @Model.model(PetType.MODEL_MODEL) @Component public class PetTypeAction { @Action(displayName = "消息",bindingType = ViewTypeEnum.TABLE,contextType = ActionContextTypeEnum.CONTEXT_FREE) public PetType message(PetType data){ PamirsSession.getMessageHub().info("info1"); PamirsSession.getMessageHub().info("info2"); PamirsSession.getMessageHub().error("error1"); PamirsSession.getMessageHub().error("error2"); PamirsSession.getMessageHub().msg(new Message().msg("success1").setLevel(InformationLevelEnum.SUCCESS)); PamirsSession.getMessageHub().msg(new Message().msg("success2").setLevel(InformationLevelEnum.SUCCESS)); PamirsSession.getMessageHub().msg(new Message().msg("debug1").setLevel(InformationLevelEnum.DEBUG)); PamirsSession.getMessageHub().msg(new Message().msg("debug2").setLevel(InformationLevelEnum.DEBUG)); PamirsSession.getMessageHub().msg(new Message().msg("warn1").setLevel(InformationLevelEnum.WARN)); PamirsSession.getMessageHub().msg(new Message().msg("warn2").setLevel(InformationLevelEnum.WARN)); return data; } } 查询运行返回和效果 1）系统提示的返回结果 2）系统提示示例效果

    望闲的头像 望闲
    2024年5月14日
    1.3K00
  • 4.7.8.23 版本升级说明-20240715 4.x

    4.7.8.23 版本升级说明-20240715

    版本号： 4.7.8.23 版本发布日期：2024.07.15更新要点：修复枚举项查询使用了reference的问题 4.7.8.23 版本 升级内容 新增工作流发送站内信支持自定义扩展点 增加图表数据查询接口的调试信息 已发布的图表，业务方调用的时候支持设置额外的查询条件 前端所有的Widget支持快速查找API 修复枚举项查询使用了reference的问题 版本包信息 未使用到的版本号请忽略，按项目中使用到的进行替换 <!– 平台基础 –> <pamirs.middleware.version>4.7.8.5</pamirs.middleware.version> <pamirs.k2.version>4.7.8.5</pamirs.k2.version> <pamirs.framework.version>4.7.8.15</pamirs.framework.version> <pamirs.boot.version>4.7.8.11</pamirs.boot.version> <pamirs.distribution.version>4.7.8.3</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>4.7.8</pamirs.metadata.manager> <pamirs.core.version>4.7.8.15</pamirs.core.version> <pamirs.workflow.version>4.7.8.14</pamirs.workflow.version> <pamirs.workbench.version>4.7.8</pamirs.workbench.version> <pamirs.data.visualization.version>4.7.8.1</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>4.7.8</pamirs.designer.common.version> <pamirs.flow.designer.base.version>4.7.8.1</pamirs.flow.designer.base.version> <pamirs.workflow.designer.version>4.7.8</pamirs.workflow.designer.version> <pamirs.model.designer.version>4.7.8</pamirs.model.designer.version> <pamirs.ui.designer.version>4.7.8.9</pamirs.ui.designer.version> <pamirs.data.designer.version>4.7.8</pamirs.data.designer.version> <pamirs.dataflow.designer.version>4.7.8.1</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>4.7.8.1</pamirs.eip.designer.version> 注意镜像名称变化 体验镜像：（所有中间件及前后端服务，包含全部设计器）docker pull harbor.oinone.top/oinone/oinone-designer-full-v4.8:4.8.14 部署镜像：（包含前后端服务，包含全部设计器）docker pull harbor.oinone.top/oinone/oinone-designer-mini-v4.8:4.8.14 流程设计器镜像：（包含前后端服务，仅包含流程设计器）docker pull harbor.oinone.top/oinone/workflow-designer-v4.8:4.8.14 流程设计器镜像：（包含前后端服务，仅包含流程设计器，非外部库镜像）docker pull harbor.oinone.top/oinone/workflow-designer-standard-v4.8:4.8.14 独立部署流程设计器JAR：（包含前后端服务，仅包含流程设计器）pamirs-workflow-designer-boot-4.8.14.jar 后端无代码设计器Jar包启动方法 如果您有任何问题、建议或反馈，请随时联系我们。为了获得最佳体验，请及时更新至最新版本。我们将继续努力改进产品，提供更好的服务。谢谢！

    张博昊的头像 张博昊
    2024年7月15日
    1.0K00
  • 后端：如何自定义表达式实现特殊需求？扩展内置函数表达式 代码实践

    后端：如何自定义表达式实现特殊需求？扩展内置函数表达式

    平台提供了很多的表达式，如果这些表达式不满足场景？那我们应该如何新增表达式去满足项目的需求？目前平台支持的表达式内置函数，参考 1. 扩展表达式的场景 注解@Validation的rule字段支持配置表达式校验如果需要判断入参List类型字段中的某一个参数进行NULL校验，发现平台的内置函数不支持该场景的配置，这里就可以通过平台的机制，对内置函数进行扩展。 常见的一些代码场景，如下： package pro.shushi.pamirs.demo.core.action; ……引用类 @Model.model(PetShopProxy.MODEL_MODEL) @Component public class PetShopProxyAction extends DataStatusBehavior<PetShopProxy> { @Override protected PetShopProxy fetchData(PetShopProxy data) { return data.queryById(); } @Validation(ruleWithTips = { @Validation.Rule(value = "!IS_BLANK(data.code)", error = "编码为必填项"), @Validation.Rule(value = "LEN(data.name) < 128", error = "名称过长，不能超过128位"), }) @Action(displayName = "启用") @Action.Advanced(invisible="!(activeRecord.code !== undefined && !IS_BLANK(activeRecord.code))") public PetShopProxy dataStatusEnable(PetShopProxy data){ data = super.dataStatusEnable(data); data.updateById(); return data; } ……其他代码 } 2. 新建一个自定义表达式的函数 校验入参如果是个集合对象的情况下，单个对象的某个字段如果为空，返回false的函数。 例子：新建一个CustomCollectionFunctions类 package xxx.xxx.xxx; import org.apache.commons.collections4.CollectionUtils; import org.springframework.stereotype.Component; import pro.shushi.pamirs.meta.annotation.Fun; import pro.shushi.pamirs.meta.annotation.Function; import pro.shushi.pamirs.meta.common.constants.NamespaceConstants; import pro.shushi.pamirs.meta.util.FieldUtils; import java.util.List; import static pro.shushi.pamirs.meta.enmu.FunctionCategoryEnum.COLLECTION; import static pro.shushi.pamirs.meta.enmu.FunctionLanguageEnum.JAVA; import static pro.shushi.pamirs.meta.enmu.FunctionOpenEnum.LOCAL; import static pro.shushi.pamirs.meta.enmu.FunctionSceneEnum.EXPRESSION; /** * 自定义内置函数 */ @Fun(NamespaceConstants.expression) @Component public class CustomCollectionFunctions { /** * LIST_FIELD_NULL 就是我们自定义的表达式，不能与已经存在的表达式重复！！！ * * @param list * @param field * @return */ @Function.Advanced( displayName = "校验集成的参数是否为null", language = JAVA, builtin = true, category = COLLECTION ) @Function.fun("LIST_FIELD_NULL") @Function(name = "LIST_FIELD_NULL", scene = {EXPRESSION}, openLevel = LOCAL, summary = "函数示例: LIST_FIELD_NULL(list,field)，函数说明: 传入一个对象集合，校验集合的字段是否为空" ) public Boolean listFieldNull(List list, String field) { if (null == list) { return false; } if (CollectionUtils.isEmpty(list)) { return false; } for (Object data : list) { Object value =…

    oinone的头像 oinone
    2024年5月30日
    2.3K00
  • Function、Action函数使用规范 问题诊断

    Function、Action函数使用规范

    Function的定义需要严格遵循Oinone的规范， @Action是指页面上有按钮展示的方法，所有@Action注解的方法都是需要在权限处设置权限才能访问的。Action背后都对应一个Function。 @Function是Oinone的可管理的执行逻辑，是无处不在的。 如果只是查询，不需要在页面有按钮，定义为@Function就可以了。 覆写常用默认数据管理器定义标准 @Action.Advanced(name = FunctionConstants.create, managed = true)//默认取的是方法名 @Action(displayName = "确定", summary = "添加", bindingType = ViewTypeEnum.FORM) public AuthRole create(AuthRole data) { @Action.Advanced(type = FunctionTypeEnum.UPDATE, managed = true) @Action(displayName = "更新", label = "确定", summary = "修改", bindingType = ViewTypeEnum.FORM) public AuthRole update(AuthRole data) { @Action.Advanced(type = FunctionTypeEnum.DELETE, managed = true) @Action(displayName = "删除", label = "删除", contextType = ActionContextTypeEnum.SINGLE_AND_BATCH) @Function.fun(FunctionConstant.deleteWithFieldBatch) public List<AuthRole> delete(List<AuthRoe> dataList) { @Function.Advanced(displayName = "查询角色列表", type = FunctionTypeEnum.QUERY, category = FunctionCategoryEnum.QUERY_PAGE, managed = true) @Function(openLevel = {FunctionOpenEnum.LOCAL, FunctionOpenEnum.REMOTE, FunctionOpenEnum.API}) public Pagination<AuthRole> queryPage(Pagination<AuthRole> page, IWrapper<AuthRole> queryWrapper) {//注意方法名和入参名称必须和平台保持一致 @Function.Advanced(displayName = "查询指定角色", type = FunctionTypeEnum.QUERY, category = FunctionCategoryEnum.QUERY_ONE, managed = true) @Function.fun(FunctionConstants.queryByEntity) @Function(openLevel = {FunctionOpenEnum.LOCAL, FunctionOpenEnum.REMOTE, FunctionOpenEnum.API}) public AuthRole queryOne(AuthRole query) {//注意方法名和入参名称必须和平台保持一致 自定义函数定义标准 @Action(displayName = "启用") @Action.Advanced(type = FunctionTypeEnum.UPDATE) public Teacher dataStatus(Teacher data) { } @Function @Function.Advanced(displayName = "构造", type = FunctionTypeEnum.QUERY) public Teacher constructAll(Teacher data) { } 注意事项： 覆写常用默认数据管理器Function定义需要严格按照以上函数定义，包括出入参名字定义、注解定义。定义错误会导致gql请求报错或者找不到函数。 定义@Action或者@Function时，函数出入参必须是当前类注解定义的@Model.model（）的模型，或者被该模型字段全包含的的模型，比如它的父模型。 页面调用使用的@Action或者@Function方法，出入参必须是oinone的对象，且不能是基础的java类型，因为oinone的对象有元数据信息，这样才能完成前后端之间的自动交互 managed = true定义当前函数为数据管理函数。它只有在重写平台默认数据管理器时需要使用。 @Function.fun()代表定义函数编码，不可更改，默认与方法名称相同。同一个模型Action内不允许有两个相同的函数编码。 不要使用set、get、unset作为函数方法名的开头，不要使用toString作为函数方法名。 传输模型没有默认的数据管理器，所以不能定义数据管理函数。 @Action和@Function注解使用约定 重写内置数据管理器动作和函数的，应与平台注册方式完全保持一致。以下属性可根据需要进行修改：（必须） @Function.Advanced#displayName @Function#openLevel 自定义方法不要与内置数据管理器中定义的动作和函数重名。（必须） @Action和@Function注解不要混合使用。（自定义方法必须） 如无特殊必要，请不要使用如下属性修改函数定义：（自定义方法必须） @Function#name @Function.fun#value @Function.Advanced#managed @Function.Advanced#builtin @Function.Advanced#group @Function.Advanced#version @Action.Advanced#name @Action.Advanced#args @Action.Advanced#managed @Action.Advanced#language 自定义方法在选择注册动作或函数时，应按照如下规则进行判断：（必须） 若该方法通过用户行为触发的，应注册为动作。 若该方法通过“入口”进行控制的，应注册为函数。 自定义方法若注册为动作时，应按照如下规则进行定义： 使用@Action.Advanced#type属性定义函数类型，默认为UPDATE。混合操作的动作应明确列出所有类型。（必须） 使用@Action#displayName属性定义动作功能名称。如无特殊必要，同一模型下的所有动作名称不要重复。页面展示名称重复的，可使用@Action#label属性定义展示名称。（必须） 使用@Action#summary属性定义动作功能简要描述。 使用@Action#contextType属性定义动作上下文类型，默认为SINGLE。（必须） 使用@Action#bindingType属性定义动作所在视图类型，默认为TABLE。（必须） 自定义方法若注册为函数时，应按照如下规则进行定义： 使用@Function.Advanced#type属性定义函数类型，默认为UPDATE。混合操作的函数应明确列出所有类型。（必须）…

    yexiu的头像 yexiu
    2024年8月20日
    1.5K00
  • 正式版发布：Oinone 6.1.0 版本 新增AI设计器、虚拟字段，邀您体验 6.x

    正式版发布：Oinone 6.1.0 版本 新增AI设计器、虚拟字段，邀您体验

    版本号： 6.1.0 版本发布日期：2025.04.18更新要点：新增AI设计器、虚拟字段 6.1.0 版本 20250612升级内容 镜像版本升级: 6.1.4 –> 6.1.4.1 后端版本升级: 6.1.4 –> 6.1.4.1 修复Excel导出未正确翻译的问题 20250610升级内容 镜像版本升级: 6.1.3 –> 6.1.4 后端版本升级: 6.1.3 –> 6.1.4 修复模型导出数据序列异常的问题 修复工作流填写和审批节点无法正常修改触发节点多对一字段的问题 20250506升级内容 镜像版本升级: 6.1.2.4 –> 6.1.3 前端版本升级 后端版本升级: 6.1.2.4 –> 6.1.3 新增@XSchedule注解功能 新增Schedule定时任务支持cron表达式 修复跨模块继承在某些特殊情况下计算错误的问题 20250427升级内容 镜像版本升级: 6.1.2.3 –> 6.1.2.4 前端版本升级 后端版本升级: 6.1.2.3 –> 6.1.2.4 修复上游模块计算时显示名称、是否显示等属性未正确处理的问题 修复应用中心编辑时上游模块计算错误的问题 修复工作流使用整个流程结束后保存时无法正常保存的问题 开放应用支持自定义请求/响应处理函数 20250424升级内容 镜像版本升级: 6.1.1 –> 6.1.2.3 前端版本升级 后端版本升级: 6.1.1 –> 6.1.2.3 修复增强模型由于继承计算错误导致无法正常更新的问题 修复应用中心编辑时依赖模块计算错误的问题 修复打印设计器由于字体读取失败导致无法正常打印的问题 修复由于RequestAttribute处理错误导致无法正常同步导出和打印的问题 修复o2m、m2m字段表格默认排序字段没有回填 20250423升级内容 镜像版本升级: 6.1.0 –> 6.1.1 前端版本升级 后端版本升级: 6.1.0.4 –> 6.1.1 修复某些场景下无法正确移除数据的问题 内容类型切换可控制body参数类型是否清空 解决关系字段为枚举时查询条件枚举值问题 开放接口支持HL7-FHIR-JSON 集成接口支持熔断 升级内容（6.1.0） 新增AI设计器 新增虚拟字段 新增界面设计器多对一字段下钻添加子模型字段 自动生成的多对多中间模型所属模块默认使用字段定义模型所在模块（可能出现升级失败） 集成设计器支持HL7-FHIR-JSON协议 低代码模型无代码字段修改cloumn ddl 集成接口&开放接口调用监控统计 开放应用支持IP白名单、支持自定义响应状态码与响应结果 修复跨模块追加函数或模块重载时导致未启动模块元数据丢失的问题 修复登录页面语言与登录后不一致的问题 修复loading位置为屏幕高度一半 添加文件下载、拖拽上传、手写签名三个组件 修复微前端情况下多次初始化富文本编辑器菜单多次注册问题 上传api的回调函数非必填 低无一体生成的模版工程依赖简化 业务工程新增依赖项 <!– 元数据增强版本管理 –> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi.pamirs.framework</groupId> <artifactId>pamirs-framework-meta-enchance</artifactId> <version>${pamirs.meta.enchance.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <!– 虚拟字段 –> <dependency> <groupId>pro.shushi.pamirs.framework</groupId> <artifactId>pamirs-framework-meta-virtual</artifactId> </dependency> 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm run clean && npm install即可自动升级到最新版本 后端版本包信息 Oinone平台部署及依赖说明（v5.3） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <oinone.version>6.1.4.1</oinone.version> <!– 低无一体 –> <pamirs.paas.version>6.0.1</pamirs.paas.version> <!– 元数据增强 –> <pamirs.meta.enchance.version>6.0.1</pamirs.meta.enchance.version> <!– 设计器 –> <pamirs.workflow.designer.version>6.1.0</pamirs.workflow.designer.version> <pamirs.model.designer.version>6.1.2</pamirs.model.designer.version> <pamirs.ui.designer.version>6.1.2</pamirs.ui.designer.version> <pamirs.print.designer.version>6.1.1</pamirs.print.designer.version> <pamirs.data.designer.version>6.1.0</pamirs.data.designer.version> <pamirs.dataflow.designer.version>6.1.0</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>6.1.2</pamirs.eip.designer.version> <pamirs.microflow.designer.version>6.1.0</pamirs.microflow.designer.version> <pamirs.ai.designer.version>6.1.0</pamirs.ai.designer.version> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi</groupId> <artifactId>oinone-bom</artifactId> <version>${oinone.version}</version> <type>pom</type> <scope>import</scope> </dependency> <dependency> <groupId>pro.shushi.pamirs.paas</groupId> <artifactId>pamirs-paas-code-fuse-lite-core</artifactId> <version>${pamirs.paas.version}</version> </dependency> <dependency> <groupId>pro.shushi.pamirs.framework</groupId> <artifactId>pamirs-framework-meta-enchance</artifactId> <version>${pamirs.meta.enchance.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> oinone-bom详细版本信息 <!–…

    张博昊的头像 张博昊
    2025年4月21日
    87100

Leave a Reply

登录后才能评论