1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 784

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 接口日志内容记录频率限制功能说明 集成设计器

    接口日志内容记录频率限制功能说明

    为有效避免接口调用日志记录占用过多存储空间，从而减少对数据库资源的消耗，自5.2.0之后的版本，对于成功请求的集成接口与开放接口，其日志将不再进行完整记录。请求及响应参数将依据默认的千分之一概率进行选择性完整记录。 修改日志完整记录频率 日志完整记录频率默认0.01，即千分之一。 取值范围0～1，0为完全不记录，1为100%记录。 pamirs: eip: log: frequency: 0.01 临时开启某接口日志完整记录 在“集成接口”应用中，可临时针对某一接口开启完整日志记录功能，此功能适用于集成接口与开放接口。 在“集成设计器”中也支持此功能。 注意事项 请求失败的接口不会受到配置的影响，日志内容将被完整记录。

    夜神月的头像 夜神月
    2024年10月8日
    91800
  • 2.4.3 Oinone独特性之低无一体 Oinone 7天入门到精通

    2.4.3 Oinone独特性之低无一体

    当今企业软件开发行业，低代码和无代码已经成为热门话题。它们的优势很明显：加速软件开发周期、减少代码开发时间、降低开发成本、易于维护等等。而 Oinone 作为一个低无一体的开发平台，更是在这些优势上做出了巨大的创新。 技术亮点 低代码-在不改变研发习惯的前提下，提升效率降低难度（如下图2-15所示） 一、提高专业开发人员效率 低代码开发模式大大降低了繁琐、重复的工作，模型定义完后，数据 API、数据管理器、基础管理的界面都不需要再进行开发。同时，低代码模式让分布式微服务架构的系统开发变得简单，研发人员不需要考虑分布式部署能力和大数据能力，也不需要去关心一些业务无关的通用能力，如权限、导入导出、国际化翻译、消息、审计等。这样，开发人员可以专注于业务研发，从而大幅提高开发效率。 二、提升系统扩展性 在研发标品的时候，低代码模式让开发人员不再需要关心系统的扩展性。与传统模式不同，低代码模式更加注重元数据的管理，这样就可以更好地保障系统扩展性。 三、保留研发人员习惯 Oinone 平台非常开放，满足开发人员的各种习惯，比如原有的 IDE 环境、熟悉的 Spring Boot 工程结构等。而且在 Oinone 的低代码模式下，研发人员还可以通过无代码方式，在线可视化地修改应用。这样，即使在使用低代码模式的情况下，开发人员也可以保留原有的习惯，提升开发效率。 四、提供更加开放的解决方案 Oinone 提供了非常开放的解决方案，让开发人员可以自由定制和组合各种功能。当行业出现特殊的功能需求时，开发人员可以整合成平台组件，并集成到应用中。Oinone的低代码模式具有高度的开放性和灵活性，这使得它在与其他低代码平台的比较中具有明显的优势。相比其他低代码平台，Oinone不会在无法满足特定需求的情况下限制开发人员的创造力（如下图2-16所示）。 图2-15 Oinone低代码特性介绍 图2-16 Oinone低代码的被集成特性示意图 无代码-五大设计器覆盖研发方方面面，让业务、实施也能参与 它是LCDP的产品化呈现，是冰山露在外面大家看得到的，核心还是在LCDP本身。这部分实时在演进迭代，如您有想体验最新版本，可以在Oinone官网：https://www.oinone.top注册。 设计器 说明 产品展示 模型设计器 1.以模型为驱动，当有模型、数据字典、数据编码等设计功能，我们就可以完整地定义产品数据模型，模型设计器默认整体呈现区别于普通ER图，以当前模型为核心视角展开，可以点击关联模型切换主视角。2.多种模式可切换：专家与经典切换，图与表模式的切换 界面设计器 1.界面设计器旨在帮助用户快速搭建页面；2.所见即所得和根据不同视图类型设计契合的搭建交互就变得尤为重要；3.多端页面设计能力。 流程设计器 1.为业务流程和审批流程提供可自动执行的流程模型，通过定义流转过程中的各个动作、规则，以此实现流程自动化；2.流程可以跨应用设计，不同应用的模型之间可以通过同一流程执行。 逻辑设计器 1.组件化、可视化逻辑编排，逻辑动态变更、动态管理，实施验证。 数据可视化 1.从内部系统模型获取数据内容后，根据业务需求自定义图表，目的是为企业提供更高效的数据分析工具；2.可以智取业务系统模型，系统自动解析选择的模型、接口、表格中的字段后进行数据分析；3.降低对数据分析人员的研发能力要求，提升数据分析的效率 表2-3 Oinone无代码-五大设计器简述 真正的低无一体，体现在一体化的融合能力上 在开发核心产品时，我们主要采用低代码开发，辅以无代码的开发方式。你可以参考我们的低代码开发基础入门教程中3.5.5【设计器的结合】的文章。 而在实施或者处理临时需求时，我们主要采用无代码的开发方式，低代码作为辅助。这种模式比较特殊，只在SaaS模式下提供。如果你发现某个客户个性化部分无法通过无代码设计器完成，我们提供了一个“低无一体”模块，可以反向生成API代码，生成对应的扩展工程和API依赖包，再由专业研发人员基于扩展工程，利用API包进行开发并上传至平台，可以参考关于7.4【Oinone的低无一体】的文章。 场景 融合形式 具体操作 标准产品以低代码开发为主，以无代码为辅助 标品开发时结合无代码设计器来完成页面开发，可以把设计后的页面元数据装载为标准产品的一部分。详细教程见：3.5.5【设计器的结合】一文 项目交付以无代码为主，以低代码为辅助 当有特殊需求设计器无法支持时，则可以通过低无一体应用的代码模式来完成。支持了两种使用模式：上传jar包模式、源码托管模式。详细教程见：7.4【Oinone的低无一体】一文 表2-4 不同场景适配方式说明 实现原理 本章节我们将从以下三个方面来解读Oinone的低无一体。 一：低无一体的设计原则及好处：真正的低无一体平台应该确保标准产品迭代与个性化保持独立，让软件企业具备为客户提供在线化的快速响应、个性化定制、持续更新等服务的能力，让企业客户能够真正自主做到敏捷响应和快速创新。所以Oinone的元数据融合方案跟其他平台有所区别（如下图2-17所示）。 图2-17 Oinone与其他平台的元数据融合对比图 二：低无一体中低与无的关系：无代码是低代码平台的图形化呈现，是低代码的一个子集，它将无限接近低代码的能力，同时也将成为低代码平台的必备特征，是通过低代码开发的标准产品的二开配套工具。 三：低无一体中低与无的定位：通过表2-3可以看出，低代码和无代码在Oinone的体系中相互融合，共同构成了一个完整的低无一体模式，提供更加开放、灵活和可扩展的解决方案，让用户能够更加轻松地完成开发和实施。 低代码模式 无代码模式 用户群体 专业研发 产品经理、需求分析师、直接业务人员 支撑场景 企业全场景软件以及二开 企业全场景软件以及二开，专业化场景比较高的则需低代码支持 核心能力 不改变研发习惯，提升研发效率 可视化编程无需专业编程语言知识 核心定位 开发标准模块 标准模块的二开无标品支撑场景的新模块开发 表2-3 Oinone低代码开发平台的两种开发模式对比

    史, 昂的头像 史, 昂
    2024年5月23日
    1.6K00
  • 前端自定义组件之单页面步骤条 组件

    前端自定义组件之单页面步骤条

    本文将讲解如何通过自定义，实现单页面的步骤条组件。其中每个步骤的元素里都是界面设计器拖出来的。 实现路径 整体的实现思路是界面设计器拖个选项卡组件，自定义这个选项卡，里面的每个选项页都当成一步渲染出来，每一步的名称是选项页的标题。 1. 界面设计器拖出页面 我们界面设计器拖个选项卡组件，然后在每个选项页里拖拽任意元素。完成后点击右上角九宫格，选中选项卡，填入组件 api 名称，作用是把选项卡切换成我们自定义的步骤条组件，这里的 api 名称和自定义组件的 widget 对应。最后发布页面，并绑定菜单。 2. 组件实现 widget 组件重写了选项卡，核心函数 renderStep，通过 DslRender.render 方法渲染界面设计器拖拽的元素，每一步的 step 又是解析选卡页得到的。 import { SPI, Widget, DefaultTabsWidget, BasePackWidget, DslDefinition, DslRender, DslDefinitionType, CallChaining, customMutation } from '@oinone/kunlun-dependencies'; import { VNode } from 'vue'; import NextStepSinglePage from './NextStepSinglePage.vue'; @SPI.ClassFactory(BasePackWidget.Token({ widget: 'NextStepSinglePage' })) export class NextStepSinglePageWidget extends DefaultTabsWidget { public initialize(props) { super.initialize(props); this.setComponent(NextStepSinglePage); return this; } @Widget.Reactive() public get invisible() { return false; } // 配置的每一步名称，解析选项页的标题 @Widget.Reactive() public get titles() { return this.template?.widgets?.map((item) => item.title) || []; } // region 上一步下一步配置 // 步骤数组，数组里的元素即步骤要渲染的内容 @Widget.Reactive() public get steps(): DslDefinition[] { // 每个 tab 是一个步骤，这里会有多个步骤 // 每个步骤里有多个元素，又是数组 // 所以这里是二维数组 const tabDsls: DslDefinition[][] = this.template?.widgets.map((item) => item.widgets) || []; // 对每个步骤的子元素们，外侧包一层 row 布局，所以变回了一维数组 return tabDsls.map((tabDsl) => { return { …(this.template || {}), dslNodeType: DslDefinitionType.PACK, widgets: tabDsl, widget: 'row', resolveOptions: { mode: 1 } }; }); } // 渲染步骤，每个步骤有多个子元素 @Widget.Method() public renderStep(step: DslDefinition): VNode | undefined { return DslRender.render(step); } // region 校验相关 // 校验的钩子 @Widget.Reactive() @Widget.Inject('validatorCallChaining') protected parentValidatorCallChaining: CallChaining<boolean> | undefined; // 校验步骤表单 @Widget.Method() public async onValidator(): Promise<boolean> { const res = await this.parentValidatorCallChaining?.syncCall(); return res…

    银时的头像 银时
    2025年7月8日
    73000
  • 后端：如何自定义表达式实现特殊需求？扩展内置函数表达式 代码实践

    后端：如何自定义表达式实现特殊需求？扩展内置函数表达式

    平台提供了很多的表达式，如果这些表达式不满足场景？那我们应该如何新增表达式去满足项目的需求？目前平台支持的表达式内置函数，参考 1. 扩展表达式的场景 注解@Validation的rule字段支持配置表达式校验如果需要判断入参List类型字段中的某一个参数进行NULL校验，发现平台的内置函数不支持该场景的配置，这里就可以通过平台的机制，对内置函数进行扩展。 常见的一些代码场景，如下： package pro.shushi.pamirs.demo.core.action; ……引用类 @Model.model(PetShopProxy.MODEL_MODEL) @Component public class PetShopProxyAction extends DataStatusBehavior<PetShopProxy> { @Override protected PetShopProxy fetchData(PetShopProxy data) { return data.queryById(); } @Validation(ruleWithTips = { @Validation.Rule(value = "!IS_BLANK(data.code)", error = "编码为必填项"), @Validation.Rule(value = "LEN(data.name) < 128", error = "名称过长，不能超过128位"), }) @Action(displayName = "启用") @Action.Advanced(invisible="!(activeRecord.code !== undefined && !IS_BLANK(activeRecord.code))") public PetShopProxy dataStatusEnable(PetShopProxy data){ data = super.dataStatusEnable(data); data.updateById(); return data; } ……其他代码 } 2. 新建一个自定义表达式的函数 校验入参如果是个集合对象的情况下，单个对象的某个字段如果为空，返回false的函数。 例子：新建一个CustomCollectionFunctions类 package xxx.xxx.xxx; import org.apache.commons.collections4.CollectionUtils; import org.springframework.stereotype.Component; import pro.shushi.pamirs.meta.annotation.Fun; import pro.shushi.pamirs.meta.annotation.Function; import pro.shushi.pamirs.meta.common.constants.NamespaceConstants; import pro.shushi.pamirs.meta.util.FieldUtils; import java.util.List; import static pro.shushi.pamirs.meta.enmu.FunctionCategoryEnum.COLLECTION; import static pro.shushi.pamirs.meta.enmu.FunctionLanguageEnum.JAVA; import static pro.shushi.pamirs.meta.enmu.FunctionOpenEnum.LOCAL; import static pro.shushi.pamirs.meta.enmu.FunctionSceneEnum.EXPRESSION; /** * 自定义内置函数 */ @Fun(NamespaceConstants.expression) @Component public class CustomCollectionFunctions { /** * LIST_FIELD_NULL 就是我们自定义的表达式，不能与已经存在的表达式重复！！！ * * @param list * @param field * @return */ @Function.Advanced( displayName = "校验集成的参数是否为null", language = JAVA, builtin = true, category = COLLECTION ) @Function.fun("LIST_FIELD_NULL") @Function(name = "LIST_FIELD_NULL", scene = {EXPRESSION}, openLevel = LOCAL, summary = "函数示例: LIST_FIELD_NULL(list,field)，函数说明: 传入一个对象集合，校验集合的字段是否为空" ) public Boolean listFieldNull(List list, String field) { if (null == list) { return false; } if (CollectionUtils.isEmpty(list)) { return false; } for (Object data : list) { Object value =…

    oinone的头像 oinone
    2024年5月30日
    2.5K00
  • 5.3.0版本feature：新增搜索字段组件支持隐藏等配置，请升级对应版本 5.x

    5.3.0版本feature：新增搜索字段组件支持隐藏等配置，请升级对应版本

    版本号： 5.3.1 版本发布日期：2024.12.11更新要点：新增搜索字段组件支持隐藏等配置 5.3.0 版本 升级说明及步骤（已升级为5.0.0版本忽略） 5.3.x版本以后无法通过4.7.8版本进行升级，请先升级到5.2.x版本进行权限迁移后再升级至5.3.x版本 升级内容（5.3.0） 新增搜索字段组件支持隐藏等配置 修复导入时Excel中使用千分位出现异常的问题 修复模型设计器创建字段时multi标记错误的问题 修复树组件分页计算错误的问题 修复树组件加载更多按钮出现重复渲染的问题 修复工作台站内信查询结果和首页不一致的问题 修复新数据库无法配置菜单权限的问题 修复菜单预置过滤条件无法删除问题 修复移动端枚举取值错误的问题 修复PC端菜单折叠时，不需要展开的SubMenu，否则会导致切换多tab的会导致打开SubMenu气泡区域 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm run clean && npm install即可自动升级到最新版本 后端版本包信息 Oinone平台部署及依赖说明（v5.1） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <oinone.version>5.3.1</oinone.version> <!– 设计器 –> <pamirs.workflow.designer.version>5.3.0</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.3.1</pamirs.model.designer.version> <pamirs.ui.designer.version>5.3.1</pamirs.ui.designer.version> <pamirs.data.designer.version>5.3.0</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.3.0</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.3.0</pamirs.eip.designer.version> <pamirs.microflow.designer.version>5.3.0</pamirs.microflow.designer.version> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi</groupId> <artifactId>oinone-bom</artifactId> <version>${oinone.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> oinone-bom详细版本信息 <!– 平台基础 –> <pamirs.middleware.version>5.2.3</pamirs.middleware.version> <pamirs.k2.version>5.3.0</pamirs.k2.version> <pamirs.framework.version>5.3.0</pamirs.framework.version> <pamirs.boot.version>5.3.1</pamirs.boot.version> <pamirs.distribution.version>5.3.0</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.3.0</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.3.0</pamirs.designer.metadata.version> <pamirs.core.version>5.3.1</pamirs.core.version> <pamirs.workflow.version>5.3.1</pamirs.workflow.version> <pamirs.workbench.version>5.3.0</pamirs.workbench.version> <pamirs.data.visualization.version>5.3.0</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.3.0</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.3.0</pamirs.flow.designer.base.version> 前端版本包信息 { "@kunlun/vue-dependencies": "5.3.1", "@kunlun/vue-ui-antd": "5.3.1", "@kunlun/vue-ui-el": "5.3.1", "@kunlun/vue-mobile-dependencies": "5.3.1", "@kunlun/vue-ui-mobile-vant": "5.3.1", "@kunlun/mobile-workbench": "5.3.1", "@kunlun/data-designer-open-pc": "5.3.0", "@kunlun/data-designer-open-mobile": "5.3.0" } 前端详细版本信息 可通过node_modules/@kunlun查看 { "@kunlun/cache": "5.3.1", "@kunlun/dsl": "5.3.1", "@kunlun/event": "5.3.1", "@kunlun/expression": "5.3.1", "@kunlun/meta": "5.3.1", "@kunlun/request": "5.3.1", "@kunlun/router": "5.3.1", "@kunlun/service": "5.3.1", "@kunlun/shared": "5.3.1", "@kunlun/spi": "5.3.1", "@kunlun/state": "5.3.1", "@kunlun/theme": "5.3.1", "@kunlun/engine": "5.3.1", "@kunlun/vue-admin-base": "5.3.1", "@kunlun/vue-admin-layout": "5.3.1", "@kunlun/vue-dependencies": "5.3.1", "@kunlun/vue-router": "5.3.1", "@kunlun/vue-ui": "5.3.1", "@kunlun/vue-ui-antd": "5.3.1", "@kunlun/vue-ui-common": "5.3.1", "@kunlun/vue-ui-el": "5.3.1", "@kunlun/vue-widget": "5.3.1", "@kunlun/vue-expression": "5.2.0", "@kunlun/vue-mobile-base": "5.3.1", "@kunlun/vue-mobile-dependencies": "5.3.1", "@kunlun/vue-ui-mobile-vant": "5.3.1", "@kunlun/mobile-workbench": "5.3.1", "@kunlun/data-designer-core": "5.3.0", "@kunlun/data-designer-core-mobile": "5.3.0", "@kunlun/data-designer-core-pc": "5.3.0", "@kunlun/data-designer-open-mobile": "5.3.0", "@kunlun/data-designer-open-pc": "5.3.0" } 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.1-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.1-arm64 镜像拉取 镜像或JAR版本：5.3.1 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.3:5.3.1 部署镜像：（包含前后端服务，包含全部设计器） docker pull…

    张博昊的头像 张博昊
    2024年12月12日
    1.1K00

Leave a Reply

登录后才能评论