1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1831 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 2.4.3 Oinone独特性之低无一体 Oinone 7天入门到精通

    2.4.3 Oinone独特性之低无一体

    当今企业软件开发行业，低代码和无代码已经成为热门话题。它们的优势很明显：加速软件开发周期、减少代码开发时间、降低开发成本、易于维护等等。而 Oinone 作为一个低无一体的开发平台，更是在这些优势上做出了巨大的创新。 技术亮点 低代码-在不改变研发习惯的前提下，提升效率降低难度（如下图2-15所示） 一、提高专业开发人员效率 低代码开发模式大大降低了繁琐、重复的工作，模型定义完后，数据 API、数据管理器、基础管理的界面都不需要再进行开发。同时，低代码模式让分布式微服务架构的系统开发变得简单，研发人员不需要考虑分布式部署能力和大数据能力，也不需要去关心一些业务无关的通用能力，如权限、导入导出、国际化翻译、消息、审计等。这样，开发人员可以专注于业务研发，从而大幅提高开发效率。 二、提升系统扩展性 在研发标品的时候，低代码模式让开发人员不再需要关心系统的扩展性。与传统模式不同，低代码模式更加注重元数据的管理，这样就可以更好地保障系统扩展性。 三、保留研发人员习惯 Oinone 平台非常开放，满足开发人员的各种习惯，比如原有的 IDE 环境、熟悉的 Spring Boot 工程结构等。而且在 Oinone 的低代码模式下，研发人员还可以通过无代码方式，在线可视化地修改应用。这样，即使在使用低代码模式的情况下，开发人员也可以保留原有的习惯，提升开发效率。 四、提供更加开放的解决方案 Oinone 提供了非常开放的解决方案，让开发人员可以自由定制和组合各种功能。当行业出现特殊的功能需求时，开发人员可以整合成平台组件，并集成到应用中。Oinone的低代码模式具有高度的开放性和灵活性，这使得它在与其他低代码平台的比较中具有明显的优势。相比其他低代码平台，Oinone不会在无法满足特定需求的情况下限制开发人员的创造力（如下图2-16所示）。 图2-15 Oinone低代码特性介绍 图2-16 Oinone低代码的被集成特性示意图 无代码-五大设计器覆盖研发方方面面，让业务、实施也能参与 它是LCDP的产品化呈现，是冰山露在外面大家看得到的，核心还是在LCDP本身。这部分实时在演进迭代，如您有想体验最新版本，可以在Oinone官网：https://www.oinone.top注册。 设计器 说明 产品展示 模型设计器 1.以模型为驱动，当有模型、数据字典、数据编码等设计功能，我们就可以完整地定义产品数据模型，模型设计器默认整体呈现区别于普通ER图，以当前模型为核心视角展开，可以点击关联模型切换主视角。2.多种模式可切换：专家与经典切换，图与表模式的切换 界面设计器 1.界面设计器旨在帮助用户快速搭建页面；2.所见即所得和根据不同视图类型设计契合的搭建交互就变得尤为重要；3.多端页面设计能力。 流程设计器 1.为业务流程和审批流程提供可自动执行的流程模型，通过定义流转过程中的各个动作、规则，以此实现流程自动化；2.流程可以跨应用设计，不同应用的模型之间可以通过同一流程执行。 逻辑设计器 1.组件化、可视化逻辑编排，逻辑动态变更、动态管理，实施验证。 数据可视化 1.从内部系统模型获取数据内容后，根据业务需求自定义图表，目的是为企业提供更高效的数据分析工具；2.可以智取业务系统模型，系统自动解析选择的模型、接口、表格中的字段后进行数据分析；3.降低对数据分析人员的研发能力要求，提升数据分析的效率 表2-3 Oinone无代码-五大设计器简述 真正的低无一体，体现在一体化的融合能力上 在开发核心产品时，我们主要采用低代码开发，辅以无代码的开发方式。你可以参考我们的低代码开发基础入门教程中3.5.5【设计器的结合】的文章。 而在实施或者处理临时需求时，我们主要采用无代码的开发方式，低代码作为辅助。这种模式比较特殊，只在SaaS模式下提供。如果你发现某个客户个性化部分无法通过无代码设计器完成，我们提供了一个“低无一体”模块，可以反向生成API代码，生成对应的扩展工程和API依赖包，再由专业研发人员基于扩展工程，利用API包进行开发并上传至平台，可以参考关于7.4【Oinone的低无一体】的文章。 场景 融合形式 具体操作 标准产品以低代码开发为主，以无代码为辅助 标品开发时结合无代码设计器来完成页面开发，可以把设计后的页面元数据装载为标准产品的一部分。详细教程见：3.5.5【设计器的结合】一文 项目交付以无代码为主，以低代码为辅助 当有特殊需求设计器无法支持时，则可以通过低无一体应用的代码模式来完成。支持了两种使用模式：上传jar包模式、源码托管模式。详细教程见：7.4【Oinone的低无一体】一文 表2-4 不同场景适配方式说明 实现原理 本章节我们将从以下三个方面来解读Oinone的低无一体。 一：低无一体的设计原则及好处：真正的低无一体平台应该确保标准产品迭代与个性化保持独立，让软件企业具备为客户提供在线化的快速响应、个性化定制、持续更新等服务的能力，让企业客户能够真正自主做到敏捷响应和快速创新。所以Oinone的元数据融合方案跟其他平台有所区别（如下图2-17所示）。 图2-17 Oinone与其他平台的元数据融合对比图 二：低无一体中低与无的关系：无代码是低代码平台的图形化呈现，是低代码的一个子集，它将无限接近低代码的能力，同时也将成为低代码平台的必备特征，是通过低代码开发的标准产品的二开配套工具。 三：低无一体中低与无的定位：通过表2-3可以看出，低代码和无代码在Oinone的体系中相互融合，共同构成了一个完整的低无一体模式，提供更加开放、灵活和可扩展的解决方案，让用户能够更加轻松地完成开发和实施。 低代码模式 无代码模式 用户群体 专业研发 产品经理、需求分析师、直接业务人员 支撑场景 企业全场景软件以及二开 企业全场景软件以及二开，专业化场景比较高的则需低代码支持 核心能力 不改变研发习惯，提升研发效率 可视化编程无需专业编程语言知识 核心定位 开发标准模块 标准模块的二开无标品支撑场景的新模块开发 表2-3 Oinone低代码开发平台的两种开发模式对比

    史, 昂's avatar 史, 昂
    2024年5月23日
    2.2K00
  • 如何添加业务流程功能 无代码讲解

    如何添加业务流程功能

    一 如何添加业务流程功能 1.1 无代码方式 第一步：先在应用中心页面，给对应应用依赖模块列表添加工作流、业务审计模块第二步：在界面设计器-模型动作处拖拽业务流程按钮至行操作中，然后点击发布查看最后效果 ** 注意：只有在流程设计器里新增了该模型的触发的工作流，在界面设计器里才会出现业务流程

    汤乾华's avatar 汤乾华
    2023年11月6日
    1.1K00
  • 如何删除系统权限中默认的首页节点 代码实践

    如何删除系统权限中默认的首页节点

    场景： 并没有设置过首页的配置，为什么在系统权限这里的配置菜单中却有首页的配置。而且显示当前资源未完成初始化设置，无法配置。这个文章将帮助你删除这个节点。 注意：如果添加了以下代码，后续如果需要使用首页的配置，则需要删除该代码。 扩展权限加载节点： 遍历权限加载的节点，找到需要删除的模块首页节点。删除节点。 @Component @Order(88) @SPI.Service public class MyTestNodeLoadExtend implements PermissionNodeLoadExtendApi { @Override public List<PermissionNode> buildRootPermissions(PermissionLoadContext loadContext, List<PermissionNode> nodes) { //删除 TopModule.MODULE_MODULE 的首页节点。 String homepage = TranslateUtils.translateValues(PermissionNodeLoaderConstants.HOMEPAGE_DISPLAY_VALUE); for (PermissionNode node : nodes) { //如果需要删除多个模块的首页，在这里多加一个逻辑与条件即可。 if (!(node instanceof ModulePermissionNode) || !TopModule.MODULE_MODULE.equals(((ModulePermissionNode) node).getModule())) { continue; } List<PermissionNode> permissionNodes = node.getNodes(); Iterator<PermissionNode> iterator = permissionNodes.iterator(); while (iterator.hasNext()) { PermissionNode permissionNode = iterator.next(); if (ResourcePermissionSubtypeEnum.HOMEPAGE.equals(permissionNode.getNodeType()) && homepage.equals(permissionNode.getDisplayValue())) { iterator.remove(); //如果是删除多个模块首页，这里的return改为break； return nodes; } } } return nodes; } } 看效果：首页节点成功删除。

    yexiu's avatar yexiu
    2024年12月31日
    1.9K00
  • 【界面设计器】左树右表 界面设计器

    【界面设计器】左树右表

    阅读之前 你应该： 熟悉模型的增删改查相关内容。【界面设计器】模型增删改查基础 名词解释 主体：在视图中提供数据源的主要组件，并且所有动作都围绕着该主体展开。 一级搜索：在表格视图中，上方直观可见的搜索区，为表格提供筛选功能。 二级搜索：与一级搜索不同的是，其搜索条件是通过某些组件的行为追加到一级搜索条件之上的筛选功能。 概述 平台中对于左树右表提供了两种类型的展示形式。 在表格视图中的左树右表，是以表格为主体，树组件为表格提供了二级搜索功能。选中树节点时将对表格追加节点的搜索条件，并重新执行查询。 在树视图中，是以树为主体，其展开的视图可以是表格、表单、详情等其他视图。 PS：不论是树、级联这些视图组件，还是树选择、级联这些字段组件，其配置数据结构的方式是不尽相同的。唯一的区别在于最终到达的目标模型来源不同。 场景1 为了方便接下来的描述，我们需要先构建一个基本的业务场景，这个场景中包含【商品】和【商品类目】两个模型。 在【商品】的表格左侧添加【商品类目】树，选择某个商品类目后，可以根据商品类目进行筛选，查询所属类目下的全部商品。 其中【商品类目】使用【卡片级联】的展示方式进行管理。 其模型定义如下： 商品（Item） 名称 API名称 业务类型 是否多值 长度(单值长度) 关联模型 关联字段 ID id 整数 否 – – – – 编码 code 文本 否 128 – – – 名称 name 文本 否 128 – – 所属类目 category 多对一 否 – 商品类目（ItemCategory） categoryId – id 所属类目ID categoryId 整数 否 – – – 商品类目（ItemCategory） 名称 API名称 业务类型 是否多值 长度(单值长度) 关联模型 关联字段 ID id 整数 否 128 – – 编码 code 文本 否 128 – – – 名称 name 文本 否 128 – – 上级类目 parent 多对一 是 – 商品类目（ItemCategory） parentId – id 上级类目ID parentId 整数 否 – – – PS：实际业务场景中，【商品类目】通常使用编码进行关联，即parentCode – code；不仅如此，通常还会添加treeCode字段，以此来实现高效查询当前节点的所有子节点的能力。在演示模型中，我们不必关注这些内容。 创建【商品】视图 设置联动关系 这里我们需要配置的是【商品类目】的树结构，因此，在【第1级关联】中的模型选择【商品类目】。 在【商品类目】中是通过【上级类目】进行的自关联，因此，在【第1级关联】中的【自关联关系字段】选择【上级类目】。 在选中【商品类目】节点后，需要对右侧表格发起查询。其筛选条件是通过【商品】中的【所属类目】进行筛选的。因此，在【第1级关联】中的【表格关联关系字段】选择【所属类目】。那么，在表格发起查询前，会根据【所属类目】字段的关联关系配置自动添加筛选条件。 配置如下图所示： 创建【商品类目】视图 设置联动关系 这里我们需要配置的是【商品类目】的树结构（级联只是树结构的另一种表现形式） 细心的同学可能发现这里没有【表格关联关系字段】，因此，我们仅需配置【自关联关系字段】即可。 配置如下图所示： 为【商品类目】添加增删改查基础功能 与表格视图不同的是，行内动作区被放在了第一个卡片中的动作区，其他配置方式完全一致。 在这里需要理解的是，一个树节点对应的是表格中的一行。 【商品类目】使用展开视图进行编辑（可选） 打开【支持展开视图】开关，并设置展开视图。这里我们用表单视图进行编辑操作。 和其他表单一样，我们将必要的字段和动作拖入对应区域即可。 由于展开视图只会在选中节点时出现，因此我们仅需提供更新功能即可。 这里需要注意： 提交动作默认打开了【返回上一页】的功能，在当前场景中，更新动作提交数据后，没有上一页需要返回，因此需要关闭【返回上一页】的开关。 提交动作默认打开了【刷新当前视图】的功能，在当前场景中，更新按钮处于【展开视图】中，仅刷新当前视图是不够的，当数据发生变更时，我们需要将级联组件一并刷新，因此需要打开【刷新主视图】的开关。 PS：【编辑】动作和【展开视图编辑】功能是重复的，在使用时应该只选择其中一种。 【商品类目】限制仅支持四级，并为每一个卡片添加标题（可选） 移除【第1级关联】中的【自关联关系字段】，依次添加2、3、4级关联，选择【商品类目】模型，将自动选中【层级关联关系字段】为【上级类目】，并输入每一级关联的标题即可。 这里需要注意的是，在【第1级关联】中需要添加筛选条件，使其只能查询到根节点。 PS：这里的限制仅为交互上的限制，在创建/更新时，如果可以在服务端限制上级类目的选择，以及数据提交时的校验，效果更佳。 【商品类目】的【创建/编辑】使用弹窗打开（可选） 有时我们希望用户在页面中的操作尽可能的流畅，在表单规模较小的情况下，我们也可以使用【弹窗/抽屉】这类交互来优化用户体验。 小贴士： 弹窗打开的方式提供三种页面设计模式，绑定已有页面、使用新页面、复制已有页面。 使用新页面和复制已有页面的方式只能进行一次性的视图设计，无法进行复用。 使用绑定已有页面的方式可以使得视图进行复用，但复用的视图也只能同步弹窗的内容部分，弹窗底部的动作仅会在创建动作时复制一次。 跳转动作的打开方式以及页面设计模式等属于元数据信息，无法通过属性面板进行修改，因此只能通过重新创建新动作的方式进行修改。 鉴于业务的复杂和多变，通常情况下我们只采用【绑定已有页面】的方式为弹窗设计内容部分。这样在交互发生变更时，可以更好的适应变化。 场景2 为了方便接下来的描述，我们需要再构建一个基本的业务场景，这个场景中包含【公司】和【部门】两个模型。 【公司】模型的管理能力使用标准的【增删改查】视图。（此处不进行演示） 在【部门】的表格左侧添加【公司】-【部门】树，在选择某个公司后，可以根据所属公司进行筛选，查询所属公司下的全部部门。在选择某个部门后，可以根据上级部门进行筛选，查询该部门下的子部门（不包含子部门的子部门）。 PS：如这里要求查询该部门下的全部子部门，需要服务端配合。 其模型定义如下： 公司（Company） 名称 API名称 业务类型 是否多值 长度(单值长度) 关联模型 关联字段 ID id 整数 否 – – – – 编码 code 文本 否 128 – – – 名称 name 文本…

    nation's avatar nation
    2023年11月1日
    4.9K00
  • 4.1.14 Search之非存储字段条件 Oinone 7天入门到精通

    4.1.14 Search之非存储字段条件

    search默认查询的是模型的queryPage函数，但我们有时候需要替换调用的函数，这个特性会在下个版本支持。其核心场景为当搜索条件中有非存储字段，如果直接用queryPage函数的rsql拼接就会报错，所以非存储字段不会增加在rsql中。本文介绍一个比较友好的临时替代方案。 非存储字段条件（举例） Step1 为PetTalent新增一个非存储字段unStore @Field(displayName = "非存储字段测试",store = NullableBoolEnum.FALSE) private String unStore; 图4-1-14-1 为PetTalent新增一个非存储字段unStore Step2 修改PetTalent的Table视图的Template 在标签内增加一个查询条件 <field data="unStore" /> 图4-1-14-2 修改PetTalent的Table视图的Template Step3 重启看效果 进入宠物达人列表页，在搜索框【非存储字段测试】输入查询内容，点击搜索跟无条件一致 Step4 修改PetTalentAction的queryPage方法 package pro.shushi.pamirs.demo.core.action; …… 引入依赖类 @Model.model(PetTalent.MODEL_MODEL) @Component public class PetTalentAction { ……其他代码 @Function.Advanced(type= FunctionTypeEnum.QUERY) @Function.fun(FunctionConstants.queryPage) @Function(openLevel = {FunctionOpenEnum.API}) public Pagination<PetTalent> queryPage(Pagination<PetTalent> page, IWrapper<PetTalent> queryWrapper){ QueryWrapper<PetTalent> queryWrapper1 = (QueryWrapper<PetTalent>) queryWrapper; Map<String, Object> queryData = queryWrapper.getQueryData(); String unStore = (String) queryData.get(LambdaUtil.fetchFieldName(PetTalent::getUnStore)); if (StringUtils.isNotEmpty(unStore)) { //转换查询条件 queryWrapper1.like( 图4-1-14-3 修改PetTalentAction的queryPage方法 Step5 重启看效果 在搜索框【非存储字段测试】输入查询内容，跟通过【达人】字段搜索的效果是一致的 图4-1-14-4 示例效果

    史, 昂's avatar 史, 昂
    2024年5月23日
    2.1K00

Leave a Reply

Please Login to Comment