1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 264

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 5.1.0版本bugfix：修复高级首页无法正常配置菜单的问题，请升级对应版本 5.x

    5.1.0版本bugfix：修复高级首页无法正常配置菜单的问题，请升级对应版本

    版本号： 5.1.1 版本发布日期：2024.08.03更新要点：修复高级首页无法正常配置菜单的问题 5.1.1 版本 升级说明及步骤（已升级为5.0.0版本忽略） 此版本与4.7.8版本的兼容方案如下，请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容（5.1.0） 修复高级首页无法正常配置菜单的问题 修复管理权限组无法正常添加角色的问题 修复表达式计算异常的问题 修复行权限报行过滤条件重复的问题 修复新增配置时，设置当前环境报错问题 修复导入导出时表达式枚举异常的问题 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <pamirs.middleware.version>5.0.2</pamirs.middleware.version> <pamirs.k2.version>5.1.1</pamirs.k2.version> <pamirs.framework.version>5.1.1</pamirs.framework.version> <pamirs.boot.version>5.1.1</pamirs.boot.version> <pamirs.distribution.version>5.1.1</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.1.2</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.1.2</pamirs.designer.metadata.version> <pamirs.core.version>5.1.2</pamirs.core.version> <pamirs.workflow.version>5.1.1</pamirs.workflow.version> <pamirs.workbench.version>5.0.2</pamirs.workbench.version> <pamirs.data.visualization.version>5.1.1</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.1.1</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.1.1</pamirs.flow.designer.base.version> <pamirs.workflow.designer.version>5.1.1</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.1.1</pamirs.model.designer.version> <pamirs.ui.designer.version>5.1.1</pamirs.ui.designer.version> <pamirs.data.designer.version>5.1.1</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.1.1</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.1.1</pamirs.eip.designer.version> 注意镜像名称变化 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.1.1-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.1.1-arm64 镜像拉取 镜像或JAR版本：5.1.1.1 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.1.1 部署镜像：（包含前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.1:5.1.1.1 流程设计器镜像：（包含前后端服务，仅包含流程设计器） docker pull harbor.oinone.top/oinone/workflow-designer-v5.1:5.1.1.1 后端镜像：（仅包含后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/designer-backend-v5.1:5.1.1.1 前端镜像：（仅包含前端服务，包含全部设计器） PS：前端镜像版本为独立版本，与其他镜像版本不同。原基础镜像为nginx-1.21.0版本，从5.0.7版本开始使用nginx-1.24.0版为基础镜像 docker pull harbor.oinone.top/oinone/designer-frontend-v5.1:5.1.2 独立部署所有设计器JAR：（后端服务，包含所有设计器）pamirs-designer-boot-v5.1-5.1.1.1.jarpamirs-designer-boot-v5.1-latest.jar 独立部署流程设计器JAR：（后端服务，仅包含流程设计器）pamirs-workflow-designer-boot-v5.1-5.1.1.1.jarpamirs-workflow-designer-boot-v5.1-latest.jar 后端无代码设计器Jar包启动方法 如果您有任何问题、建议或反馈，请随时联系我们。为了获得最佳体验，请及时更新至最新版本。我们将继续努力改进产品，提供更好的服务。谢谢！

    张博昊的头像 张博昊
    2024年8月3日
    1.1K00
  • 登录页自定义配置如何使用 前端

    登录页自定义配置如何使用

    介绍 为满足大家对登录页面不同的展示需求，oinone在登录页面提供了丰富的配置项以支持大家在业务上的个性化需求 配置方式 在manifest.js内新增以下配置选项 manifest.js文件如何配置的参考文档 runtimeConfigResolve({ login: { /** * 登录按钮label */ loginLabel: '登录', /** * 是否显示忘记密码按钮 */ forgetPassword: true, /** * 忘记密码按钮Label */ forgetPasswordLabel: '忘记密码', /** * 是否显示注册按钮 */ register: true, /** * 注册按钮Label */ registerLabel: '注册', /** * 是否显示验证码登录Tab */ codeLogin: true, /** * 账号登录Tab Label */ accountLoginLabel: '账号', /** * 验证码登录Tab Label */ codeLoginLabel: '验证码', /** * 账号登录-账号输入框Placeholder */ accountPlaceholder: '请输入账号', /** * 账号登录-密码输入框Placeholder */ passwordPlaceholder: '前输入密码', /** * 验证码登录-手机号输入框Placeholder */ phonePlaceholder: '请输入手机号', /** * 验证码登录-验证码输入框Placeholder */ codePlaceholder: '请输入验证码', } });

    nation的头像 nation
    2024年4月24日
    1.2K00
  • 表格主题配置（v4） 前端

    表格主题配置（v4）

    TableThemeConfig /** * 表格主题配置 */ export interface TableThemeConfig { border: boolean | string; stripe: boolean; isCurrent: boolean; isHover: boolean; /** * 表格列主题配置 */ column: Partial<TableColumnThemeConfig>; } /** * 表格列主题配置 */ export interface TableColumnThemeConfig { /** * <h3>最小宽度</h3> * <ul> * <li>boolean: enabled column width auto compute</li> * <li>number: using css width (default: px)</li> * <li>string: using css width</li> * <li> * object: auto compute width for label by default function * <ul> * <li>min: min min width (default: 120)</li> * <li>max: max min width (default: 432)</li> * <li>chineseWidth: chinese width (default: 14 -> fontSize: 14px)</li> * <li>otherWidth: non chinese width (default: 9 -> fontSize: 14px)</li> * <li>sortableFixWidth: sortable handle width (default: 40)</li> * <li>nonSortableFixWidth: non sortable fix width (default: 22)</li> * </ul> * </li> * <li>function: auto compute width for label by function</li> * </ul> */ minWidth: boolean | number | string | Partial<TableColumnMinWidthComputeConfig> | TableColumnMinWidthComputeFunction; /** * 操作列 */ operation: { /** * 宽度 (default: 165) */ width?: number | string; /** * 最小宽度 (default: 120) */ minWidth?: number | string; }; } export interface TableColumnMinWidthComputeConfig { min: number;…

    数式-海波的头像 数式-海波
    2023年11月1日
    92500
  • 母版-布局-DSL 渲染基础（v4） 前端

    母版-布局-DSL 渲染基础（v4）

    概述 不论是母版、布局还是DSL，我们统一使用XML进行定义，可以更好的提供结构化表述。 参考文档： XML百度百科 XML语法参考 下面文档中未介绍到的Mask母版和Layout布局，可以去数据库中base库的表base_layout_definition和base_mask_definition的template字段查看 母版 确定了主题、非主内容分发区域所使用组件和主内容分发区域联动方式的页面配置。 母版内容分为主内容分发区域与非主内容分发区域。非主内容分发区域一般包含顶部栏、底部栏和侧边栏。侧边栏可以放置菜单，菜单与主内容分发区域内容进行联动。 默认母板 <mask> <multi-tabs /> <header> <widget widget="app-switcher" /> <block> <widget widget="notification" /> <widget widget="divider" /> <widget widget="language" /> <widget widget="divider" /> <widget widget="user" /> </block> </header> <container> <sidebar> <widget widget="nav-menu" height="100%" /> </sidebar> <content> <breadcrumb /> <block width="100%"> <widget width="100%" widget="main-view" /> </block> </content> </container> </mask> 该模板中包含了如下几个组件： mask：母版根标签 multi-tabs：多选项卡 header：顶部栏 container：容器 sldebar：侧边栏 nav-menu：导航菜单 content：主内容 breadcrumb：面包屑 block：div块 main-view：主视图；用于渲染布局和DSL等相关内容； 母版将整个页面的大体框架进行了描述，接下来将主要介绍布局和DSL是如何在main-view中进行渲染的。关于自定义母版组件的相关内容 点击查看 布局 布局是将页面拆分成一个一个的小单元，按照从上到下、从左到右进行顺序排列 布局主要用于控制页面中元素的展示的相对位置，原则上不建议将元数据相关内容在布局中进行使用，可最大化布局的利用率。 默认表格视图（TABLE） <view type="TABLE"> <pack widget="group"> <view type="SEARCH"> <element widget="search" slot="search" /> </view> </pack> <pack widget="group" slot="tableGroup"> <element widget="actionBar" slot="actionBar"> <xslot name="actions" /> </element> <element widget="table" slot="table"> <element widget="expandColumn" slot="expandRow" /> <xslot name="fields" /> <element widget="rowActions" slot="rowActions" /> </element> </pack> </view> 该模板中包含了如下几个组件： view：视图；用于定义当前视图类型，不同的视图类型会有不同的数据交互，以及渲染不同的组件。 pack：容器类型相关组件。 element：元素组件；包含各种各样的组件，根据组件实现有不同的作用。 xslot：DSL插槽；用于将DSL中定义的模板分别插入到对应的槽中； 特别的，任何XML标签上的slot属性都具备DSL插槽的全部能力。当学习完DSL相关内容后，我们将会对DSL插槽有比较清晰的理解。 PS：在下面的内容中，将使用该布局进行描述。 DSL 准备工作 为了方便描述DSL和元数据之间的关系，我们需要先定义一个简单模型，这个模型里面包含字段和动作。这些通常是服务端定义的。（对服务端不感兴趣的同学可以跳过代码部分） DemoModel.java @Model.model(DemoModel.MODEL_MODEL) @Model(displayName = "演示模型", labelFields = {"name"}) public class DemoModel extends IdModel { private static final long serialVersionUID = -7211802945795866154L; public static final String MODEL_MODEL = "demo.DemoModel"; @Field(displayName = "名称") private String name; @Field(displayName = "是否启用") private Boolean isEnabled; } DemoModelAction.java @Model.model(DemoModel.MODEL_MODEL) @UxRouteButton( action = @UxAction(name = "redirectCreatePage", displayName = "创建", contextType = ActionContextTypeEnum.CONTEXT_FREE), value = @UxRoute(model =…

    oinone的头像 oinone
    2023年11月1日
    2.3K10
  • 5.2.0版本bugfix：修复EIP参数转换异常的问题，请升级对应版本 5.x

    5.2.0版本bugfix：修复EIP参数转换异常的问题，请升级对应版本

    版本号： 5.2.19 版本发布日期：2025.01.07更新要点：修复EIP参数转换异常的问题 5.2.0 版本 升级说明及步骤（已升级为5.0.0版本忽略） 此版本与4.7.8版本的兼容方案如下，请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容（5.2.0） 修复EIP参数转换异常的问题 修复在特定情况下工作流时间字段转换异常的问题 修复流程参数弹窗样式问题 修复设计器容器里面的字段间距不生效 表格选中事件可以获取vxe-table里面的数据 修复模型设计器导出元数据报错的问题 修复模型设计器修改数据字典校验错误的问题 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 后端版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <oinone.version>5.2.19.2</oinone.version> <!– 设计器 –> <pamirs.workflow.designer.version>5.2.0</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.2.11</pamirs.model.designer.version> <pamirs.ui.designer.version>5.2.14</pamirs.ui.designer.version> <pamirs.data.designer.version>5.2.5</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.2.0</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.2.6</pamirs.eip.designer.version> <dependencyManagement> <dependencies> <dependency> <groupId>pro.shushi</groupId> <artifactId>oinone-bom</artifactId> <version>${oinone.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> oinone-bom详细版本信息 <!– 平台基础 –> <pamirs.middleware.version>5.2.3</pamirs.middleware.version> <pamirs.k2.version>5.2.11</pamirs.k2.version> <pamirs.framework.version>5.2.17</pamirs.framework.version> <pamirs.boot.version>5.2.16</pamirs.boot.version> <pamirs.distribution.version>5.2.7</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.2.2</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.2.4</pamirs.designer.metadata.version> <pamirs.core.version>5.2.24</pamirs.core.version> <pamirs.workflow.version>5.2.11</pamirs.workflow.version> <pamirs.workbench.version>5.2.0</pamirs.workbench.version> <pamirs.data.visualization.version>5.2.7</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.2.3</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.2.8</pamirs.flow.designer.base.version> 前端版本包信息 { "@kunlun/vue-dependencies": "5.2.35", "@kunlun/vue-ui-antd": "5.2.35", "@kunlun/vue-ui-el": "5.2.35", "@kunlun/vue-mobile-dependencies": "5.2.14", "@kunlun/vue-ui-mobile-vant": "5.2.14", "@kunlun/mobile-workbench": "5.2.5", "@kunlun/data-designer-open-pc": "5.2.1", "@kunlun/data-designer-open-mobile": "5.2.1" } 前端详细版本信息 可通过node_modules/@kunlun查看 { "@kunlun/cache": "5.2.9", "@kunlun/dsl": "5.2.9", "@kunlun/event": "5.2.9", "@kunlun/expression": "5.2.9", "@kunlun/meta": "5.2.9", "@kunlun/request": "5.2.9", "@kunlun/router": "5.2.9", "@kunlun/service": "5.2.9", "@kunlun/shared": "5.2.9", "@kunlun/spi": "5.2.9", "@kunlun/state": "5.2.9", "@kunlun/theme": "5.2.9", "@kunlun/engine": "5.2.12", "@kunlun/vue-admin-base": "5.2.35", "@kunlun/vue-admin-layout": "5.2.35", "@kunlun/vue-dependencies": "5.2.35", "@kunlun/vue-router": "5.2.35", "@kunlun/vue-ui": "5.2.35", "@kunlun/vue-ui-antd": "5.2.35", "@kunlun/vue-ui-common": "5.2.35", "@kunlun/vue-ui-el": "5.2.35", "@kunlun/vue-widget": "5.2.35", "@kunlun/vue-expression": "5.2.1", "@kunlun/vue-mobile-base": "5.2.14", "@kunlun/vue-mobile-dependencies": "5.2.14", "@kunlun/vue-ui-mobile-vant": "5.2.14", "@kunlun/mobile-workbench": "5.2.5", "@kunlun/data-designer-core": "5.2.1", "@kunlun/data-designer-core-mobile": "5.2.1", "@kunlun/data-designer-core-pc": "5.2.1", "@kunlun/data-designer-open-mobile": "5.2.1", "@kunlun/data-designer-open-pc": "5.2.1" } 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.19.3-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.19.3-arm64 镜像拉取 镜像或JAR版本：5.2.19.3 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.19.3 部署镜像：（包含前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.2:5.2.19.3 流程设计器镜像：（包含前后端服务，仅包含流程设计器） docker pull harbor.oinone.top/oinone/workflow-designer-v5.2:5.2.19.3 后端镜像：（仅包含后端服务，包含全部设计器）…

    张博昊的头像 张博昊
    2025年1月8日
    72200

Leave a Reply

登录后才能评论