1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1890 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 快速上手 数式Oinone新人入门

    快速上手

    Oinone是一个企业级产品化引擎，专注于为企业在项目型、行业产品和标品的三个发展阶段提供极具成本效益的解决方案，帮助企业高效应对核心技术挑战，打造自有得研发平台。 建议大家以下方流程深度体验Oinone的各种能力、了解熟悉Oinone的设计理念、解题思路；同时我们也在微信群提供1V1的解答；有解决不了的问题随时联系对应的支持人员； 部署所需资料包 提示：安装启动具体操作查看“快速启动”。其它版本也可，建议使用以上版本。 入门学习路径 这是整个学习的过程：注意：此图的每一步都可在下面的目录中找到，大家跟随操作即可(有文档有视频)！ 快速启动 环境准备须知(部署前必看) * 无代码启动 常见问题 * 无代码启动常见问题 后端启动常见问题 入门培训视频 整体概念(点击此处观看) 视频简介: 平台整体介绍、核心理念、研发方式、要解决的问题 观看对象: 建议都看 后端(点击此处观看) 视频简介: 如何开始、与原有开发方式有什么差异？元数据是什么？前后端如何协作？0-1开发一个新场景，解答疑惑 观看对象: 后端，对Java有基础的了解 前端(点击此处观看) 视频简介: 前端要做什么？怎么做到不用联调？写的代码怎么沉淀、复用？与后端如何协作？每种场景都有一个示例，有最基本的概念讲解 观看对象: 前端，对Vue有基础的了解 无代码(点击此处观看) 视频简介: 无代码有什么定位？在开发、测试、生产阶段能做什么？对研发有什么帮助？无代码基础使用入门讲解 观看对象: 建议都看 按教程还原业务场景(文档) 后端 前端 按教程还原业务场景(视频) 后端 前端

    红莲's avatar 红莲
    2024年11月9日
    4.4K00
  • 环境准备须知 数式Oinone新人入门

    环境准备须知

    本地开发：本地使用idea开发，编写业务代码；服务器：用来部署无代码设计器的，安装docker、mysql等；本教程模拟的 本地是windows、 服务器是Centos的操作系统 注意事项条件 需要准备一台4核16G的Linux服务器 操作系统推荐CentOS 7.9 64位(其他兼容操作系统也可以) 1、互通性 ● 本地开发ip   能否调通   服务器ip   在本地执行命令：ping 192.168.0.121(替换成服务器ip) ● 部署docker的宿主机ip 能否调通 本地开发ip   进入服务器执行命令：ping 192.168.0.60(替换成自己的本地ip) 注意：推荐双向能互通，如果不通的话从无代码端访问本地数据会出现调用服务错误。 2、确定服务器系统架构 查看当前系统架构: 使用 arch(推荐使用) 或者uname -a 命令 x86_64：表示支持 AMD64 架构。 aarch64：表示支持 ARM64 架构 Oinone所有镜像均使用docker manifest支持amd64和arm64架构！(如果有其他架构请先联系数式人员确定能否使用) 注意！以上条件必须先明确好，再进入后面的部署。

    红莲's avatar 红莲
    2024年10月30日
    1.6K00
  • 如何实现页面间的跳转 低无一体

    如何实现页面间的跳转

    介绍 在日常的业务中，我们经常需要在多个模型的页面之间跳转，例如从商品的行可以直接点击链接跳转到类目详情，还有查看该订单发起的售后单列表，这里将给大家展示如何在oinone中如何实现这些功能。 方法一、通过界面设计器的无代码能力配置 表格行跳转到表单页/详情页 拖入一个跳转动作到表格行，保存动作后，在左侧的动作属性面板底部有个请求配置，里面的上下文属性就是配置跳转参数的地方，点击添加按钮可以增加一行参数 点击添加按钮后，可以看到新增了一行，行内有2个输入框，左侧输入框为目标视图模型的字段，右侧输入框为当前视图模型的表达式 注意 表达式中activeRecord关键字代表当前行的数据对象 “上下文”相关知识点 当前页面的模型和跳转后的页面模型相同的情况下，会字段带上当前行数据的id作为路由参数 上下文是从当前页面跳转到下个页面带的自定义参数 上下文会作为跳转后的页面数据加载函数的入参，后端的该函数需要根据该条件查询到数据返回给前端，典型的例子就是编辑页，根据id查询对象的其他字段信息返回 跳转后页面的数据加载函数可以在动作场景的时候选择加载函数，也可以在页面的加载函数处设置 方法二、通过低代码方式在自定义代码中调用 oinone提供了内置函数executeViewAction实现该功能 import { DefaultComparisonOperator, executeViewAction, QueryExpression, RuntimeViewAction, ViewActionTarget, ViewType } from '@kunlun/dependencies'; export class JumpActionWidget { protected goToObjectView() { executeViewAction( { viewType: ViewType.Form, moduleName: 'resource', model: 'resource.ResourceCountry', name: 'redirectUpdatePage', target: ViewActionTarget.Router } as RuntimeViewAction, undefined, undefined, { // 此处为id参数，目前只有表单和详情页需要 id: '12223', // 此处为上下文参数，context内对象的key是目标页面需要传递的默认值 context: JSON.stringify({code: 'xxx'}), // 此处为跳转后左侧菜单展开选中的配置 menu: JSON.stringify({"selectedKeys":["国家"],"openKeys":["地址库","地区"]}) } ); } protected goToListView() { const searchConditions: QueryExpression[] = []; searchConditions.push({ leftValue: ['countryCode'], // 查询条件的字段 operator: DefaultComparisonOperator.EQUAL, right: 'CN' // 字段的值 }); executeViewAction( { viewType: ViewType.Table, moduleName: 'resource', model: 'resource.ResourceCity', name: 'resource#市', target: ViewActionTarget.OpenWindow } as RuntimeViewAction, undefined, undefined, { // searchConditions相当于domain，不会随页面搜索项重置动作一起被清空 searchConditions: encodeURIComponent(JSON.stringify(searchConditions)), // searchBody的字段会填充搜索区域的字段组件，会随页面搜索项重置动作一起被清空 searchBody: JSON.stringify({code: 'CN'}), menu: JSON.stringify({"selectedKeys":["国家"],"openKeys":["地址库","地区"]}) } ); } } 扩展知识点 为什么executeViewAction跳转到的新页面不是入参的moduleName属性对应的模块? 答：跳转后所在的模块优先级为： 第一个入参的resModuleName属性对应的模块 执行executeViewAction时所在的模块 第一个入参的moduleName属性对应的模块 如何快速获取选中菜单的值？ 答：先通过页面菜单手动打开页面，然后在浏览器自带调试工具的控制台执行decodeURIComponent(location.href),其中的menu参数就是我们需要的值

    nation's avatar nation
    2024年5月13日
    3.9K00
  • 前端自定义组件之单页面步骤条 组件

    前端自定义组件之单页面步骤条

    本文将讲解如何通过自定义，实现单页面的步骤条组件。其中每个步骤的元素里都是界面设计器拖出来的。 实现路径 整体的实现思路是界面设计器拖个选项卡组件，自定义这个选项卡，里面的每个选项页都当成一步渲染出来，每一步的名称是选项页的标题。 1. 界面设计器拖出页面 我们界面设计器拖个选项卡组件，然后在每个选项页里拖拽任意元素。完成后点击右上角九宫格，选中选项卡，填入组件 api 名称，作用是把选项卡切换成我们自定义的步骤条组件，这里的 api 名称和自定义组件的 widget 对应。最后发布页面，并绑定菜单。 2. 组件实现 widget 组件重写了选项卡，核心函数 renderStep，通过 DslRender.render 方法渲染界面设计器拖拽的元素，每一步的 step 又是解析选卡页得到的。 import { SPI, Widget, DefaultTabsWidget, BasePackWidget, DslDefinition, DslRender, DslDefinitionType, CallChaining, customMutation } from '@oinone/kunlun-dependencies'; import { VNode } from 'vue'; import NextStepSinglePage from './NextStepSinglePage.vue'; @SPI.ClassFactory(BasePackWidget.Token({ widget: 'NextStepSinglePage' })) export class NextStepSinglePageWidget extends DefaultTabsWidget { public initialize(props) { super.initialize(props); this.setComponent(NextStepSinglePage); return this; } @Widget.Reactive() public get invisible() { return false; } // 配置的每一步名称，解析选项页的标题 @Widget.Reactive() public get titles() { return this.template?.widgets?.map((item) => item.title) || []; } // region 上一步下一步配置 // 步骤数组，数组里的元素即步骤要渲染的内容 @Widget.Reactive() public get steps(): DslDefinition[] { // 每个 tab 是一个步骤，这里会有多个步骤 // 每个步骤里有多个元素，又是数组 // 所以这里是二维数组 const tabDsls: DslDefinition[][] = this.template?.widgets.map((item) => item.widgets) || []; // 对每个步骤的子元素们，外侧包一层 row 布局，所以变回了一维数组 return tabDsls.map((tabDsl) => { return { …(this.template || {}), dslNodeType: DslDefinitionType.PACK, widgets: tabDsl, widget: 'row', resolveOptions: { mode: 1 } }; }); } // 渲染步骤，每个步骤有多个子元素 @Widget.Method() public renderStep(step: DslDefinition): VNode | undefined { return DslRender.render(step); } // region 校验相关 // 校验的钩子 @Widget.Reactive() @Widget.Inject('validatorCallChaining') protected parentValidatorCallChaining: CallChaining<boolean> | undefined; // 校验步骤表单 @Widget.Method() public async onValidator(): Promise<boolean> { const res = await this.parentValidatorCallChaining?.syncCall(); return res…

    银时's avatar 银时
    2025年7月8日
    1.0K00

  • 陈浩

    自2017年中国推进数字建设以来，数字经济规模持续增长，“十四五”规划和2035远景目标纲要中明确强调企业和政府需大力推动数字化转型，中国正在迈进一个崭新的数字经济时代。 在这个过程中，软件已经从工具变成信息化的基础设施，如何有效应对该变化所带来的一系列新的核心技术挑战，是整个软件行业发展遇到的另一难题。我认为，开源创新是解决这些难题的有效手段之一，也是未来软件发展的重要方向。如果说，数字化转型是时代趋势，那么开源创新也已成为时代主流。十四五规划纲要首提开源，2021年11月工信部印发《十四五软件和信息技术服务业发展规划》中提到开源重塑软件发展新生态，并将开源重塑软件发展新生态作为十四五期间我国软件产业的四大发展形势之一进行重点阐述。支持国产化开源创新体系发展，建设自己的开源社区和开源平台，其所具有的大众协同、开放共享、持续创新等特点，可有效推动各行业自主可控的数字化转型。 Oinone所倡导的开源理念和生态共建，与国家开源战略不谋而合：将开源作为一种合作手段，通过完善社区注重开源治理，吸引更多的企业和个体参与其中。湖南大学作为首批国家示范性软件学院的双一流建设高校，一直致力于推进和引导国产化开源软件体系的建设，并为此开展多种形式的产学研研究和实践。基于Oinone微服务分布式的设计理念和面向生态的开源特性，湖南大学结合自身在大数据分布式存储、多元异构数据汇聚融合和大数据智能分析等方面的研究成果，与Oinone展开了深度的技术创新合作，并在多个大中型企业数字化应用和数字政府应用中取得了良好的效果。 随着Oinone的开源，相信能激发更多的开发者参与到国产软件建设中，通过开源模式实现更广泛参与方的共享、共创、共生、共赢，构建价值驱动的数字创新生态平台，为我国数字经济发展贡献科技力量。 湖南大学教授：陈浩

    史, 昂's avatar 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    2.4K00

Leave a Reply

Please Login to Comment