1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 311

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 报表 Oinone 7天入门到精通

    报表

    1. 业务场景 报表不局限于表格的样式，还能以各式各样的图表形式展现各项汇总数据 这有利于管理者更为直观地了解公司的经营情况，便于后续进行分析，提高对公司的管理水平。 2. 操作流程 1）进入数据可视化，进入报表tab，维护分组信息； 2）在二级分组名称后点击“+”【添加报表】，对报表进行编辑设计； 3）创建完成后可以【编辑】报表标题、备注； 4）需要通过【选择图表、创建图表】完善报表内容； 5）完善后可以点击【发布】报表，则报表此时可以被引用； 6）如果报表有更新，则可以点击【更新发布】，使业务系统引用对报表变为最新的报表信息； 7）如果报表数据不再可以公开使用，则需要通过【隐藏】功能将报表的引用权限收起，此时数据大屏、前端业务系统均不可再引用该报表，但不影响已被引用的报表； 8）隐藏后可以【取消隐藏】，报表恢复隐藏前的状态和功能，可以被引用。 3. 操作流程图解 3.1 创建分组 1）操作流程：创建分组 2）操作路径：数据可视化-报表-创建分组 3）点击搜索框后的「+」创建一级分组，输入一级分组名称后，点击一级分组后的「+」创建二级分组，输入二级分组名称后，此时分组创建完成，可以在二级分组下创建报表 3.2 编辑分组名称 1）操作流程：选择分组-编辑分组名称 2）操作路径：数据可视化-报表-编辑分组名称 3）鼠标移动至需要修改的分组上，点击出现的「编辑图标」，可以修改分组名称，修改后分组名称实时更新 3.3 删除分组 1）操作流程：选择分组-删除分组 2）操作路径：数据可视化-报表-删除分组 3）鼠标移动至需要删除的分组上，当分组下无报表时出现「删除图标」，可以点击图标后删除分组，删除一级分组时对应所有的二级分组也会被删除，删除后消失，只要分组下没有报表的分组才能直接删除成功 3.4 创建报表 1）操作流程：选择二级分组-创建报表 2）操作路径：数据可视化-报表-二级分组-创建报表 3）鼠标移动至需要创建报表的二级分组上，出现「+」，点击图标后=需要填写报表标题； a. 报表标题：最大支持20个字，支持汉字、数字、大小写字母、-；同个一级分组下不允许重复； 4）创建后可以选择报表需要展示的图表 3.5 删除报表 1）操作流程：选择报表-删除报表 2）操作路径：数据可视化-报表-二级分组-报表名称-删除图表 3）未发布或者已发布但没有被隐藏的报表，并且没被前端或者数据大屏引用，才展示报表菜单名称后的删除图标 4）删除报表后报表消失 3.6 选择图表 1）操作流程：选择报表-为报表选择图表 2）操作路径：数据可视化-报表-二级分组-报表名称-选择图表 3）选择单个未发布或者已发布但没有被隐藏的报表，点击【选择图表】，弹出“选择图表”弹窗，对该报表需要展示的图表进行选择 a. 需要选择图表的一级分组后才能选择图表； b. 可以多选图表，选择的图表只能是已选一级分组下的未隐藏的未被选择的图表；选择一个二级分组时，默认该二级分组下的图表会全部被选中，图表会按照选中的顺序展示在报表列表； 4）选择图表后，报表信息保持展示图表的最新效果；如果图表更新了，但是报表没有发布最新，则报表在前端展示的仍为最近发布的版本； 5）如果图表中存在超过一行的图内筛选项，则在报表处原始的图表尺寸只能查看一行图内筛选项，需要根据图表在报表处的等比拖动效果展示更多的图内筛选项 3.7 创建图表 1）操作流程：选择报表-创建图表 2）操作路径：数据可视化-报表-二级分组-创建图表 3）选择单个未发布或者已发布但没有被隐藏的报表，点击【创建图表】，弹出“创建图表”弹窗，需要填写图表标题、模型、方法； a. 图表标题：最大支持20个字，支持汉字、数字、大小写字母、-；同个一级分组下不允许重复； b. 模型：需要选择来源数据对应的模型； c. 方法：选择模型后需要选择方法，方法是用来提取模型数据的逻辑； 4）选择成功后进入图表设计页面，创建图表保存后返回，返回到当前报表页面，新创建的图表展示在报表的第一个位置 3.8 拖拽图表 1）操作流程：选择报表-拖拽图表 2) 操作路径：数据可视化-报表-二级分组-报表名称-拖拽图表 3）所有的报表均可拖拽图表，拖拽时需要选择图表，可以上下左右等比拖动，图表的内容也会根据拖动的比例进行缩放，展示全部的被遮挡图表内容 4）拖拽后实时生效，报表信息保持展示最新效果 3.9 移除图表 1）操作流程：选择报表-移除图表 2）操作路径：数据可视化-报表-二级分组-报表名称-移除图表 3）未发布或者已发布但没有被隐藏的报表，并且没被前端或者数据大屏引用，此时可以针对不需要的图表进行移除 4）选择移除后不展示在报表中，不影响原图表 5）报表移除图表后实时更新，更新发布后，前端可以展示最新的报表信息，如果未发布，则仅数据大屏可展示最新的报表信息，前端仍为最近发布的报表 3.10 设置报表筛选项 1）操作流程：选择报表-设置报表筛选项 2）操作路径：数据可视化-报表-二级分组-报表名称-更多-报表筛选项-添加 3）添加时选择筛选项字段的类型，关联每个图表对应的字段，一个图表只能关联一个 4）关联后可以按关联字段查询图表数据 3.11 发布 1）操作流程：选择报表-发布报表 2）操作路径：数据可视化-图表-二级分组-报表-发布 3）选择单个未发布且没有被隐藏的报表，点击【发布】按钮，报表发布后可以被前端引用，报表状态变为已发布，展示最近发布时间； 4）如果报表发布后有更新内容，会展示的更新类型：更新报表信息/更新图表内容/选择图表/移除图表 3.12 查看最近一次发布的版本 1）操作流程：选择报表-查看最近一次发布的版本 2）操作路径：数据可视化-报表-二级分组-报表名称-查看最近一次发布的版本 3）当报表发布后有更新，在最近发布时间左侧展示【查看】，在最近发布时间下展示更新的类型，点击查看可以查看最近发布的版 3.13 更新发布 1）操作流程：选择报表-更新发布报表 2）操作路径：数据可视化-报表-二级分组-报表名称-更新发布报表 3）选择单个已发布且没有被隐藏的报表，并且该报表在上次发布后有所更新，可以点击【更新发布】按钮，将最新的报表内容发布至业务系统，业务系统引用的报表为最新内容； 4）如果更新了内容，但未点击更新发布，则前端业务系统查看的报表仍为最近发布的报表 3.14 隐藏 1）操作流程：选择报表-隐藏报表 2）操作路径：数据可视化-报表-二级分组-报表名称-隐藏报表 3）报表默认不隐藏，可以切换是否隐藏=是 a. 未发布的报表，较隐藏前，不可以操作【发布】，可以【取消隐藏】； b. 已发布的图表，较隐藏前，只能操作【导出图片、导出excel、取消隐藏】； c. 隐藏后的报表不可以被引用，但不影响已经被引用的数据 3.15 取消隐藏 1) 操作流程：选择报表-取消隐藏报表 2) 操作路径：数据可视化-报表-二级分组-报表名称-取消隐藏报表 3) 隐藏后的报表可以取消隐藏，切换是否隐藏=否，取消隐藏后，报表恢复隐藏前的状态和功能，可以被引用 3.16 查看引用 1）流程：选择报表-查看被哪些页面引用 2）操作路径：数据可视化-报表-二级分组-报表-更多-查看引用 3）选择具体的报表，查看当前报表被引用的所有信息 3.17 不允许别人编辑 1）流程：选择报表-不允许别人编辑 2）操作路径：数据可视化-报表-二级分组-报表-更多-不允许别人编辑 3）选择自己创建的报表，对报表是否允许其他人编辑进行设置；如果设置为不允许，则其他人无法编辑报表 3.18 不允许别人引用 1）流程：选择图表-更多-不允许别人引用 2）操作路径：数据可视化-报表-二级分组-报表-更多-不允许别人引用 3）选择自己创建的报表，对报表是否允许他人引用进行设置；如果设置为不允许，则其他人无法引用到该报表 3.19 导出图片 1) 操作流程：选择报表-导出图片 2) 操作路径：数据可视化-报表-二级分组-报表名称-导出图片 3) 选择报表后，点击【导出图片】按钮可以将当前报表导出为图片 3.20 导出EXCEL 1）操作流程：选择报表-导出EXCEL 2）操作路径：数据可视化-报表-二级分组-报表名称-报表导出EXCEL 3）选择报表后，点击【导出EXCEL】按钮可以将当前报表导出为EXCEL

    史, 昂的头像 史, 昂
    2024年6月20日
    1.3K00
  • 保存多值字段SQL执行报错 问题诊断

    保存多值字段SQL执行报错

    定义多值类型时，字段类型应该设置为List类型。 @Field.String @Field(displayName ="经费证明", multi = true, serialize = Field.serialize.JSON) private List<String> matchFund; 场景复现

    yexiu的头像 yexiu
    2024年8月30日
    75100
  • 左树右表默认选择第一行 前端

    左树右表默认选择第一行

    import { BaseElementWidget, Widget, SPI, ViewType, TableSearchTreeWidget } from '@kunlun/dependencies'; @SPI.ClassFactory( BaseElementWidget.Token({ viewType: ViewType.Table, widget: 'tree', model: '改成当前视图的模型' }) ) export class CustomTableSearchTreeWidget extends TableSearchTreeWidget { protected hasExe = false; @Widget.Watch('rootNode.children.length') protected watchRootNode(len) { if (len && !this.hasExe) { this.hasExe = true; const firstChild = this.rootNode?.children?.[0]; if (firstChild) { this.onNodeSelected(firstChild); this.selectedKeys = [firstChild.key]; } } } }

    汤乾华的头像 汤乾华
    2024年11月26日
    1.1K00

  • 第1章 揭开面纱，理解Oinone

    本章旨在从以下几个维度逐步揭开Oinone的面纱，让大家了解Oinone的初心与愿景，以及它是如何站在软件领域的巨人肩膀上，结合企业数字化转型的深入，形成全新的理念，帮助企业完成数字化转型。 具体来说，本章会从以下四个方面逐一展开： Oinone的初心与愿景：结合中国软件行业的发展与自身职业发展经历，探讨Oinone为何诞生以及其愿景是什么。 Oinone致敬西方软件行业的新贵odoo：介绍Oinone的灵感来源，探究Oinone与odoo的异同，以及如何从odoo中汲取经验。 从企业转型困境，引出Oinone新的思路：通过剖析企业数字化转型的困境，引出Oinone提出的全新思路，以及如何应对企业数字化转型的挑战。 行业对比，让您从不同视角理解Oinone：通过与同行业产品进行对比，从不同的视角深入理解Oinone的特点和优势。

    史, 昂的头像 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    2.6K00
  • Oinone 是什么 Oinone FAQ

    Oinone 是什么

    1.Oinone能做什么？ Oinone 是一款专注解决复杂业务场景的开源低代码应用平台，旨在提供所见即所得的快速可视化搭建应用功能，并打造企业专属的低代码平台。 提升交付效率，缩短交付周期； 减少人力投入，解决技术人才招聘难的难题； 减少接联调，减少重复建设，解决质量管控难题； 一键轻松安装，应用全生命周期管理，解决应用管理难题； 2.为什么要用Oinone？ 用Oinone低代码平台可以帮助企业应对竞争变化、适应业务变化、满足技术需求、提高研发效率，并且低代码平台已经成为企业数字化转型的核心工具之一。 企业竞争变化，从单一企业变相兼职链的网络竞争; 业务变化，从信息化时代，内部/管理/流程、结果，变向数字时代，外部/商业，运营; 技术更替，从主球稳定，安全，功能丰富可配置到系统性能极限承载能力与弹性扩容/随需而变，需求响应速度、智能;化、实时分析，数据与业务的联动，用户体验，B端的业务需求C端的体验; 对研发人员的需求越来越大，同时要求越来越高。低代码平台是提升研发效率，降低研发成本核心手段; 低代码的地位已经从辅助走向核心; 3.Oinone 和其他的无代码平台相比优势是什么 既支持无代码的拖拉拽，还能通过研发框架支持自主工程研发; 低代码和无代码在贯彻了整个软件的生命周期，在不同场景发挥不同价值; 可基于软件工程理论，进行科学管理； 不改变研发习惯，主流开源技术栈，无抵触心理 4.我是软件公司，用不用Oinone？ 软件公司非常适合使用 Oinone,不管你是做标品还是定制项目，都非常适合使用Oinone 低代码：构建软件快速开发标准，让研发专注在业务创新本身 快速实施个性化需求、或开发简单和应急应用 5.我们公司产品迭代很快，用不用Oinone？ 无代码：使用Oinone 可以快速的响应需求，以及后续迭代需求； 集成平台：快速的是实施集成方案，一次配置，终身受用； 低代码：降低技术复杂度，提升研发效率，让研发专注于业务本身； 6.我们公司产品bug很多，用不用Oinone？ 很多公司都有这样的痛点，一直有BUG ，反复修反复出现，重构成本非常大，比如项目预算有限，无法支撑重新构建，技术栈老旧，研发人员比较少，Oinone 提供以下解决方案： 同步原系统数据回流处理后数据； 原系统数据扩展处理新业务逻辑； 7..我用的是JAVA 技术栈，我还需要用Oinone么？ 在探讨低代码平台的合作时，首先需要确认的是，如果您之前使用的是Java技术栈，那么低代码平台是否能够生成相应的Java代码，包括常用的增删改查等方法。这种代码生成器与低代码平台的第一种方式——代码生成器相似，它提供了基础逻辑的生成。 针对这一层面，Oinone平台具有几个显著优势。首先，后端定义的模型或写法不仅决定了后端的数据处理，同时也影响了前端的UI展示层。其次，当前端开发时加入特定的注解，这些注解的本质是为了收集原始数据。一旦数据源被定义，编写的代码在最终运行时实际上已经转变为数据。这是与传统代码编写方式的第二个不同点。第三，尽管我们提供了代码编写的方式，但这样做的核心目的在于解决标准化产品与个性化需求之间的矛盾。在进行功能扩展时，对于工程架构和代码编写的冲击较大。 oinone的核心优势在于减少代码生成量，内置代码规范，并实现前后端无需联调。此外，无代码设计器能够理解用代码构建的模型或函数，并与之结合。 在前端方面，低代码平台也提供了相应的工程结构，允许通过添加平台依赖来引入平台功能。前端的自定义能力包括自定义模板、布局和页面，以及完全自定义视图的能力。此外，平台支持前端与后端的交互自定义，以及自定义字段的引入。 总结来说，后端定义的模型不仅决定了数据存储结构和扩展方式，还决定了前端的UI展示，并能与无代码平台结合。引入TypeScript（TS）的概念，可以帮助团队最大化逻辑复用，解决了业务组件难以沉淀的问题。通过这种方式，前后端的结合更为紧密，减少了联调的需求，提高了开发效率。

    shao的头像 shao
    2022年3月14日
    1.0K00

Leave a Reply

登录后才能评论