1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1662 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 页面设计 Oinone 7天入门到精通

    页面设计

    1. 功能说明 页面设计时界面设计器中「页面」模块的设计入口，在这个界面，进行页面的设置、搭建、设计、排版。 主要分为顶部操作栏、左侧工具栏、中部设计画布区、右侧属性面板。 2. 操作栏 进入页面设计，顶部显示了页面的标题，以及返回、发布等操作。 2.1 发布 页面设计完成后，点击「发布」运行页面生效。若不点击发布，页面也有自动保存的功能，但在发布前，自动保存也等同于草稿，不会正式生效。 发布时如果有属性不符合校验规则（必填的属性未填、输入的内容校验不通过），会发布失败，相应的字段会特殊标记，需要查看并修改属性。 2.2 显示/隐藏母版 进入页面设计时默认不展示母版，可以手动操作显示母版 3. 工具栏 左侧的工具栏中包括组件库、页面设置等模块。 3.1 组件库 组件库中包含组件和模型，组件是当前设计器支持的所有组件，模型是页面所在模型下的所有字段和动作。 3.1.1 组件 组件中展示了系统支持的所有组件。包含 1）布局类组件，如分组、选项卡等，使用布局组件可以将页面进字段分类、分页； 2）字段类组件，如单行文本、整数、日期等等，使用字段类组件时都会在模型下对应创建一个字段； 3）动作类组件，如跳转动作、提交动作、链接动作等。 3.1.2 模型 组件库顶部，由组件可切换为模型：模型选项下，会展示当前模型的所有字段，以及系统默认动作。可以直接拖拽字段至设计画布中，会应用形成某个组件，可对组件进行多样的属性设置，优化交互。 3.1.2 组件和模型有什么区别 1展示内容维度不同 组件中展示的内容是组件信息，如分组、选项卡、单行文本、文件上传等；模型中展示的是模型下已有的所有字段。 2使用功能不同 组件中的组件使用前需要在模型中创建一个字段，当然，创建好的字段也会存在于模型中；模型中的字段可直接使用，并且使用时会在设计画布中对应生成个默认组件。 3使用场景不同 如果模型中已经存在目标字段，应直接选择从模型中拖拽字段；如果模型中没有需要的字段，可以在页面中增加一个组件，实际上也是在新增一个字段。 3.2 页面设置 页面设置中可以修改当前页面的标题、分组、页面描述，同时也是给页面上传缩略图的唯一入口。 4. 设计画布 将组件或字段拖拽至设计画布区，会生成样式。点击组件，右侧可对其进行设置，大部分属性可实时在画布中展示效果。 5. 属性面板 右侧属性面板抽屉中可以设置属性或查看字段信息，通过不同的属性配置化实现组件的多样化。 5.1 属性 属性中包括基本信息（如标题、占位提示、描述说明等）、校验信息（如是否必填、长度校验等）、交互信息（如排序方式、是否展示计数器等） 5.2 字段 首次从组件中拖拽，会先展示字段信息，并且是需要先创建一个字段，字段创建成功后，再次切换字段选项，只读展示当前组件所对应的字段基本信息。同理，如果是直接从字段中拖拽，字段选项中，只读展示当前字段基本信息。

    史, 昂's avatar 史, 昂
    2024年6月20日
    4.1K00
  • 如何解决界面设计器保存提示：元数据不存在或已删除 后端部署

    如何解决界面设计器保存提示：元数据不存在或已删除

    现象 界面设计器设计页面的时候，从左侧边栏模型下拖入了一个字段到页面，保存的时候提示：元数据不存在或已删除 原因 共base库不共元数据缓存redis导致的，不共redis的情况下，每次本地新增或修改元数据(如：字段、方法)启动后会同步本地redis，再去线上启动的时候，由于元数据已经在本地写入到了base库，所以该次启动不会触发redis差量更新 解决方案 通过将boot工程application.yml以下配置，让redis全量刷新元数据缓存 pamirs: distribution: session: allMetaRefresh: true 扩展 这个方法只能解决新增或修改元数据，如果出现了删除元数据的话，改为true也不行，清空或者手动删除问题redis的key都可以

    nation's avatar nation
    2024年7月21日
    1.3K00
  • 数据字典 Oinone 7天入门到精通

    数据字典

    1. 什么是数据字典 数据字典是一些固定字典项的集合，可作为多选或单选的选项，例如人员性别、员工属相、杭州市下属的行政区等都是数据字典。 选择一个应用/模块下的一个小模块，可以查看其中包含的自定义字典（自建的数据字典）和系统字典。可以通过导入或添加创建自定义字典。 2. 数据字典基本操作 删除：系统字典不支持删除，无法批量删除自定义数据字典，若数据字典已经被字段、页面等引用时，也无法删除这个数据字典。 隐藏/可见：自定义字典、系统字典都可以操作隐藏和可见，隐藏和可见不影响数据字典在字段、页面等处的使用。 查看引用关系：点击查看引用关系，展开弹窗，展示该数据字典和字段、视图的引用关系。 修改：若数据字典已经被引用，无法删除其中的字典项。若无引用关系则可以任意修改。 3. 数据字典导入 点击“导入数据字典”按钮，弹出窗口，可根据图中引导进行数据字典的导入。 在经典模式下，导入数据字典会新建数据字典。 在专家模式下，数据字典导入的模板中包含字段“字典编码”，若导入的字典编码不存在则会新建数据字典，若导入的字典编码已存在则会修改字典编码的设置，新建和修改的动作会校验是否符合规范。 4. 数据字典创建 4.1 专家模式（低代码模式） 字典项类型有“二进制、文本、整数”三种可选，选择二进制时，字典项值需要选择存储在数据库二进制中的第几位。系统根据字典项值去查找字典项名称，因此字典项值不可重复。 数据字典的api名称、代码名称、描述可不填，部分系统会赋默认值。 字典项中字典项名称和字典项值必填，api名称和字典项描述不填系统会赋默认值。 4.2 经典模式（无代码模式） 经典模式下只需要填写字典名称，添加字典项即可。系统会自动将字典项类型设置为“二进制”，并将字典项按照创建的先后顺序设置字典项值的位数。字典项类型、字典项值释义可参照专家模式的解释。

    史, 昂's avatar 史, 昂
    2024年6月20日
    2.4K00
  • 数据可视化创建图表 产品使用手册

    数据可视化创建图表

    在数据可视化模块中，可以通过三种不同的数据源类型来创建图表：模型字段（现有功能）、数据库（新功能）、集成应用（新功能）。

    萧炎's avatar 萧炎
    2024年10月8日
    3.2K00
  • 登录日志 Oinone 7天入门到精通

    登录日志

    1. 登录日志 登录日志：记录企业成员/用户登录平台的历史明细，包括登录时间、位置、IP、登录设备、登录平台等信息，登录平台包括：PC Web、小程序、H5、APP。登录日志不需要通过审计规则订阅，平台会记录每位用户的登录日志。 操作支持导出、查看详情。

    史, 昂's avatar 史, 昂
    2024年6月20日
    1.5K00

Leave a Reply

Please Login to Comment