1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 231

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 后端工程合理注意事项 前后端标准研发流程及工程合理

    后端工程合理注意事项

    相关知识点文档： https://doc.oinone.top/jia-gou-kai-fa/15943.html

    shao的头像 shao
    2024年10月5日
    91600
  • 工作流-流程代办等页面自定义 后端

    工作流-流程代办等页面自定义

    1. 审批/填写节点的视图页面 在界面设计器中创建对应模型的表单视图，可根据业务场景需要自定义所需流程待办的审批页面 2. 在审批/填写节点中选择刚创建的视图 在工作流待办数据权限可在节点数据权限中可对字段设置查看、编辑、隐藏

    数式-海波的头像 数式-海波
    2024年5月14日
    1.4K00
  • 全局首页及应用首页配置方法（homepage） 后端

    全局首页及应用首页配置方法（homepage）

    1 Oinone平台首页介绍 1.1 首页包括全局首页和应用首页两类 全局首页：指用户在登录时未指定重定向地址的情况下使用的应用首页 应用首页：指用户在切换应用时使用的首页 PS：全局首页本质上也是应用首页，是在用户没有指定应用时使用的首页。如登录后。 1.2 全局首页查找规则 找到当前用户有权限访问的全部应用。 若使用AppConfig配置首页，则优先使用该配置作为全局首页。若未指定或无权限访问，则继续第3步。 依次按照应用优先级，获取有权限的首页或菜单作为全局首页。 若未查找到任何可访问页面，则提示无权限访问相关异常，用户无法进入平台。 1.3 应用首页查找规则 在指定应用下，获取有权限的首页或菜单作为应用首页。 若未查找到任何可访问页面，则提示无权限访问相关异常，用户进入应用后无法正常查看或操作。 2 配置全局首页 2.1 使用应用优先级设置全局首页 /** * 演示模块 * * @author Adamancy Zhang at 16:55 on 2024-03-24 */ @UxHomepage(@UxRoute(DemoDepartment.MODEL_MODEL)) @Component @Boot @Module( name = DemoModule.MODULE_NAME, displayName = "演示应用", version = "1.0.0", dependencies = {ModuleConstants.MODULE_BASE}, priority = 0 ) @Module.module(DemoModule.MODULE_MODULE) @Module.Advanced(selfBuilt = true) public class DemoModule implements PamirsModule { public final static String MODULE_MODULE = "demo"; public final static String MODULE_NAME = "demo"; @Override public String[] packagePrefix() { return new String[]{"pro.shushi.pamirs.demo"}; } } 注意事项 @UxHomepage用于指定应用首页 @Module#priority用于指定模块优先级，按升序排列 PS：下面描述的内容不再提供完整的模块定义内容，仅针对@UxHomepage进行介绍。 3 配置应用首页 3.1 使用@UxHomepage配置应用首页 指定模型的默认表格视图作为应用首页 @UxHomepage(@UxRoute(DemoDepartment.MODEL_MODEL)) 该指定方式将产生以下结果： 生成一个跳转动作（ViewAction），其模型编码为DemoDepartment.MODEL_MODEL，动作名称为homepage。 设置ModuleDefinition#homePageModel和ModuleDefinition#homePageName为该跳转动作。 指定模型对应的菜单作为应用首页 在当前应用下有如下菜单定义： /** * 演示模块菜单 * * @author Adamancy Zhang at 17:16 on 2024-03-24 */ @UxMenus public class DemoMenus { @UxMenu("演示部门") @UxRoute(DemoDepartment.MODEL_MODEL) class DepartmentManagement { } @UxMenu("演示员工") @UxRoute(DemoEmployee.MODEL_MODEL) class EmployeeManagement { } } 根据菜单定义我们可以知道： 演示部门这个菜单会生成一个跳转动作（ViewAction），其模型编码为DemoDepartment.MODEL_MODEL，动作名称为DemoMenus_DepartmentManagement。 因此，我们可以使用如下方式指定应用首页为演示部门这个菜单： @UxHomepage(actionName = "DemoMenus_DepartmentManagement", value = @UxRoute(DemoDepartment.MODEL_MODEL)) 4 在应用中心修改应用首页 在平台启动之后，将无法通过代码的方式修改首页，因此需要在应用中心修改应用首页。 按照如下图所示操作对应用首页进行设置。 在绑定菜单选项中，选择指定菜单即可。

    张博昊的头像 张博昊
    2024年3月24日
    1.4K00
  • 跳转到其他页面并刷新页面 产品使用手册

    跳转到其他页面并刷新页面

    本节介绍如何在界面设计器中为页面的“跳转动作”按钮配置强制刷新标签页功能，使用户切换标签页时，内容可以根据需要自动刷新或保持之前的状态。

    萧炎的头像 萧炎
    2024年9月20日
    1.4K00
  • 3.3.3 模型的数据管理器 Oinone 7天入门到精通

    3.3.3 模型的数据管理器

    数据管理器和数据构造器是Oinone为模型自动赋予的Function是内在数据管理能力，数据管理器针对存储模型是方便在大家编程模式下可以利用数据管理器Function快速达到相关数据操作的目的。数据构造器则主要用于模型进行初始化时字段默认值计算和页面交互 数据管理器 只有存储模型才有数据管理器。如果@Model.Advanced注解设置了dataManager属性为false，则表示在UI层不开放默认数据管理器。开放级别为API则表示UI层可以通过HTTP请求利用4.1.15【Pamirs标准网关协议】进行数据交互。 模型默认数据读管理器 函数编码 描述 开放级别 queryByPk 根据主键查询单条记录，会进行主键值检查 Local、Remote queryByEntity 根据实体查询单条记录 Local、Remote、Api queryByWrapper 根据查询类查询单条记录 Local、Remote queryListByEntity 根据实体查询返回记录列表 Local、Remote queryListByWrapper 根据查询类查询记录列表 Local、Remote queryListByPage 根据实体分页查询返回记录列表 Local、Remote queryListByPageAndWrapper 根据查询类分页查询记录列表 Local、Remote queryPage 分页查询返回分页对象，分页对象中包含记录列表 Local、Remote、Api countByEntity 按实体条件获取记录数量 Local、Remote countByWrapper 按查询类条件获取记录数量 Local、Remote 表3-3-3-1 模型默认数据读管理器 模型默认数据写管理器 函数编码 描述 开放级别 createOne 提交新增单条记录 Local、Remote createOrUpdate 新增或更新，需要为模型设置唯一索引，如果数据库检测到索引冲突，会更新数据，若未冲突则新增数据 Local、Remote updateByPk 根据主键更新单条记录，会进行主键值检查 Local、Remote updateByUniqueField 条件更新，条件中必须包含唯一索引字段 Local、Remote updateByEntity 按实体条件更新记录 Local、Remote、Api updateByWrapper 按查询类条件更新记录 Local、Remote createBatch 批量新增记录 Local、Remote createOrUpdateBatch 批量新增或更新记录 Local、Remote updateBatch 根据主键批量更新记录，会进行主键值检查 Local、Remote deleteByPk 根据主键删除单条记录，会进行主键值检查 Local、Remote deleteByPks 根据主键批量删除，会进行主键值检查 Local、Remote deleteByUniqueField 按条件删除记录，条件中必须包含唯一索引字段 Local、Remote deleteByEntity 根据实体条件删除 Local、Remote、Api deleteByWrapper 根据查询类条件删除 Local、Remote createWithField 新增实体记录并更新实体字段记录 Local、Remote、Api updateWithField 更新实体记录并更新实体字段记录 Local、Remote、Api deleteWithFieldBatch 批量删除实体记录并删除关联关系 Local、Remote、Api 表3-3-3-2 模型默认数据写管理器 如果模型继承IdModel，模型会自动设置主键设置为id，则会继承queryById、updateById和deleteById函数。 queryById（详情，根据ID查询单条记录，开放级别为Remote） updateById（提交更新单条记录，根据ID更新单条记录，开放级别为Remote） deleteById（提交删除单条记录，根据ID删除单条记录，开放级别为Remote） 如果模型继承CodeModel，模型也会继承IdModel的数据管理器，编码字段code为唯一索引字段。在新增数据时会根据编码生成规则自动设置编码字段code的值，继承queryByCode、updateByCode和deleteByCode函数。 queryByCode（详情，根据code查询单条记录，开放级别为Remote） updateByCode（提交更新单条记录，根据code更新单条记录，开放级别为Remote） deleteByCode（提交删除单条记录，根据code删除单条记录，开放级别为Remote） 没有主键或唯一索引的模型，在UI层不会开放默认数据写管理器。 #### 使用场景 图3-3-3-1 数据管理器使用场景 数据构造器 模型数据构造器 construct：供前端新开页面构造默认数据使用。所有模型都拥有construct构造器，默认会将字段上配置的默认值返回给前端，另外可以在子类中覆盖construct方法。数据构造器 construct函数的开放级别为API，函数类型为QUERY查询函数，系统将识别模型中的以construct命名的函数强制设置为API开放级别和QUERY查询类型。 可以使用@Field的defaultValue属性配置字段的默认值。注意，枚举的默认值为枚举的name。

    史, 昂的头像 史, 昂
    2024年5月23日
    1.3K10

Leave a Reply

登录后才能评论