1. Oinone社区首页

深度分页问题优化方案

• • Uncategorized • 阅读 223

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

赞 (0)
的头像
0 0
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 数据可视化-项目中如何引用图表、报表、大屏 数据可视化

    数据可视化-项目中如何引用图表、报表、大屏

    依赖包 在业务工程的pom中增加数据可视化运行的依赖包 参考文档 如何添加数据可视化运行时依赖 数据可视化设计图表、报表和数据大屏 在数据可视化中设计好业务合适的图表，并且发布以后，在界面设计器中可以嵌入该图表同样处理的还有报表 在界面设计器中在页面中透出图表、报表和数据大屏 设置图表，选择已经对应的图表 可在表单以及详情的页面中嵌入对应的图表、报表和数据大屏 更新图表、报表和数据大屏 修改图表以后，需要更新发布，对应业务页面上才会更新最新的图表

    数式-海波的头像 数式-海波
    2024年5月18日
    1.3K00
  • 6.5 权限体系（改） Oinone 7天入门到精通

    6.5 权限体系（改）

    做好企业级软件，首先得过权限这一关 在企业的IT部门沟通中，权限是避免不了。自嘲下在我们刚出来创业时，为了收获客户对我们技术能力的信任，每每与跟客户沟通时都会说我们是阿里出来的，但在权限设计这个环节不那么灵验，反而被打上了不懂B端权限设计的标签，会问很多问题。我就很奇怪难道大厂就没有内部管理系统了？大厂只有C端交易，没有B端交易？但从侧面说明权限不简单还特别重要。做好企业级软件，首先得过权限这一关。 整体介绍 对于平台运行来说，权限是必须，但我们的auth模块不是必须的，auth模块只是我们提供的一种默认实现，客户可以根据平台的spi机制进行替换。auth模块利用了平台的Hook特性做到与业务无关，在我们开发上层应用的时，是不用感知它的存在的。 auth模块涉及：功能权限、数据权限 数据权限：行权限和列权限。备注：数据权限的控制只能用于【存储模型】 表级权限：表达的语义是：是否该表可读/写（修改和新增） 列权限：表达的语义是：是否该列可读/写（修改和新增） 行权限：表达的语义是：是否对该行可读/写（修改）/删除 功能权限：表达的语义是ServerAction/Function是否可执行/展示，viewAction是否可展示，菜单是否可以显示 范围说明： 配置多个权限项的时候，取并集 配置多个角色的时候，取并集 模型设计 产品体验 Step1 创建角色 通过App Finder 切换至【权限】应用，点击新增按钮创建一个名为oinone的角色 Step2 创建数据权限项 在【权限项列表】菜单，点击【创建】按钮新增一个名为【宠物达人数据权限项】，同时宠物达人的数据权限设置为只能查看性别为男的记录 配置说明： 名称： 代表该项配置的权限的名字（必填）（必须是全系统唯一） 权限模型： 选择需要拦截的数据所在的表，即为模型，可以搜索使用 描述：对该权限项的描述 权限条件的配置： 满足全部：对条件一和条件二要同时满足的数据才能被看见 满足任一：对条件一和条件二要任意满足的数据都能被看见 读权限：对该数据是否有读取的权限 写权限：对该数据是否有修改的权限 删除权限：对该条件内的数据是否有删除的权限 Step3 为角色配置权限 编辑oinone角色，只开通oinoneDemo工程应用 选中【数据权限】选项卡点击【添加】按钮，勾选宠物达人数据权限项点击【确定】按钮 整体点击保存，回到列表页记得点击【权限生效】按钮 Step4 新建用户绑定角色 切换到用户中心模块，点击【创建】按钮填写必要信息，并在角色选中oinone权限组。 退出admin用户，用oinone登陆，权限效果： 只能看见demo模块 oinone登陆只能看到性别为男的宠物达人记录 admin用户登陆 oinone用户登陆 因为宠物达人的页面没有把性别字段放出来，我们看下数据库数据 auth模块扩展 在日常项目开发中，难免会碰到一些针对权限管理的特殊需求，或是为提升性能做的特殊逻辑。接下来我给大家介绍auth模块扩展性。 权限全局配置 对所有权限角色都做限制，而且不想让用户感知，可以实现PermissionFunApi接口，API接口实现的配置方式【只能用于支持全局的数据权限配置】 实现接口PermissionFunApi 将实现托管给SpringAOP 接口的具体实现看下图的代码 package pro.shushi.pamirs.demo.core.service; import org.springframework.stereotype.Component; import pro.shushi.pamirs.auth.api.service.PermissionFunApi; import pro.shushi.pamirs.demo.api.model.PetTalent; @Component public class PetTalentPermissionFunApi implements PermissionFunApi { @Override public String permissionDomain(Object… args) { //获取当前组织中 return "name == '张学友'"; } @Override public String nameSpace() { return PetTalent.MODEL_MODEL; } } 不参与权限控制 如果某一接口不想做权限控制，则可以在启动工程的application-dev.yml文件中配置不需要权限过滤的接口 pamirs: auth: fun-filter: – namespace: demo.PetTalent fun: queryPage 换一个没有配置宠物达人权限的用户（除管理员以外）进入系统，则也可以看到数据。注意【权限全局控制】还是生效的 API 1. 获取当前用户对该模型的行权限 Result<String> result = CommonApiFactory.getApi(AuthApi.class).canReadAccessData("Model"); 返回值为 { 'data':"name=in=('hahaha')" 'success'：true … } 用法 ： 场景：前端发起的请求都会经过权限拦截，后端代码逻辑发起的数据请求都是不经过任何权限的过滤，但是某些特殊情况需要在后端代码逻辑发起的数据请求也带上权限过滤 入参：请求的模型 出参：Result 数据结构中data会存储一段字符串，该字符串为Rsql 将该Rsql追加到wrapper中 Result<String> result = CommonApiFactory.getApi(AuthApi.class).canReadAccessData("base.UeModule"); String data=result.getData(); QueryWrapper<UeModule> wrapper = Pops.query(); wrapper.setEntity(ueModule); if (!StringUtils.isBlank(data)) { wrapper.apply(data); }

    史, 昂的头像 史, 昂
    2024年5月23日
    94300
  • 文件上传组件前端校验超128长度大小，不清楚怎么配置 前端

    文件上传组件前端校验超128长度大小，不清楚怎么配置

    原因是拼上后端返回的文件全路径后超出了字段的存储长度，后端通过注解@Field.String(size=1024)修改字段的存储长度后重新运行一遍服务。

    oinone的头像 oinone
    2023年11月1日
    78700

  • 4.5 研发辅助

    这里都是一些提升研发效率的小工具

    史, 昂的头像 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    1.2K00
  • 请确认函数是否存在报错排查路径 Oinone FAQ

    请确认函数是否存在报错排查路径

    当函数不存在的时候，可能有的原因如下：先确认引入启动环境： 是否引入distribution-session包？（Y/N） 如果 distribution-session 包被引入，可能的原因如下： 先检查 base_function 根据 namespace 和 fun 检查函数是否存在，如果存在，检查 openLevel 是否包含 API 级别（二进制值为 14/12/8）。 在 base_model_data 中根据 res_id 检查 load_module，同一环境中所有jvm服务，加载模块必须在启动模块或启动模块的依赖模块中。 检查 redis 中 base.Model:${modelModel}:model_model 键值是否存在，如果存在，根据函数关键字尝试搜索。 如果上面三步没有找到问题，且所有元数据都存在。distribution-session 包可能没有引入，确认是否需要使用 distribution-session 包。 如果 distribution-session 包没有被引入，可能的原因如下： 先检查 base_function 根据 namespace 和 fun 检查函数是否存在，如果存在，检查 openLevel 是否包含 API 级别。 在 base_model_data 中根据 res_id 检查 load_module，加载模块必须在启动模块中。 自定义gql进行请求报函数是否存在可能的原因 检查Gql请求是否符合规范：参考文章GraphQL Service检查请求类型query/mutation是否和函数定义一致。

    yexiu的头像 yexiu
    2025年8月29日
    59500

Leave a Reply

登录后才能评论