深度分页问题优化方案

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如:select * 的情况下直接⽤limit 600000,10 扫描的是约60万条数据,并且是需要回表 60W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案:业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器,展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案:只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例
<!-- 表格使用的标准分页器 --> <view type="TABLE" paginationStyle="SIMPLE"> <!-- fields --> </view> <!-- 画廊使用默认的标准分页器 --> <view type="GALLERY" paginationStyle="STANDARD"> <!-- fields --> </view>

后端方案

  1. 使用索引:确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度,特别是在处理大数据量时。

  2. 分批查询:将大数据分成多个较小的批次进行查询,而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询,例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页:使用基于游标的分页技术,而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置,在下一次查询时从该位置开始获取新的数据,避免了大偏移量的影响。这可以通过数据库自身的功能(例如MySQL的CURSOR)或使用第三方库来实现。

  4. 缓存数据:如果数据变化较少,可以考虑将查询结果缓存到内存中,以避免频繁地查询数据库。这样可以提高页面相应速度,并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理:如果查询结果经常需要进行复杂的计算或处理,可以考虑提前对数据进行预处理并缓存结果,以减少每次查询的计算负担。

  6. 数据库优化:针对具体数据库系统,可以根据实际情况进行数据库调优。例如,合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算:对于非关系型数据库或分布式存储系统,可以考虑使用分布式存储和计算方案,将数据分散存储在多个节点上,并通过计算节点并行处理查询请求,以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者:原创文章,如若转载,请注明出处:https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

(0)
的头像
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 流程设计

    1.流程设计 进入流程设计页之后可以进行流程名称、流程说明的编辑,可以进行流程设计,流程参数配置,保存和发布。 1.1 流程配置 点击进入流程配置页面,若需要配置一些参数供流程使用,可在此添加和删除。删除流程参数时,若该参数已在流程中被使用则无法删除。参数支持文本、数值、日期、布尔四种类型。 1.2 保存 点击后流程设计进行存档,流程设计不完整也支持保存,下次进入流程设计回到保存的页面。 1.3 发布 第一次发布时右上角发布显示文字为发布流程,后续发布按钮显示文字为更新发布。发布后流程才会按照设计触发,首次发布和更新发布的逻辑一致,若流程中有未解决的错误则无法发布不成功,发布成功后页面跳转到显示全部流程的页面,流程状态为已启用、已更新。

    2024年6月20日
    1.2K00
  • 后端基础学习路径

    模块 内容 目标 概念/举例 文档链接 环境搭建 mac环境搭建 按照教程搭建环境 按照教程搭建环境 3.1.2 环境准备(windows版) windows环境搭建 按照教程搭建环境 按照教程搭建环境 3.1.2 环境准备(windows版) 常见问题 常见问题查阅 列举了可能出现的问题,比如mysql 大小写的问题 【附件一】下载说明 元数据-模块 模块 新建一个独立的模块 能力中心的概念,不被用户感知,可被其他模型或者应用使用 3.2.1 构建第一个Module 应用 新建一个独立的应用,依赖新建的模块 可被用户直接操作的模块称为应用 3.2.1 构建第一个Module 元数据-模型 抽象模型 新建一个抽象模型 不会直接用于构建协议和基础设施(如表结构等),而是通过继承的机制供子模型复用其字段和函数。子模型可以是所有类型的模型。 3.3.2 模型的类型 传输模型 新建一个传输模型 没有默认的数据管理器,只有数据构造器,所以在不自定义动作的情况下,传输模型可以打开详情页、新增表单和修改表单和列表页,但是所有的动作全部为窗口动作。传输模型本身不会存储,如果是关联关系字段关联传输模型,可以将传输模型序列化存储在模型的关联关系字段上。因为没有数据管理器,所以传输模型的列表页没有分页能力 3.3.2 模型的类型 存储模型 新建一个存储模型 用于定义数据表结构和数据的增删改查(数据管理器)功能,是直接与连接器进行交互的数据容器。 3.3.2 模型的类型 代理模型 新建一个代理模型 用于代理存储模型的数据管理器能力,同时又可以扩展出非存储数据信息的交互功能的模型 3.3.2 模型的类型 数据管理器 熟悉Oinone数据管理器和数据构造器,并用于上述新建的模型中 数据管理器和数据构造器是Oinone为模型自动赋予的Function是内在数据管理能力,数据管理器针对存储模型是方便在大家编程模式下可以利用数据管理器Function快速达到相关数据操作的目的。数据构造器则主要用于模型进行初始化时字段默认值计算和页面交互 3.3.3 模型的数据管理器 编码生成器 给单据生成指定格式的编码 商品编码按照生产日期+物料编号+缩写生成唯一标识 3.3.4 模型的继承 元数据-模型继承 抽象基类ABSTRACT 新建一个抽象基类 同抽象模型 3.3.4 模型的继承 扩展继承EXTENDS 新建多个模型,完成扩展继承 零售商品模型、b2b商品模型依赖商品中心的商品模型,零售商品模型想加几个字段 3.3.4 模型的继承 多表继承MULTI_TABLE 新建多个模型,完成多表继承 零售商品模型、b2b商品模型依赖商品中心的商品模型,商品类型不同 3.3.4 模型的继承 代理继承PROXY 新建多个模型,完成代理继承 继承方式代理另一个存储模型, 一个代理模型也可以继承任意数量继承相同父类的代理模型 3.3.4 模型的继承 临时继承TRANSIENT 新建多个模型,完成临时继承 同传输模型 3.3.4 模型的继承 枚举与数据字典 可继承枚举 实现可继承枚举 继承BaseEnum可以实现java不支持的继承枚举。同时可继承枚举也可以用编程式动态创建枚举项。可继承枚举也可以兼容无代码枚举 3.3.6 枚举与数据字典 二进制枚举 实现二进制枚举 通过@Dict注解设置数据字典的bit属性或者实现BitEnum接口来标识该枚举值为2的次幂 3.3.6 枚举与数据字典 不可继承枚举 实现不可继承枚举 实现JAVA语言的enum 3.3.6 枚举与数据字典 异常枚举 实现异常枚举 oinone管理异常的规范 3.3.6 枚举与数据字典 元数据-字段 序列化方式 熟悉字段序列化的方式 使用@Field注解的serialize属性来配置非字符串类型属性的序列化与反序列化方式,最终会以序列化后的字符串持久化到存储中。 3.3.7 字段之序列化方式 字段类型 熟悉字段类型 字段是描述实体的特征属性,重点介绍字段的基础类型与复合类型 3.3.8 字段类型之基础与复合 关系与引用 熟悉字段的关系与引用 关系与引用类型才让oinone具备完整的描述模型与模型间关系的能力 3.3.9 字段类型之关系与引用 函数 Function 熟悉函数 Function做为oinone的可管理的执行逻辑单元 3.4.1 构建第一个Function 开放级别与类型 为方法定义不同的开放层级 辑都通过Function来归口统一管理,所以在Function是可以定义其开放级别有API、REMOTE、LOCAL三种类型,配置可多选。 3.4.2 函数的开放级别与类型 继承与多态 熟悉函数继承与多态 面向对象-继承与多态 3.4.3.1 面向对象-继承与多态 面向切面-拦截器 熟悉函数-面向切面-拦截器 拦截器为平台满足条件的函数以非侵入方式根据优先级扩展函数执行前和执行后的逻辑。 3.4.3.2 面向切面-拦截器 扩展点 熟悉函数扩展点 逻辑中会预留扩展点,以便日后应对不同需求时可以灵活替换某一小块逻辑 3.4.3.3 SPI机制-扩展点 交互 菜单 新增业务菜单 模块就是地图,菜单是导航 3.5.1 构建第一个Menu 视图 自定义视图 日常业务开发中对页面进行调整 3.5.2.1 整体介绍 服务器动作ServerAction 熟悉服务器动作 类似于Spring MVC的控制器Controller 3.5.3 Action的类型 窗口动作ViewAction 熟悉窗口动作 站内跳转,通过模型编码和动作名称路由 3.5.3 Action的类型 跳转动作UrlAction 熟悉跳转动作 外链跳转 3.5.3 Action的类型…

    2024年6月15日
    1.2K00
  • 开放应用自定义请求解密处理函数&响应加密处理函数

    前置条件:需要引入eip依赖 <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-api</artifactId> </dependency> 请求解密 import org.apache.camel.ExtendedExchange; import pro.shushi.pamirs.eip.api.IEipDecryptProcessor; import pro.shushi.pamirs.eip.api.constant.EipFunctionConstant; import pro.shushi.pamirs.meta.annotation.Fun; import pro.shushi.pamirs.meta.annotation.Function; import pro.shushi.pamirs.meta.annotation.fun.extern.Slf4j; @Fun(EipFunctionConstant.FUNCTION_NAMESPACE) public class DefaultEipDecryptImpl implements IEipDecryptProcessor { private static final String FUN = EipFunctionConstant.OPEN_REQUEST_DECRYPT_PREFIX + "SM4"; @Override @Function.fun(FUN) @Function.Advanced(displayName = "SM4请求解密处理") @Function(name = FUN) public void processor(ExtendedExchange exchange) { // 开放接口 EipOpenInterface openInterface = (EipOpenInterface) exchange.getProperties().get(OpenApiConstant.EIP_OPEN_INTERFACE); // 应用 EipApplication application = (EipApplication) exchange.getProperties().get(OpenApiConstant.EIP_APPLICATION_KEY); // 请求体 String body = exchange.getMessage().getBody(String.class); String result = decrypt(body); exchange.getIn().setBody(result); } private String decrypt(String body) { // TODO 解密,此处返回请求体内容。 return body; } } 响应加密 import org.apache.camel.ExtendedExchange; import pro.shushi.pamirs.eip.api.IEipEncryptionProcessor; import pro.shushi.pamirs.eip.api.constant.EipFunctionConstant; import pro.shushi.pamirs.meta.annotation.Fun; import pro.shushi.pamirs.meta.annotation.Function; import pro.shushi.pamirs.meta.annotation.fun.extern.Slf4j; @Fun(EipFunctionConstant.FUNCTION_NAMESPACE) public class DefaultEipEncryptionImpl implements IEipEncryptionProcessor { private static final String FUN = EipFunctionConstant.OPEN_RESPONSE_ENCRYPTION_PREFIX + "SM4"; @Override @Function.fun(FUN) @Function.Advanced(displayName = "SM4响应加密处理") @Function(name = FUN) public Object processor(ExtendedExchange exchange, Object body) { // TODO 加密body return body; } }

    2025年4月25日
    64800
  • Oinone离线部署设计器JAR包

    概述 Oinone平台为合作伙伴提供了多种部署方式,这篇文章将介绍如何在私有云环境部署Oinone平台JAR包。 本文以5.2.6版本为例进行介绍。 部署环境要求 包含全部中间件及设计器服务的环境要求 CPU:8 vCPU 内存(RAM):16G以上 硬盘(HDD/SSD):60G以上 仅设计器服务的环境要求 CPU:8 vCPU 内存(RAM):8G以上 硬盘(HDD/SSD):40G以上 部署准备 在部署环境创建部署目录 mkdir -p /home/admin/oinone-designer PS:为方便管理,所有Oinone部署所需文件都应该在该目录下存放。 服务器需要安装的中间件 JDK:jdk_1.8_221版本以上 下载地址 MySQL:8.0.26版本以上 下载地址 Redis:5.0.2版本以上 下载地址 安装教程 Zookeeper:3.5.8版本以上 下载地址 安装教程 Nginx:任意版本(推荐使用源码编译安装方式,并开启rewrite、https等功能模块) Linux安装教程 下载地址 使用Docker启动所有中间件 点击下载一键部署所有中间件套件包 middleware-kits.zip 部署清单 下面列举了文章中在本地环境操作结束后的全部文件: 设计器JAR包:pamirs-designer-boot-v5.2-5.2.6.jar 离线部署结构包:oinone-designer-jar-offline.zip 第三方数据库驱动包(非MySQL数据库必须) PS:如需一次性拷贝所有部署文件到部署环境,可以将文档步骤在本地环境执行后,一次性将所有文件进行传输。 在本地环境准备部署文件 下载离线部署结构包 oinone-designer-jar-offline.zip 下载部署JAR包 5.2.6版本发布日志 查看更多版本 找到独立部署所有设计器JAR标题,下面有对应的JAR包提供下载。 例如:https://oinone-jar.oss-cn-zhangjiakou.aliyuncs.com/install/oinone-designer/pamirs-designer-boot-v5.2-5.2.6.jar 后端服务部署 将部署JAR包移动到backend目录下,并重命名为oinone-designer.jar mv pamirs-designer-boot-v5.2-5.2.6.jar backend/oinone-designer.jar PS:该名称为startup.sh脚本的默认值,可根据实际情况自行修改 将Pamirs许可证移动到backend/config目录下,并重命名为license.lic mv oinone-demo_1730163770607.lic backend/config/license.lic 加载非MySQL数据库驱动(按需) 将驱动jar文件移动到backend/lib目录下即可。 以KDB8数据库驱动kingbase8-8.6.0.jar为例 mv kingbase8-8.6.0.jar backend/lib/ PS:backend/lib目录为非设计器内置包的外部加载目录(外部库),可以添加任何jar包集成到设计器中。 修改backend/startup.sh脚本 IP:修改为可被外部访问的IP地址 DB_BASE_:base库相关数据库连接配置 DB_PAMIRS_:pamirs库相关数据库连接配置 REDIS_:Redis相关配置 MQ_NAME_SERVER:RocketMQ的name-server连接地址 ZOOKEEPER_:Zookeeper相关配置 PS:若需要配置方言或其他参数,可直接修改backend/config/application.yml配置文件,变量仅用于简单配置场景 执行startup.sh脚本启动 sh startup.sh 执行完成后会打印三个路径 后端路径:backend root path: /path/to/backend 前端路径:frontend root path: /path/to/frontend Nginx配置路径:nginx services path: /path/to/nginx Nginx配置 在本地nginx服务中找到nginx.conf,并添加Nginx配置路径为加载目录 http { … include /path/to/nginx/*.conf; } 修改结构包中的default.conf第7行root配置为前端路径到dist目录下 server { … root /path/to/frontend/dist; } 修改结构包中的oss.conf第30行alias配置为前端路径到static目录下 server { … location /static { … alias /path/to/frontend/static; } } 访问服务 使用http://127.0.0.1:9090访问服务

    2024年11月1日
    1.7K00
  • Maven Setting 配置详解

    常用标签概览 servers/server:配置私有仓库用户名和密码进行认证,以 id 进行关联。 mirrors/mirror:配置镜像仓库拉取时的地址源和额外配置。 profiles/profile:配置多个可能使用的镜像仓库。 activeProfiles/activeProfile:配置默认激活的 profile,以 id 进行关联。 Oinone 私有仓库配置 以下配置可以在使用 Oinone 私有仓库的同时,也可以正常使用 aliyun 镜像源。 <servers> <server> <id>shushi</id> <username>${username}</username> <password>${password}</password> </server> </servers> <mirrors> <mirror> <id>shushi</id> <mirrorOf>shushi</mirrorOf> <url>http://ss.nexus.ixtx.fun/repository/public</url> <!– 忽略 https 认证,maven 版本过高时需要配置 –> <blocked>false</blocked> </mirror> </mirrors> <profiles> <profile> <id>shushi</id> <repositories> <repository> <!– 对应 server.id –> <id>shushi</id> <url>http://ss.nexus.ixtx.fun/repository/public</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>true</enabled> </snapshots> </repository> </repositories> <pluginRepositories> <pluginRepository> <!– 对应 server.id –> <id>shushi</id> <url>http://ss.nexus.ixtx.fun/repository/snapshots</url> <releases> <enabled>false</enabled> </releases> <snapshots> <enabled>true</enabled> </snapshots> </pluginRepository> </pluginRepositories> </profile> <profile> <id>aliyun</id> <repositories> <repository> <id>aliyun</id> <url>https://maven.aliyun.com/repository/public</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> <pluginRepositories> <pluginRepository> <id>aliyun</id> <url>https://maven.aliyun.com/repository/public</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </pluginRepository> </pluginRepositories> </profile> </profiles> <activeProfiles> <!– 使用 shushi 私有仓库 –> <activeProfile>shushi</activeProfile> <!– 使用 aliyun 镜像仓库 –> <activeProfile>aliyun</activeProfile> </activeProfiles> 常见问题 使用 mvn 时无法拉取 Oinone 最新版镜像,提示找不到对应的包 原因:在 Oinone 开源后,oinone-pamirs 内核相关包都被部署到 maven 中央仓库,但由于其他镜像仓库的同步存在延时,在未正确同步的其他镜像源拉取时会出现找不到对应的包相关异常。 解决方案:检查 mirrors 中是否配置了 aliyun 镜像源,如果配置了,使用上述 Oinone 私有仓库配置重新配置后,再进行拉取。这一问题是由于 mirrors 配置不当,拦截了所有从 maven 中央仓库拉取的地址替换为了 aliyun 镜像源导致的。

    2025年11月10日
    62500

Leave a Reply

登录后才能评论