深度分页问题优化方案

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如:select * 的情况下直接⽤limit 600000,10 扫描的是约60万条数据,并且是需要回表 60W次,也就是说⼤部分性能都耗在随机访问上,到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案:业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器,展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案:只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例
<!-- 表格使用的标准分页器 --> <view type="TABLE" paginationStyle="SIMPLE"> <!-- fields --> </view> <!-- 画廊使用默认的标准分页器 --> <view type="GALLERY" paginationStyle="STANDARD"> <!-- fields --> </view>

后端方案

  1. 使用索引:确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度,特别是在处理大数据量时。

  2. 分批查询:将大数据分成多个较小的批次进行查询,而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询,例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页:使用基于游标的分页技术,而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置,在下一次查询时从该位置开始获取新的数据,避免了大偏移量的影响。这可以通过数据库自身的功能(例如MySQL的CURSOR)或使用第三方库来实现。

  4. 缓存数据:如果数据变化较少,可以考虑将查询结果缓存到内存中,以避免频繁地查询数据库。这样可以提高页面相应速度,并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理:如果查询结果经常需要进行复杂的计算或处理,可以考虑提前对数据进行预处理并缓存结果,以减少每次查询的计算负担。

  6. 数据库优化:针对具体数据库系统,可以根据实际情况进行数据库调优。例如,合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算:对于非关系型数据库或分布式存储系统,可以考虑使用分布式存储和计算方案,将数据分散存储在多个节点上,并通过计算节点并行处理查询请求,以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者:原创文章,如若转载,请注明出处:https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

(0)
的头像
上一篇 2023年6月20日 pm4:07
下一篇 2023年11月2日 pm1:58

相关推荐

  • 导出导入翻译

    http://168.138.179.151/pamirs/file 导出翻译项: mutation { excelExportTaskMutation { createExportTask( data: { workbookDefinition: { model: "file.ExcelWorkbookDefinition" name: "excelLocationTemplate" } } ) { name } } } { "path": "/file", "lang": "en-US" } 导入翻译项: mutation { excelImportTaskMutation { createImportTask( data: { workbookDefinition: { model: "file.ExcelWorkbookDefinition" name: "excelLocationTemplate" } file: { url: "https://minio.oinone.top/pamirs/upload/zbh/test/2024/06/03/导出国际化配置模板_1717390304285_1717391684633.xlsx" } } ) { name } } } PS:导入自行修改url进行导入

    2024年6月28日
    1.5K00
  • 无代码环境准备并快速启动

    注意: 启动无代码的过程中如果出现问题,请先在 常见问题 中寻找答案。如仍未解决,请及时在群里咨询。 视频教程(点此观看) docker安装从3分35秒开始 MySQL安装从6分30秒开始 部署无代码从21分50秒开始 一、进入服务器 ssh 用户名@服务器ip # 举例:ssh root@192.168.0.121 二、安装 Docker 1. 判断是否已安装 Docker docker -v 如果出现 Docker 版本号,说明已安装 Docker,如下图: 没有安装时显示如下图: 2. 安装并启动 Docker 已安装了 Docker:执行以下命令启动 Docker(未安装则忽略此步骤) # 启动 Docker systemctl start docker # 查看是否启动成功 docker -v 未安装 Docker 的情况:依次执行以下操作 # 删除原有版本 yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine yum install -y yum-utils yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo #提示 如果 docker 源异常,可以改用阿里云源: #yum-config-manager –add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin # 启动 Docker systemctl start docker # 查看是否启动成功 docker -v 3. 检查 Docker 是否启动成功 sudo systemctl status docker 出现如下图表示启动成功: 三、安装 MySQL 1. 判断是否已安装 MySQL mysql –version 如果出现 MySQL 版本号,说明已安装 MySQL。 没有安装会显示如下图: 2. 安装并启动 MySQL 查看服务器 glibc 版本 ldd –version 查看结果,如图: 下载 MySQL 压缩包 官网下载:MySQL 下载地址 在服务器上创建用户组和用户 # 添加用户组 groupadd mysql # 创建 MySQL 用户并添加到用户组 useradd -g mysql mysql 切换到mysql用户下 su mysql 上传mysql压缩包到服务器 # 注意:以下命令在新开的一个本地命令行执行,不进入服务器! scp path/to/your/mysql-8.0.40-linux-glibc2.17-x86_64.tar.xz(替换成本地电脑mysql压缩包的实际地址) username@ip_address:/home/mysql(替换成想要上传在服务器上的具体地址) 已经将mysql压缩包上传到服务器的某个文件夹成功之后,进入服务器的该文件内查看压缩包是否已经存在,执行ls,如图: 上传成功后,在服务器上解压 tar -Jxvf mysql-8.0.40-linux-glibc2.17-x86_64.tar.xz # 解压 MySQL 压缩包 创建软链 ln -s path/to/your/mysql-8.0.40-linux-glibc2.17-x86_64 mysql # 创建软链 进入mysql目录 cd mysql 配置文件与目录创建 MySQL 服务启动项很多,一般不通过命令行输入,而是写在配置文件中,启动时指定配置文件即可。如果没有指定配置文件,则会去 /etc/my.cnf 等默认路径下找配置文件。这里直接指定自己创建的配置文件,把一切都掌握在自己手里。 vi my.cnf # 执行此命令,然后写入以下配置 [mysqld] basedir=/home/mysql/mysql (改成mysql具体路径) datadir=/home/mysql/mysql/data/ (改成data具体路径) socket=/tmp/mysql.sock character-set-server=UTF8MB4…

    2024年10月30日
    1.6K00
  • 无代码docker启动说明

    1. 安装docker 1.1 Linux内核系统 1.1.1 检查防火墙(以CentOS7为例) 查看防火墙是否开启 systemctl status firewalld 如防火墙处于开启状态,有2种处理方式,选择其中一种,开发环境如内网环境建议选择处理方案1 处理方案1:停止防火墙 systemctl stop firewalld 处理方案2:开放docker镜像内置中间件透出的端口 88:web访问端口 8099:后端Java服务端口 19876:rocketmq的namesrv端口: 6378:缓存redis的端口 3307:数据库mysql的端口 2182:zookeeper的端口 20880:dubbo的通信端口 15555:预留Java的debug端口 10991:rocketmq的broker端口 查看防火墙已经开放的端口 firewall-cmd –list-ports # 防火墙新增开放端口示例: firewall-cmd –permanent –zone=public –add-port=88/tcp #新增以后生效需要重新加载防火墙 systemctl reload firewalld #查看端口是否开放成功 firewall-cmd –list-ports 也可以从外部使用telnet命令检查端口是否开放成功,如telnet 192.168.0.121 3307 1.1.2 官方安装地址:https://docs.docker.com/engine/install/centos/ #删除原有版本 yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-engine yum install -y yum-utils yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo 如果docker这个源异常可以用阿里云的源 #yum-config-manager –add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin #启动docker systemctl start docker #查看是否安装成功 docker -v 1.1.3 可使用一键安装脚本 wget https://pamirs.oss-cn-hangzhou.aliyuncs.com/docker/quick-install.sh sh quick-install.sh 1.2 无公网环境Linux系统 需要根据指定的版本以及内核架构来生成对应docker以及镜像包 1.3 window环境 https://docs.docker.com/desktop/install/windows-install/ 2. 解压提供的部署.zip 部署.zip包含: settings-3.6.3.xml:拉取平台jar的maven仓库settings,对应maven版本3.6.x settings-3.8.x.xml:拉取平台jar的maven仓库settings,对应maven版本3.8.x pamirs-demo:后端示例工程 oinone-op-ds-all-full:包含所有中间件及前后端工程,用于启动docker脚本 oinone-op-ds-all-mini:仅包含前后端工程,用于启动docker脚本 license:平台证书 docker和mvn账号信息.md 3. 对应版本的docker镜像拉取 镜像地址 镜像概述 harbor.oinone.top/oinone/designer:4.8.2.4-allinone-full 包含所有中间件及前后端工程 harbor.oinone.top/oinone/designer:4.8.2.4-allinone-mini 仅包含前后端工程 👆🏻上面镜像地址中的4.7.9是示例版本号,具体安装时根据数式提供的为准。 #注意:docker镜像拉取的账号密码在部署.zip里面 docker login –username=用户名 harbor.oinone.top docker pull harbor.oinone.top/oinone/designer:xxx 4. 修改startup.sh中的路径 4.1 linux环境修改参数 在文件中找到如下configDir=/opt/docker/oinone-op-ds-all-fullversion=4.8.2.4IP=192.168.0.121 修改configDir的路径(下载oinone-op-ds-xx.zip解压后的路径) 修改对应的镜像版本号 修改对应的IP为docker宿主机IP 4.2 window环境修改参数 在文件中找到如下set configDir=/d/shushi/docker/oinone-op-ds-all-fullset version=4.8.2.4set IP=192.168.0.121 修改configDir的路径((下载oinone-op-ds-xx.zip解压后的路径) 修改对应的镜像版本号 修改对应的IP为docker宿主机IP 5. (用oinone-op-ds-all-full版本可跳过)修改conf/application.yml 对应中间件的配置:指定对应IP和端口或密码,把其中192.168.0.121改为宿主机IP zookeeper mysql rocket-mq redis 阿里云oss配置 6. 修改mq/broker.conf(**注意:使用allinone-full包含中间件版本) 修改其中brokerIP1的IP从192.168.0.121改成宿主机IP brokerClusterName = DefaultCluster namesrvAddr=127.0.0.1:9876 brokerIP1=192.168.0.121 brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH autoCreateTopicEnable=true…

    2023年11月6日
    1.6K00
  • 正式版发布:Oinone 5.0.4版本 新增分片上传功能,邀您体验

    版本号: 5.0.4 版本发布日期:2024.06.11更新要点:支持分片上传OSS 5.0.4 版本 升级说明及步骤(已升级为5.0.0版本忽略) 此版本与4.7.8版本的兼容方案如下,请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意:部分SQL是要求【发布前执行】,部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容(5.0.0) 新增: 支持分片上传OSS(已支持:阿里云OSS、华为云OBS、腾讯云COS、MinIO) 数据流程支持模型触发 新增用户配置,支持配置初始化管理员相关信息 新增会话配置,支持配置会话模式单用户登录和多用户登录,以及会话过期时间 新增集成设计器配置API时提供JSON数据解析 新增集成设计器list类型数据操作 新增界面设计器枚举支持自动填充以及恢复默认操作 新增界面设计器枚举字段条件过滤 新增Dubbo支持全局配置group、version、timeout属性 新增界面设计器表格默认排序功能 流程设计器支持刷新视图数据 新增开放接口配置Token时效 新增函数权限,跟随当前视图权限判定 新增界面设计器允许表单和详情切换视图类型进行复制 新增独立加签意见相关字段 新增Related字段允许存储字段在为空值的情况下依然有效 新增PamirsUser模型phoneCode字段 新增图表支持选择传输模型 修复: 修复eip的md5验签方法(可能会出现使用该验签方式的接口报错,请使用新版SDK) 修复菜单搜索展示异常的问题 修复虚拟字段(无元数据字段)提交异常的问题 修复UUID类型序列生成器在GaussDB的情况下出现npe的问题 修复集成接口在SQL检查时异常的问题 修复用户重置密码和忘记密码异常的问题 修复在某些情况下翻译项无法正常导出的问题 修复debug调试工具无法正确查看角色相关信息的问题 修复服务端使用MinIO时获取的URL时效问题 修复集成接口在指定技术名称时未正确刷新的问题 修复业务审计的Boolean类型字段展示问题 修复发送邮件无法自定义发送人的问题 修复翻译的浏览器缓存问题 修复界面设计器复制视图无法选择指定模块模型的问题 修复前后缀文本无法翻译的问题 工作流支持展示退回原因 自定义函数预备切换为namespace+fun存储 修复加签任务未保存加签意见的问题 修复加签生成的任务未保存原始数据(originNodeContext)的问题 修复batch请求未正确获取模块的问题 优化业务审计日志记录服务扩展性 优化审计规则配置的模型选择下拉框中的展示内容 修复关联关系模型的pk问题 改写所有使用lua脚本的逻辑(低版本redis不支持lua脚本) 权限在首次批量授权时,默认授予当前视图的全部动作的权限 修复开放接口accessToken续期问题,多次获取Token时必然刷新,时效为2小时,旧的Token时效变为5分钟。 修复权限节点解析在某些情况下未完全解析的问题 修复Excel导入时的时间类型获取少了5分43秒的问题 修复审计日志记录错误的问题 修复审计日志在未发生变更时记录未正确过滤空日志 修复差量更新功能无法正确验证权限的问题 修复minio未实现deleteByFilename和isExistByFilename方法 修复调试工具在审计日志保存时的空指针问题 修复自动解密方法无法处理父类字段的问题 修复集成设计器无法为代码生成的开放接口授权的问题 修复开放接口允许使用0.0.0.0全IP段访问 修复登录异常使用模糊语义进行表述,用户名支持加密传输 修复开放接口调用异常时,打印日志补充接口相关信息 修复树选择和级联选择在搜索时丢失过滤条件的问题 修复关联关系字段在使用静态值时无法重复的问题 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 版本包信息 Oinone平台部署及依赖说明(v5.0) 未使用到的版本号请忽略,按项目中使用到的进行替换。 <!– 平台基础 –> <pamirs.middleware.version>5.0.1</pamirs.middleware.version> <pamirs.k2.version>5.0.6</pamirs.k2.version> <pamirs.framework.version>5.0.15</pamirs.framework.version> <pamirs.boot.version>5.0.8</pamirs.boot.version> <pamirs.distribution.version>5.0.2</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.0.0</pamirs.metadata.manager> <pamirs.core.version>5.0.26</pamirs.core.version> <pamirs.workflow.version>5.0.6</pamirs.workflow.version> <pamirs.workbench.version>5.0.2</pamirs.workbench.version> <pamirs.data.visualization.version>5.0.1</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.0.1</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.0.2</pamirs.flow.designer.base.version> <pamirs.workflow.designer.version>5.0.1</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.0.1</pamirs.model.designer.version> <pamirs.ui.designer.version>5.0.7</pamirs.ui.designer.version> <pamirs.data.designer.version>5.0.1</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.0.2</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.0.3</pamirs.eip.designer.version> 注意镜像名称变化 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢,可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.0:5.0.4.19-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.0:5.0.4.19-arm64 镜像拉取 镜像或JAR版本:5.0.4.19 体验镜像:(所有中间件及前后端服务,包含全部设计器) docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.0:5.0.4.19 部署镜像:(包含前后端服务,包含全部设计器) docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.0:5.0.4.19 流程设计器镜像:(包含前后端服务,仅包含流程设计器) PS:原workflow-designer-standard-v5.0镜像不再提供,请更换为该镜像。 docker pull harbor.oinone.top/oinone/workflow-designer-v5.0:5.0.4.19 后端镜像:(仅包含后端服务,包含全部设计器) docker pull harbor.oinone.top/oinone/designer-backend-v5.0:5.0.4.19 前端镜像:(仅包含前端服务,包含全部设计器) PS:前端镜像版本为独立版本,与其他镜像版本不同。原基础镜像为nginx-1.21.0版本,从5.0.7版本开始使用nginx-1.24.0版为基础镜像 docker pull harbor.oinone.top/oinone/designer-frontend-v5.0:5.0.12 独立部署所有设计器JAR:(后端服务,包含所有设计器)pamirs-designer-boot-v5.0-5.0.4.19.jarpamirs-designer-boot-v5.0-latest.jar 独立部署流程设计器JAR:(后端服务,仅包含流程设计器)pamirs-workflow-designer-boot-v5.0-5.0.4.19.jarpamirs-workflow-designer-boot-v5.0-latest.jar 后端无代码设计器Jar包启动方法 如果您有任何问题、建议或反馈,请随时联系我们。为了获得最佳体验,请及时更新至最新版本。我们将继续努力改进产品,提供更好的服务。谢谢!

    2024年6月11日
    1.6K00
  • 前端文章大纲

    前端必学课程目录 分类 内容 描述 基础篇 自定义 Mask PC端、移动端默认Mask模板 PC端、移动端默认Mask模板 自定义布局 自定义视图 自定义布局、视图本质上是一样的 PC端默认布局模板 PC端默认布局模板 移动端端默认布局模板 移动端端默认布局模板 自定义表单字段 自定义表格字段 自定义动作 快速查询并替换默认组件 前端自定义请求入门版 自定义 Graphql 请求 进阶篇 ts + vue 的写法 熟悉 Oinone 的前端开发 注册条件集合 如果你不知道 SPI 应该如何注册,可以参考这篇文章的注册条件集合章节 自定义视图、字段如何获取界面设计的配置 比如自定义了视图或者字段,想要获取界面设计器配置的动作或者其他配置 自定义视图、字段调用界面设计器配置的按钮(包含权限控制) 动态执行动作 自定义视图、字段只修改 UI,不修改数据和逻辑 所有的自定义视图都可以参考这篇文章 自定义视图部分区域渲染设计器的配置 自定义视图部分区域渲染对应设计器配置的与字段、动作 自定义视图内部渲染动态视图 一部分是自定义的视图,另外一部分是其他页面对应的视图 上下文 理解上下文概念 主视图数据和当前视图数据使用介绍 与上篇文章结合 调试篇 调试工具 学会使用平台默认的调试工具 调试工具 通过控制台查看当前视图元数据信息 调试工具 学会浏览器调试 原理篇 SPI 注册 + 渲染原理 了解 SPI 的注册以及渲染原理 移动端入门 Oinone 移动端快速入门 前端常见问题集合目录 分类 内容 描述 表单 表单字段 自定义字段提交的值 表格 如何自定义表格单元格样式 列表视图支持表格、卡片切换 一个视图,多种形态展示,通过切换按钮的方式切换成不同的UI展示 表格如何支持表尾合计计算 自定义表格支持合并或列、表头分组 表格字段 如何在表格的字段内添加动作 动作 如何自定义点击导出动作绑定指定模板 打开弹窗/抽屉的动作如何在弹窗关闭后扩展逻辑 列表页内上下文无关的动作如何添加自定义上下文 提交数据动作如何把弹窗内的数据完全返回 动作跳转页面的时候携带参数 表格页自定义按钮如何获取搜索区域的查询条件 左树右表 界面设计器教程:如何配置左树右表布局 自定义左树右表视图中的树 左树右表视图中的树默认选中第一行 表格上方动作点击时获取左侧树的数据 树型表格全量加载数据如何处理 工作流 如何添加工作流运行时依赖 如何自定义工作流的待办任务列表 样式相关 如何自定义指定页面的样式 主题设置-设置表格全局样式 弹窗、抽屉 弹窗生命周期实践 全局API 获取当前用户信息以及语言 前端动作API 其他问题 自定义字段样式 如何在多标签页切换时自动刷新视图 前端密码加密 Oinone 如何接入乾坤微前端 前端发布接入jenkins 前端日期组件国际化支持方案

    2024年11月8日
    1.7K01

Leave a Reply

登录后才能评论