1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1057 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 平台配置日志输出和推送到APM与LogStash 后端

    平台配置日志输出和推送到APM与LogStash

    场景描述 目前设计器镜像启动后日志文件为out.log，是启动脚本中定向输出了(>>)out.log文件。实际项目可能： 日志输出到特定目录的特定文件名中 指定以日志保留策略(单个文件大小和文件保留个数) 日志输出到APM工具中(如skywalking) 日志推送到LogStash 日志自定义输出 不定向输出，采用自己配置的方式，与标准的SpringBoot工程配置日志一样。两种方式（都是Spring提供的方式）： 方式一 bootstrap.yml 里面可以按profiles指定logback的配置文件，具体文件名和文件输入在logback里面进行配置，跟通用的logback配置一致. 例如： logging: config: classpath:logback-pre.xml 方式二 resources的根目录，直接配置 logback-spring.xml， 启动会自动加载。 日志自定义场景 配置日志推送到LogStash <!–配置日志推送到LogStash–> <contextListener class="pro.shushi.pamirs.demo.core.config.DemoLogbackFiledConfig"/> <appender name="LogStash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> <destination>127.0.0.1:4560</destination> <!– encoder必须配置,有多种可选 –> <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"> <!– SkyWalking插件, log加tid–> <provider class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.logstash.TraceIdJsonProvider" /> <!–在生成的json中会加这些字段–> <customFields> {"app.name":"pamirs-demo", "app.type":"Microservice", "platform":"pamirs", "env":"dev"} </customFields> <timeZone>Asia/Shanghai</timeZone> <writeVersionAsInteger>true</writeVersionAsInteger> <providers> <pattern> <pattern> <!–动态的变量–> { "ip": "%{ip}", "server.name": "%{server.name}", "logger_name": "%logger" } </pattern> </pattern> </providers> </encoder> </appender> skywalking的日志rpc上传 <!– skywalking的日志rpc上传 –> <appender name="SkyWalkingLogs" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender"> <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder"> <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout"> <Pattern>${CONSOLE_LOG_PATTERN}</Pattern> </layout> </encoder> </appender> 完整的代码示例 Logback自定义字段 package pro.shushi.pamirs.demo.core.config; import ch.qos.logback.classic.Level; import ch.qos.logback.classic.Logger; import ch.qos.logback.classic.LoggerContext; import ch.qos.logback.classic.spi.LoggerContextListener; import ch.qos.logback.core.Context; import ch.qos.logback.core.spi.ContextAwareBase; import ch.qos.logback.core.spi.LifeCycle; import java.net.InetAddress; import java.net.UnknownHostException; /** * Logback自定义字段 * * @author wx@shushi.pro * @date 2024/4/17 */ public class DemoLogbackFiledConfig extends ContextAwareBase implements LoggerContextListener, LifeCycle { private boolean started = false; @Override public boolean isResetResistant() { return false; } @Override public void onStart(LoggerContext loggerContext) { } @Override public void onReset(LoggerContext loggerContext) { } @Override public void onStop(LoggerContext loggerContext) { } @Override public void onLevelChange(Logger logger, Level level) { } @Override public void start() { if (started) { return; } Context context = getContext();…

    望闲's avatar 望闲
    2024年5月18日
    1.7K00
  • 跳转动作新增默认生成视图 产品使用手册

    跳转动作新增默认生成视图

    在跳转动作的配置中，针对用户在选择创建新页面时需要重新拖动字段到设计器区的操作，新增了“默认生成视图”功能。这一功能可以自动生成页面视图，简化了设计流程，提升了操作效率。

    萧炎's avatar 萧炎
    2024年9月20日
    1.3K00
  • 企业个性化配置 Oinone 7天入门到精通

    企业个性化配置

    平台除了帮助企业快速解决业务需求外，还提供了企业文化、风格个性化能力，本章节详细介绍个性化配置。包括：登陆页配置、企业形象配置、系统风格配置。 系统配置 配置入口 配置入口：右上角登陆账号——系统配置——全局配置——登陆页配置、企业形象配置、系统风格配置。 登陆页配置 用户自定义登陆页的主题，一共有六个主题可选择，分别为： 图一：左侧是图片，右侧是登录输入框，Logo在左上角； 图二：右左侧是图片，右侧是登录输入框，Logo在左上角； 图三：底图是图片，登录输入框浮在页面左侧，Logo在左上角； 图四：底图是图片，登录输入框浮在页面中间，Logo在左上角； 图五：底图是图片，登录输入框浮在页面右侧，Logo在左上角； 图六：底图是图片，登录输入框浮在页面中间，Logo在登录框上方。 页面背景 上传登录页背景，支持上传jpg、png格式的图片或mp4、mov、avi格式视频。尺寸建议为1920*1080px，文件大小不超过50MB。 登录页logo：指配置登录页左上角的logo图标。 预览：配置后可在右侧电脑中点击全屏预览效果。 配置示例 企业形象配置 企业形象配置：可设置企业信息、业务应用导航栏logo、浏览器logo，设置完成之后，点击发布之后设置生效。 系统风格配置 系统风格配置，可设置主题（浅色、深色）、尺寸（大、中、小），配置后可全屏预览，发布后即可更换成对应的风格。 下载代码可进行自定义风格。

    史, 昂's avatar 史, 昂
    2024年6月20日
    1.4K00
  • oio-switch 开关 组件

    oio-switch 开关

    API 参数 说明 类型 默认值 版本 autofocus 组件自动获取焦点 boolean false checked(v-model: checked ) 指定当前是否选中 checkedValue | unCheckedValue false checkedChildren 选中时的内容 slot checkedValue 选中时的值 boolean | string | number true disabled 是否禁用 boolean false loading 加载中的开关 boolean false unCheckedChildren 非选中时的内容 slot unCheckedValue 非选中时的值 boolean | string | number false 事件 事件名称 说明 回调参数 change 变化时回调函数 Function(checked: boolean | string | number, event: Event)

    汤乾华's avatar 汤乾华
    2023年12月18日
    1.3K00
  • Docker部署常见问题 后端部署

    Docker部署常见问题

    问题1：容器启动出现library initialization failed – unable to allocate file descriptor table – out of memory异常如何处理？ 原因 不同操作系统安装Docker后，容器运行环境并不一致，需要对Docker运行参数进行调整。 解决方案 编辑/etc/systemd/system/docker.service文件， 有些系统该文件位置：/lib/systemd/system/docker.service 查看docker的systemd（docker.service）配置位置 systemctl status docker 查看docker的systemd配置位置 将下列参数进行修改 LimitNOFILE=65535 LimitNPROC=65535 LimitCORE=65535 执行以下脚本 systemctl daemon-reload systemctl restart docker 问题2：容器启动出现library initialization failed – unable to allocate file descriptor table – out of memorypanic: signal: aborted (core dumped)异常如何处理？ 问题现象 1、 按照【问题1】的设置进行配置后，仍然不生效； 2、 尝试修改宿主机系统内核的ulimits，重启docker仍报错。修改docker.service（文件位置：/etc/systemd/system/docker.service文件， 有些系统该文件位置：/lib/systemd/system/docker.service） 解决方案 查看docker的systemd（docker.service）配置位置【问题1】中的办法 在ExecStart命令后加上创建容器的默认ulimit配置，如下，设置容器启动时的ulimit为65535:65535 –default-ulimit nofile=65535:65535 配置好后： ExecStart=/usr/bin/dockerd -H fd:// –containerd=/run/containerd/containerd.sock –default-ulimit nofile=65535:65535 执行以下脚本 systemctl daemon-reload systemctl restart docker 资料参考：https://blog.csdn.net/weixin_42241322/article/details/137122868 问题3：拉取设计器镜像报错 报错信息，拉取镜像harbor.oinone.top连不上。 docker login –username=schhsw_oinone harbor.oinone.top i Info → A Personal Access Token (PAT) can be used instead. To create a PAT, visit https://app.docker.com/settings Password: time="2025-02-27T11:24:58+08:00" level=info msg="Error logging in to endpoint, trying next endpoint" error="Get \"https://harbor.oinone.top/v2/\": dial tcp 0.0.0.0:443: connect: connection refused" Get "https://harbor.oinone.top/v2/": dial tcp 0.0.0.0:443: connect: connection refused kfpt@kfpt-virtual-machine:~$ sudo -i root@kfpt-virtual-machine:~# docker login –username=schhsw_oinone harbor.oinone.top i Info → A Personal Access Token (PAT) can be used instead. To create a PAT, visit https://app.docker.com/settings Password: Error response from daemon: Get "https://harbor.oinone.top/v2/": dial tcp 0.0.0.0:443: connect: connection refused 排查过程： 排除到后面发现原因是DNS配置的问题，换了一个阿里云的IP就可以了

    张博昊's avatar 张博昊
    2025年3月13日
    1.3K00

Leave a Reply

Please Login to Comment