1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1131 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 总体结构设计示例 架构设计

    总体结构设计示例

    1.项目总体架构 Oinone总体工程架构 Oinone总体项目分层 以常见的B2C和全渠道订单OMS为例分层说明：1、最底层LCDP是低代码开发框架，提供低代码的开发能力；2、CDM通用数据模型层，主要解决系统间的数据标准；3、标品-标准业务产品层, 这层是我们核心的功能层，大部分业务代码都在这里完成；为了达到能按照模块组装的功能，标品需划分好模块，各模块是相对独立的服务(类似微服务的一个服务中心);4、客户定制层，可以对标品某个模块进行扩展，也可以新建模块；对标品扩展方式, 通常有以下几种方式：1）继承标品功能进行扩展2）覆盖方式，重写某个功能3）通过扩展点的方式注入定制逻辑4）通过SPI的方式，替换掉默认逻辑 2、设计器与应用 本地开发环境和开发环境，同一个环境下，有业务应用和设计器的两个入口，需要业务应用和设计器进行实时联动的情况，则要求：1.1 所有的【业务应用】和【设计器】，共用base库和基础数据的库； 业务应用的【业务数据】使用各自的业务库(可多个)；1.2 业务应用和设计器之间的互通通过配置网关(如Nginx等)的路由方式； 开发本地或者开发环境，若通过【业务的前端】入口直接访问到设计器，则需在【业务应用】的网关路由配置【设计器】的路由。 开发本地或者开发环境，若通过【设计器的前端】入口直接访问到业务系统，则需在【设计器】的网关路由配置【业务应用】的路由。 1.3 基础应用和业务应用、基础数据和设计器包含在一起，通过指定基础应用模块到对应的数据源的方式实现基础数据共享；1.4 基础应用(文件file/用户权限/资源等)单独部署；业务应用和设计器通过远程方式(RPC)进行调用； 2.1 模式一,应用和基础模块独立 总体方案：1、DB层面每个环境共用base库；主数据(用户、权限、资源等)单独建立主数据库；各自业务系统（包括设计器本身）建立自己的业务库。2、应用层面1）应用和设计器之间通过路由转发的方式相互访问；2）应用单独部署的情况，应用之间通过RPC(Dubbo)的方式进行调用；3）所有的应用AllinOne的方式部署在一起，则直接走SpringBean的方式(Injvm)； 2.1.1 模式1,DB划分 2.1.2 模式1,服务调用 2.2 模式二,应用和基础模块合并 3、部署架构图 4、Oinone项目包分层示例 4.1 CDM层示例 CDM层主要定义模型，包括模型之间的关系；对于主数据类的基础服务，可以确定上层不会修改的，也可包含这部分的服务层。 4.2 标品项目示例 ├── pamirs-boot 应用启动模块,启动入口,启动过程中系统性的数据初始化│ │ └── boot 启动类的包路径│ │ └── XxxApplication 模块的应用启动类，遵循spring boot 规范│ │ └── resources/config/application-dev.yml 研发环境的yml配置文件，遵循spring boot 规范│ │ └── resources/bootstrap.yml 启动的yml配置文件，遵循spring boot 规范├── pamirs-common 通用模块 工程通用常量,传输模型,Utils等├── pamirs-major 主数据模块│ ├── pamirs-major-api 对外api包,在此包下定义 模型 服务Service,枚举常量等│ │ └── constant 常量的包路径│ │ └── enums 枚举的包路径│ │ └── model 该领域核心模型的包路径│ │ └── service 该领域对外暴露接口api的包路径│ │ └── tmodel 存放该领域的非存储模型如：用于传输的临时模型│ │ └── MajorModule 该类是Major模块的定义│ ├── pamirs-major-core api的内部逻辑实现包│ │ └── init 模块初始化工作的包路径│ │ └── manager manager是 service的一些公共逻辑，不会定义为独立的function的类│ │ └── service service是对应api工程中service接口的实现类，是模型的function├── pamirs-eip 集成模块│ ├── pamirs-eip-api 对外api包,在此包下定义 模型 服务Service,枚举常量等│ │ └── EipModule 该类是Major模块的定义│ ├── pamirs-eip-core api的内部逻辑实现包├── pamirs-item 商品模块│ ├── pamirs-item-api 对外api包,在此包下定义 模型 服务Service,枚举常量等│ │ └── ItemModule 该类是Major模块的定义│ ├── pamirs-item-core api的内部逻辑实现包│ ├── pamirs-item-view 应用PC端│ │ └── action 模型对外交互的行为的包–对前端页面开放的接口│ │ └── init 模块初始化工作的包路径│ │ └── manager manager是 service的一些公共逻辑，不会定义为独立的function的类 4.3 系统的分层 himalaya(cdm) — himalaya-major — himalaya-common — himalaya-item — himalaya-inventory — himalaya-trade — …… kailas-leo（标品项目） — kailas-leo-major — kailas-leo-item — kailas-leo-trade — kailas-leo-pay — kailas-leo-boot — …… kailas-leo-lb（客户项目）…

    shao's avatar shao
    2024年2月20日
    2.0K00
  • Oinone请求路由源码分析 Oinone 源码分析

    Oinone请求路由源码分析

    通过源码分析，从页面发起请求，如果通过graphQL传输到具体action的链路，并且在这之间做了哪些隐式处理分析源码版本5.1.x 请求流程大致如下： 拦截所有指定的请求 组装成graphQL请求信息 调用graphQL执行 通过hook拦截先执行 RsqlDecodeHook：rsql解密 UserHook： 获取用户信息, 通过cookies获取用户ID，再查表获取用户信息，放到本地Local线程里 RoleHook： 角色Hook FunctionPermissionHook： 函数权限Hook ,跳过权限拦截的实现放在这一层，对应的配置 pamirs: auth: fun-filter: – namespace: user.PamirsUserTransient fun: login #登录 – namespace: top.PetShop fun: action DataPermissionHook： 数据权限hook PlaceHolderHook：占位符转化替换hook RsqlParseHook： 解释Rsql hook SingletonModelUpdateHookBefore 执行post具体内容 通过hook拦截后执行 QueryPageHook4TreeAfter： 树形Parent查询优化 FieldPermissionHook： 字段权限Hook UserQueryPageHookAfter UserQueryOneHookAfter 封装执行结果信息返回 时序图 核心源码解析 拦截所有指定的请求 /pamirs/模块名RequestController @RequestMapping( value = "/pamirs/{moduleName:^[a-zA-Z][a-zA-Z0-9_]+[a-zA-Z0-9]$}", method = RequestMethod.POST ) public String pamirsPost(@PathVariable("moduleName") String moduleName, @RequestBody PamirsClientRequestParam gql, HttpServletRequest request, HttpServletResponse response) { } DefaultRequestExecutor 构建graph请求信息，并调用graph请求 () -> execute(GraphQL::execute, param), param private <T> T execute(BiFunction<GraphQL, ExecutionInput, T> executor, PamirsRequestParam param) { // 获取GraphQL请求信息，包含grapsh schema GraphQL graphQL = buildGraphQL(param); … ExecutionInput executionInput = ExecutionInput.newExecutionInput() .query(param.getQuery()) .variables(param.getVariables().getVariables()) .dataLoaderRegistry(Spider.getDefaultExtension(DataLoaderRegistryApi.class).dataLoader()) .build(); … // 调用 GraphQL的方法execute 执行 T result = executor.apply(graphQL, executionInput); … return result; } QueryAndMutationBinder 绑定graphQL读取写入操作 public static DataFetcher<?> dataFetcher(Function function, ModelConfig modelConfig) { if (isAsync()) { if (FunctionTypeEnum.QUERY.in(function.getType())) { return AsyncDataFetcher.async(dataFetchingEnvironment -> dataFetcherAction(function, modelConfig, dataFetchingEnvironment), ExecutorServiceApi.getExecutorService()); } else { return dataFetchingEnvironment -> dataFetcherAction(function, modelConfig, dataFetchingEnvironment); } } else { return dataFetchingEnvironment -> dataFetcherAction(function, modelConfig, dataFetchingEnvironment); } } private static Object dataFetcherAction(Function function, ModelConfig modelConfig, DataFetchingEnvironment environment) { try { SessionExtendUtils.tagMainRequest(); // 使用共享的请求和响应对象 return Spider.getDefaultExtension(ActionBinderApi.class) .action(modelConfig,…

    oinone's avatar oinone
    2024年8月21日
    6.0K02
  • 如何解决界面设计器保存提示：元数据不存在或已删除 后端部署

    如何解决界面设计器保存提示：元数据不存在或已删除

    现象 界面设计器设计页面的时候，从左侧边栏模型下拖入了一个字段到页面，保存的时候提示：元数据不存在或已删除 原因 共base库不共元数据缓存redis导致的，不共redis的情况下，每次本地新增或修改元数据(如：字段、方法)启动后会同步本地redis，再去线上启动的时候，由于元数据已经在本地写入到了base库，所以该次启动不会触发redis差量更新 解决方案 通过将boot工程application.yml以下配置，让redis全量刷新元数据缓存 pamirs: distribution: session: allMetaRefresh: true 扩展 这个方法只能解决新增或修改元数据，如果出现了删除元数据的话，改为true也不行，清空或者手动删除问题redis的key都可以

    nation's avatar nation
    2024年7月21日
    1.2K00
  • 5.1.0版本feature：新增用户会话配置项，请升级对应版本 5.x

    5.1.0版本feature：新增用户会话配置项，请升级对应版本

    版本号： 5.1.13 版本发布日期：2024.09.18更新要点：新增用户会话配置项 5.1.13 版本 升级说明及步骤（已升级为5.0.0版本忽略） 此版本与4.7.8版本的兼容方案如下，请严格参照升级说明及步骤进行1、【重要】升级前备份base库和用户权限模块所在的库 2、【重要】升级过程执行SQL严格按照升级文档中的步骤执行。特别注意：部分SQL是要求【发布前执行】，部分SQL是要求【发布后执行】 5.0.0升级详细说明及步骤 升级内容（5.1.0） 新增用户会话配置项 修复用户会话过期时间续约的问题 修复时间范围组件打开后选中的时间为当前时间 修复表达式计算含有小数点的金额错误 修复权限组名称长度从128到256 修复Excel模板初始化异常的问题 修复EIP验证AccessToken过期时效的问题 修复字段权限【全部】未生效的问题 pamirs: user: # 超级管理员默认配置，仅首次启动时生效 admin: # 登录名 login: admin # 默认密码 password: admin # 默认昵称 name: 超级管理员 session: # 用户会话模式（使用其他值可自定义会话模式：pro.shushi.pamirs.user.api.spi.UserCacheApi） # 单用户会话（single）：一个用户仅可以在一个浏览器登录，后登录的用户会强制先登录的用户下线。 # 多用户会话（multiple）：一个用户可以在多个浏览器登录，不限会话数量。 mode: multiple # 用户会话过期时间；单位：秒； expire: 7200 # 2个小时后过期 # 用户会话续约时间；单位：秒；（建议续约时间小于等于会话过期时间） renewed-expire: 7200 # 每次操作续约2个小时 # 用户会话续约过滤URL；指定请求被接收时，不进行续约； renewed-filter-urls: – /pamirs/message # 内置过滤URL，无需配置，不可移除。 请尽可能保证业务工程前后端服务以及设计器同步升级前端服务仅需重新执行npm install即可自动升级到最新版本 版本包信息 Oinone平台部署及依赖说明（v5.0） 未使用到的版本号请忽略，按项目中使用到的进行替换。 <!– 平台基础 –> <pamirs.middleware.version>5.0.3</pamirs.middleware.version> <pamirs.k2.version>5.1.7</pamirs.k2.version> <pamirs.framework.version>5.1.13</pamirs.framework.version> <pamirs.boot.version>5.1.8</pamirs.boot.version> <pamirs.distribution.version>5.1.7</pamirs.distribution.version> <!– 平台功能 –> <pamirs.metadata.manager>5.1.2</pamirs.metadata.manager> <pamirs.designer.metadata.version>5.1.3</pamirs.designer.metadata.version> <pamirs.core.version>5.1.20</pamirs.core.version> <pamirs.workflow.version>5.1.8</pamirs.workflow.version> <pamirs.workbench.version>5.1.0</pamirs.workbench.version> <pamirs.data.visualization.version>5.1.3</pamirs.data.visualization.version> <!– 设计器 –> <pamirs.designer.common.version>5.1.2</pamirs.designer.common.version> <pamirs.flow.designer.base.version>5.1.3</pamirs.flow.designer.base.version> <pamirs.workflow.designer.version>5.1.2</pamirs.workflow.designer.version> <pamirs.model.designer.version>5.1.4</pamirs.model.designer.version> <pamirs.ui.designer.version>5.1.9</pamirs.ui.designer.version> <pamirs.data.designer.version>5.1.2</pamirs.data.designer.version> <pamirs.dataflow.designer.version>5.1.1</pamirs.dataflow.designer.version> <pamirs.eip.designer.version>5.1.2</pamirs.eip.designer.version> 注意镜像名称变化 镜像说明 所有镜像均使用docker manifest支持amd64和arm64架构。如镜像拉取过慢，可在对应镜像Tag添加-amd64、-arm64后缀获取单一架构镜像。 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.13.1-amd64 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.13.1-arm64 镜像拉取 镜像或JAR版本：5.1.13.1 体验镜像：（所有中间件及前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.1:5.1.13.1 部署镜像：（包含前后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/oinone-designer-mini-v5.1:5.1.13.1 流程设计器镜像：（包含前后端服务，仅包含流程设计器） docker pull harbor.oinone.top/oinone/workflow-designer-v5.1:5.1.13.1 后端镜像：（仅包含后端服务，包含全部设计器） docker pull harbor.oinone.top/oinone/designer-backend-v5.1:5.1.13.1 前端镜像：（仅包含前端服务，包含全部设计器） PS：前端镜像版本为独立版本，与其他镜像版本不同。原基础镜像为nginx-1.21.0版本，从5.0.7版本开始使用nginx-1.24.0版为基础镜像 docker pull harbor.oinone.top/oinone/designer-frontend-v5.1:5.1.19 独立部署所有设计器JAR：（后端服务，包含所有设计器）pamirs-designer-boot-v5.1-5.1.13.1.jarpamirs-designer-boot-v5.1-latest.jar 独立部署流程设计器JAR：（后端服务，仅包含流程设计器）pamirs-workflow-designer-boot-v5.1-5.1.13.1.jarpamirs-workflow-designer-boot-v5.1-latest.jar 后端无代码设计器Jar包启动方法 如果您有任何问题、建议或反馈，请随时联系我们。为了获得最佳体验，请及时更新至最新版本。我们将继续努力改进产品，提供更好的服务。谢谢！

    张博昊's avatar 张博昊
    2024年9月18日
    1.3K00
  • 多语言-日期格式国际化 产品使用手册

    多语言-日期格式国际化

    1. 功能概述 多语言切换支持：支持用户填写多种日期、时间格式，并在切换语言后自动匹配对应格式。 自定义格式：用户可以自定义日期时间格式，使其不受语言切换影响。 地址格式：支持不同地区地址格式的自定义。 分位格式设置：支持用户选择数字分组规则，实现千分位或分位的展示效果。 2. 详细配置说明 2.1. 多语言切换 – 创建语言 步骤： 进入“创建语言”页面： 依次选择资源 – 语言 – 语言创建，进入语言创建界面。 填写基本信息： 编码：填写唯一的语言编码，必填。 语言名称：填写语言名称，必填。 语言ISO代码：填写语言的ISO代码，必填。 图标：选择国旗图标，非必填。 书写习惯：选择书写方向（从左向右或从右向左），必填。 一周开始日：选择一周的第一天，必填。 日历：选择日历类型（格里高利历、农历、阳历），必填。 时区：从下拉菜单中选择适合的时区，必填。 日期格式、时间格式：配置用户在不同语言下的6种日期、时间格式，必填。 小数分隔符、整数分隔符：分别设置小数和整数的分隔符，必填。 数字分组规则：默认为3，即千分位设置。 地址格式：设置区域的地址格式，必填。 激活状态：选择激活或无效状态，必填。 当前用户语言：可选择开启或关闭，默认为关。 2.2. 日期与时间格式 步骤： 日期格式：可设置为“年/月/日”、“年月日”等格式。 时间格式：可选择12小时制或24小时制，上午/下午显示等格式。 格式填写规则： 日期格式： 年月日格式需包含年、月、日三个元素。 年月格式仅包含年和月。 时间格式： 时分秒格式包含时、分、秒三个元素。 时分格式仅包含时和分。 注： 在此设置的日期格式应根据个性化爱好自定义日期或时间的显示格式，其中如年月日的格式需要一一对应，不能缺少或增加元素。此处配置的6种格式即对应中文设计器中的6种格式。时间格式同理。 3. 设计器操作指南 3.1. 日期与时间格式自定义 进入设计器： 在设计器中打开属性面板，选择日期或时间相关组件。 选择格式选项： 日期格式：从下拉菜单中选择日期格式，该选项来源于资源-语言-创建语言模块中的填写项。 时间格式：同样从下拉菜单中选择时间格式，选项来源于创建语言模块的填写项。 设置自定义格式： 若选择自定义格式，则在切换语言后该格式将保持不变。 通过手动输入的方式自定义日期或时间格式，无需受限于预设格式。 3.2. 数字分组格式（千分位/分位） 在设计器中配置数字分组： 显示分位：将“显示千分位”修改为“显示分位”，默认为3，即千分位。 配置逻辑： 若局部配置中关闭分位，则数字不进行分组。 若全局配置为2，则局部配置生效的分组规则即为2。 4. 常见问题解答 4.1. Q1. 切换语言后，为什么自定义的日期格式没有变化？ 自定义格式在语言切换后保持不变，以确保用户手动选择的格式优先级最高。 Q2. 日期格式填写不符合要求，提示无法保存？ 日期格式填写需按照要求，确保格式包含正确的元素（如年月日）。 Q3. 如何确保日期时间显示符合当地习惯？ 请在创建语言模块中填写6种日期和时间格式，确保切换语言后格式自动匹配。

    萧炎's avatar 萧炎
    2024年11月12日
    3.1K00

Leave a Reply

Please Login to Comment