1. Oinone社区Home

深度分页问题优化方案

• • Uncategorized • 1214 views

问题原因

Mysql使用select * from table limit offset, rows分页在深度分页的情况下, 性能急剧下降。

例如：select * 的情况下直接⽤limit 600000，10 扫描的是约60万条数据，并且是需要回表 60W次，也就是说⼤部分性能都耗在随机访问上，到头来只⽤到10条数据(总共取600010条数据只留10条记录)

优化方案

前端方案：业务层面限制跨度比较大的跳页

提供2种风格分页器供用户选择

  1. 标准分页器，展示最后一页和跳转指定页输入框
    image.png
  2. 简单分页器
    image.png

参考
百度方案: 不展示最后一页和直接跳转指定分页的输入框
image.png
Google方案：只展示查看下一页的按钮
image.png

界面设计器选表格/画廊的属性面板提供分页器风格的属性下拉选择

image.png

xml示例

<!-- 表格使用的标准分页器 -->
<view type="TABLE" paginationStyle="SIMPLE">
 <!-- fields -->
</view>

<!-- 画廊使用默认的标准分页器 -->
<view type="GALLERY" paginationStyle="STANDARD">
 <!-- fields -->
</view>

后端方案

  1. 使用索引：确保数据库表中的相关字段上创建了适当的索引。索引可以加快查询速度，特别是在处理大数据量时。

  2. 分批查询：将大数据分成多个较小的批次进行查询，而不是一次性查询全部数据。可以通过限制每次查询的数据量和使用合适的偏移量来实现分批查询，例如使用LIMIT和OFFSET子句。

  3. 基于游标的分页：使用基于游标的分页技术，而不是传统的偏移分页。游标分页是通过记录上一次查询的游标位置，在下一次查询时从该位置开始获取新的数据，避免了大偏移量的影响。这可以通过数据库自身的功能（例如MySQL的CURSOR）或使用第三方库来实现。

  4. 缓存数据：如果数据变化较少，可以考虑将查询结果缓存到内存中，以避免频繁地查询数据库。这样可以提高页面相应速度，并减轻数据库负担。缓存的数据应该根据业务需要及时更新。

  5. 数据预处理：如果查询结果经常需要进行复杂的计算或处理，可以考虑提前对数据进行预处理并缓存结果，以减少每次查询的计算负担。

  6. 数据库优化：针对具体数据库系统，可以根据实际情况进行数据库调优。例如，合理设置数据库连接池大小、调整数据库参数等。

  7. 分布式存储和计算：对于非关系型数据库或分布式存储系统，可以考虑使用分布式存储和计算方案，将数据分散存储在多个节点上，并通过计算节点并行处理查询请求，以提高性能和可伸缩性。

参考链接

MySQL深分页场景下的性能优化

Oinone社区 作者：原创文章，如若转载，请注明出处：https://doc.oinone.top/other/75.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

Like (0)
's avatar
0 0
Previous 2023年6月20日 pm4:07
Next 2023年11月2日 pm1:58

相关推荐

  • 工作流：通过业务数据操作工作流程（催办、撤销等） 代码实践

    工作流：通过业务数据操作工作流程（催办、撤销等）

    一、抽象模型，需要操作流程的模型继承此模型 定义流程相关的一些信息在模型中；如果直接定义在存储模型中，下面这些字段都是显示的指定为非存储字段。更好的建议：1、如果有多个业务模型有这类需要，则可以把这些字段抽取到抽象模型中2、如果仅有一个业务模型需要，则可以放到代理模型中 /** * 定义流程相关的一些信息在模型中 */ @Model.model(DemoBaseAbstractModel.MODEL_MODEL) @Model(displayName = "抽象模型") @Model.Advanced(type= ModelTypeEnum.ABSTRACT) public abstract class DemoBaseAbstractModel extends IdModel { public static final String MODEL_MODEL = "hr.simple.DemoBaseAbstractModel"; // 流程相关 @Field.Integer @Field(displayName = "工作流用户任务ID", summary = "业务数据列表中审核流程使用", invisible = true, store = NullableBoolEnum.FALSE) private Long workflowUserTaskId; @Field.Integer @Field(displayName = "流程实例ID", summary = "业务数据列表中催办使用", invisible = true, store = NullableBoolEnum.FALSE) private Long instanceId; @Field.String @UxForm.FieldWidget(@UxWidget(invisible = "true")) @UxDetail.FieldWidget(@UxWidget(invisible = "true")) @Field(displayName = "当前流程节点", store = NullableBoolEnum.FALSE) private String currentFlowNode; @Field.Boolean @Field(displayName = "能否催办", invisible = true, defaultValue = "false", store = NullableBoolEnum.FALSE) private Boolean canUrge; // 审批状态控制申请单是否可以被发起流程、能否编辑等控制 @Field.Enum @Field(displayName = "审批状态", defaultValue = "NC") @UxForm.FieldWidget(@UxWidget(invisible = "true")) private ApprovalStatusEnum approvalStatus; } @Dict(dictionary = ApprovalStatusEnum.dictionary, displayName = "审批状态") public enum ApprovalStatusEnum implements IEnum<String> { NC("NC", "待提交", "待提交"), PENDING("PENDING", "已提交", "已提交，待审批"), APPROVED("APPROVED", "已批准", "已批准"), REJECTED("REJECTED", "已拒绝", "已拒绝"); public static final String dictionary = "land.enums.LandApprovalStatusEnum"; private final String value; private final String displayName; private final String help; ApprovalStatusEnum(String value, String displayName, String help) { this.value = value; this.displayName = displayName; this.help = help; } public String getValue() { return value; } public String getDisplayName() { return…

    yexiu's avatar yexiu
    2025年6月26日
    85500
  • 设计器串联动作使用说明 流程设计器

    设计器串联动作使用说明

    工作流串联动作 界面所属模块需要保证依赖模块列表依赖了“工作流”。 低代码依赖模块 <dependency> <groupId>pro.shushi.pamirs.workflow</groupId> <artifactId>pamirs-workflow-api</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.workflow</groupId> <artifactId>pamirs-workflow-core</artifactId> </dependency> 低代码模块 dependencies 需要引用 WorkflowModule.MODULE_MODULE。 流程创建 流程串联动作仅支持模型触发。 说明：当流程满足触发条件后，该流程将自动执行，和是否开启代码手动触发无关。此外，为了适应特定的业务场景，流程串联动作可与触发机制相结合使用。若流程设计为仅需手动触发，则可通过在筛选条件中设置一个恒不成立的逻辑表达式来实现这一需求。 界面设计器配置 在界面设计器的组件库 → 动作中找到“工作流”；仅能选择流程触发模型和当前主视图所属模型相同的流程；按钮点击后，流程触发。 说明 工作流及数据流程动作的触发需确保相关数据的存在，因此在运行时的创建页中，按钮将以禁用状态显示，防止在数据缺失时触发流程。 数据流程串联动作 界面所属模块需要保证依赖模块列表依赖了“工作流”和“集成接口”。 低代码依赖模块 <dependency> <groupId>pro.shushi.pamirs.workflow</groupId> <artifactId>pamirs-workflow-api</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.workflow</groupId> <artifactId>pamirs-workflow-core</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-api</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-core</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-view</artifactId> </dependency> 低代码模块 dependencies 需要引用 WorkflowModule.MODULE_MODULE和EipModule.MODULE_MODULE。 界面设计器配置 数据流程触发的配置和使用方式同工作流串联动作。 集成连接器串联动作 准备工作 界面所属模块需要保证依赖模块列表依赖了“集成接口”。 低代码依赖模块 <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-api</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-core</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-eip2-view</artifactId> </dependency> 低代码模块 dependencies 需要引用 EipModule.MODULE_MODULE 集成设计器接口配置 首先在集成设计器新增API 已配置Api“根据id查询用户”： 请求地址：/user/queryById/{id} 请求参数： 参数名 参数位置 必填 参数类型 是否数组 字段长度 默认值 参数备注 id Path 是 Integer 用户id[1~43有值] 响应参数： 参数名 参数类型 参数来源 是否数组 取值表达式 参数备注 id String Body 否 data.id 主键 name String Body 否 data.name 姓名 age String Body 否 data.age 年龄 country String Body 否 data.country 国家 gender String Body 否 data.gender 性别 界面设计器 在界面设计器的组件库 → 动作中找到“集成连接器”。 动作按钮创建完成后，在属性中找到连接器配置，选择Api资源。 请求参数配置 选择API资源后，若该API需配置请求与响应参数，则相应的参数配置项将会呈现。如上图所示，因所选API含有Path类型的参数，故可进行Path参数的映射配置。此API并无Body或Query类型的参数，因此这些配置项将不会显示。 Path参数的具体配置如下：左侧列出了集成设计器为API创建的参数名称，而右侧对应的是当前模型中的字段，将赋值表达式设定为ID。该配置的含义是：在用户点击按钮之后，系统将调用配置的Api资源，并以当前视图中的ID参数值来映射Path参数，发起请求。 响应参数配置 同样地，左侧的参数名称是由集成设计器配置的响应参数，而右侧则为当前模型中的字段。当请求成功发送并接收响应后，这些响应参数将会按照配置的规则被填充到表单或详情页面中。 发送请求前，若字段已填充数据，但在响应中未获取相应数据，则该字段将被置为空；比如在发送请求前，性别字段已有数据，而请求发送后，若接口返回的数据中未包含性别信息，则性别参数将会被置为空。 多对一字段将依据接口返回的数据从数据库中进行查询（queryOne）。若未查询到相关信息，则仅回填那些在响应中有值的字段。 运行时页面 响应参数一对多/多对多配置 集成设计器的API配置如下所示：条件查询用户 请求地址：/user/query 请求参数： 参数名 参数位置 必填 参数类型 是否数组 字段长度 默认值 参数备注 country Body 否 String 否 国家 name Body 否 String 否 用户姓名 响应参数： 参数名 参数类型 参数来源 是否数组 取值表达式 参数备注 data OBJECT Body 是 data 用户列表 »name String…

    夜神月's avatar 夜神月
    2024年9月20日
    1.9K00
  • 外部系统接入SSO-OAuth2（6.3.x 之后版本支持） 未分类

    外部系统接入SSO-OAuth2（6.3.x 之后版本支持）

    一、概述 统一身份认证系统提供了单点登录功能。本文档详述了统一身份认证系统单点登录接口，介绍了应用系统对接统一身份认证系统的过程和方法，用以帮助开发人员将应用系统接入统一身份认证系统。 本文档支持的协议：OAuth2 二、统一认证集成规范 2.1 SSO登录场景 序号 场景 预期结果 确认 1 登录跳转，在未登录的条件下，直接访问业务系统 跳转到单点登录界面 是 2 登录跳转，在已登录的条件下，直接访问业务系统 直接进入业务系统 是 3 正常登录，先登录认证，然后访问业务系统 直接进入业务系统 是 4 正常登出，在单点登录系统登出 访问业务系统要重新登录 是 5 正常登出，在业务系统登出 单点登录系统同步登出 是 2.2 认证流程 OAuth2 登录和认证流程 后端验证 token 后，创建本地会话（如 JSESSIONID 或自定义 Cookie）； 后续应用请求靠本地会话维持登录状态，不再依赖原始 token； 本地会话有过期时间（如 30 分钟无操作过期）； 三、认证服务接口 3.1 SSO服务端认证 浏览器登录 分类 说明 请求地址（开发环境） http://${host}:${port}/pamirs/sso/auth?client_id={client_id}&redirect_uri={redirect_uri}&state={state} 请求地址（测试环境） http://${host}:${port}/pamirs/sso/auth?client_id={client_id}&redirect_uri={redirect_uri}&state={state} 请求方式 GET 请求参数 redirect_uri：应用系统回调地址client_id：SSO 服务端颁发的应用 IDstate：可选但推荐，用于防止 CSRF 的随机字符串（UUID 随机码） 请求示例 http://${host}:${port}/pamirs/sso/auth?client_id=client123456&redirect_rui=http://app.example.com&state=abc123 响应说明 1. 已登录：重定向到 redirect 地址并携带授权码 code，如 http://app.example.com&state=abc123&code=xxx2. 未登录：重定向到服务器 SSO 登录地址 备注 SSO 登录成功后，会携带授权码并重定向到 redirect 地址 3.2 验证授权码 分类 说明 请求地址（开发环境） http://${host}:${port}/pamirs/sso/oauth2/authorize 请求地址（测试环境） http://${host}:${port}/pamirs/sso/oauth2/authorize 请求方式 POST 请求 Body {"grant_type":"authorization_code","client_id":"xxxx","client_secret":"xxxxx","code":"xxxx"} 请求示例 http://${host}:${port}/pamirs/sso/oauth2/authorize 响应说明 {"code":"0","msg":"成功","data":{"access_token":"xxxxx","expires_in":7200,"refresh_token":"xxxxxx","refresh_token_expiresIn":604800}} 备注 — 3.2 根据token获取用户信息 分类 说明 请求地址（开发环境） http://${host}:${port}/pamirs/sso/oauth2/getUserInfo 请求地址（测试环境） http://${host}:${port}/pamirs/sso/oauth2/getUserInfo 请求方式 POST 请求头 Authorization: Bearer xxxxxxxx 请求 Body {"client_id":"xxxx"} 请求示例 http://${host}:${port}/pamirs/sso/oauth2/getUserInfo 响应 {"code":"0","msg":"成功","data":{"name":"xxxxx","email":"xxxxx","login":"xxxxxx","id":"xxxxxxx"}} 备注 成功返回用户信息；失败返回错误码：1 根据实际情况其他协议的验证接口 3.3 单点登出接口 分类 说明 请求地址（开发环境） http://${host}:${port}/pamirs/sso/oauth2/logout 请求地址（测试环境） http://${host}:${port}/pamirs/sso/oauth2/logout 请求方式 POST 请求头 Authorization: Bearer xxxxxxxx 请求 Body {"client_id":"xxxx"} 请求示例 http://${host}:${port}/pamirs/sso/oauth2/logout 响应头 HTTP/1.1 200；Content-Type: application/html;charset=UTF-8 响应体 登出成功页面 备注 应用系统向 SSO 系统发起登出请求，SSO 收到后会通知所有其它系统登出该用户 四、服务注册 添加以下依赖 <!– sso相关 –> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-sso-api</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-sso-common</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.core</groupId> <artifactId>pamirs-sso-server</artifactId> </dependency> 配置文件 pamirs sso: enabled: true server: loginUrl: http://127.0.0.1:8091/login authType:…

    yexiu's avatar yexiu
    2026年1月7日
    58100

  • 致Oinone读者

    欢迎来到Oinone生态，我们为您提供了一站式低代码商业支撑平台，数式科技已经用其服务了如中烟、得力、上海电气、中航金网、雾芯科技等多个知名企业，我们的技术实力在商业场景得到了很好的验证。我们希望通过开源Oinone项目，为中国软件行业带来变革，提升整体工程化水平，与广大软件工程师一起为客户创造价值！《Oinone 7天从入门到精通》一书是Oinone开源项目的配套书籍，系统化地介绍了如何基于Oinone开源项目，快速开发高质量的软件系统。此外，如果您开发的项目是用于商业化而非企业自用，我们还为您提供了一种可选的商业化变现途径：申请成为Oinone的合作伙伴，并提交相关产品，详情请访问 www.oinone.top 网站。 书籍纲领 本书的章节安排如下： 第一章至第二章：【揭开面纱，理解Oinone】和【Oinone的技术独特性】。这两个章节可以帮助您更好地理解我们设计Oinone的初衷以及特性的由来。 第三章：面向研发人员的【Oinone的基础入门】。如果您是专业的研发人员，本章可以帮助您快速上手并做出业务系统。只要按着里面的case一步步操作下来就可以。 第四章至第六章：面向研发人员的【Oinone的高级特性】、【Oinone的CDM】、【Oinone的通用能力】。这三篇章节重点介绍了Oinone的高级技术特性、提供的通用数据模型和通用基础能力。它们能够帮助我们更快地进行业务开发，从容应对业务的特殊场景要求，比较适合进阶的研发人员。 第七章：面向非研发人员的【Oinone的设计器们】和【Oinone的低无一体】。如果您并不是专业的研发人员，本章可以帮助您通过使用Oinone的无代码可视化设计器轻松自主解决业务需求，并且当可视化设计器满足不了的时候，您还可以在【Oinone的低无一体】中找到方式，并寻求研发帮助

    史, 昂's avatar 史, 昂
    Oinone 7天入门到精通 2024年5月23日
    1.9K00
  • 1.1 Oinone的萌芽 Oinone 7天入门到精通

    1.1 Oinone的萌芽

    在信息化时代，中国并没有涌现出一家世界知名的软件公司。这是因为像SAP、Oracle、IBM、Salesforce、NetSuite、Odoo等西方巨头所拥有的最佳实践在业务、技术和模式方面，给予了它们在企业信息化建设中高额利润的优势。中国软件业在这个时代的角色是学习和追随者，而最优秀的追随者是金蝶和用友，它们能在国家推行会计电算化的机遇中占据领先地位。但是，追随者始终只是追随者，没有真正的突破。 我自己进入软件行业的经历可以追溯到2015年。当时资本市场非常热门，大家都在创业。我认为这是一个时代的机会，就像国家改革开放一样。于是，我和很多同事一起开始了创业之旅。在数式之前，我加入并创办了三家公司：500mi、数列和端点。整个过程给了我宝贵的经验和启示，帮助我找到了最终想要的方向。 在500mi公司时，我从技术岗位转型为业务经营，起步并不顺利。然而，我从这份经历中获得了一堂重要的课：做自己擅长的事情，有助于渡过创业启动期最艰难的阶段。同时，市场调研为我提供了一个信号：传统企业对于IT的需求正逐渐向互联网靠拢。这个信号像注入了一剂强心剂，激励我继续前行。 2016年，我和三个曾在阿里工作的同事一起创办了一家新公司——数列，我们决定专注于我们最擅长的领域，即软件服务商。在没有任何商务资源的情况下，我们第一年就完成了1000多万的合同，这相较之前是一个非常成功的开端。然而，对于公司未来的发展方向，我们花费了长达大半年的时间进行思考：应该坚持做底层的PaaS还是专注于企业可见的上层应用和业务产品？我倾向于后者。尽管我们持续存在分歧，但凭借着多年的革命友情，最终我们友好地分道扬镳。数列此前的成功让我更加坚信：在数字化时代，软件需求将会有井喷式的增长，数字化软件服务将是未来5-10年的重要方向。而在这个领域，专业的技能将是应对未来不确定性的真正力量。 提到数字化，就不得不提阿里巴巴提出的中台理念。中台理念在15年前被阿里巴巴提出，当时引起了广泛的关注和讨论。企业之所以认同中台理念，是因为他们的核心需求已经从内部转向外部：从关注管理、流程、效率的提升，转向关注外部协同、运营、创新。他们已经不再只担心企业的效率和成本，而是担心自己是否有能力跟上时代的快速变化。现今做生意的渠道已经不再是单一的线下渠道，而是包括淘宝、天猫、京东、拼多多、抖音、快手等多个线上渠道，以及海外市场，这种变化速度非常快。而中台的核心理念是敏捷响应、低成本快速创新，正好解决了企业主的核心焦虑。 企业的视角正在从内部管理向业务在线和生态在线（协同）转变，这种转变带来了一系列新的需求（如下图1-1所示）。这种转变不仅是为了支持现有业务的发展，也为企业未来的业务发展和创新提供了支持，并将变化实时反映到上下游合作伙伴中。 图1-1 企业视角转变带来一系列新的诉求 在2017年下半年，阿里云收购了端点科技，打算重启阿里软件。那个时候，市场上涌现出一批中台厂商，整个行业也比较混乱，很多人对互联网架构本身的理解不够深入，快速学习拿到阿里云认证后就开始做定制化的中台架构开发，但最终的效果无法达到预期。因此，阿里云和端点科技的联姻是为了弥补阿里云没有向外输出上层应用产品能力的缺陷。多年来，软件市场一直被国外厂商掌控，中国一直缺乏一个强大的本土软件公司。阿里收购端点，承载着无数中国人的软件梦想。在这种背景下，我回到了阿里体系，加入了端点科技。后来，我参与了许多中台项目，深刻地认识到搭建中台技术架构和一些基础能力，为上层应用场景落地并不难。但是，当客户接手扩展中台能力和新的上层应用场景时，效果往往不尽如人意，这并不是中台架构理念的问题，而是因为传统企业客户的IT能力大多较弱，这是一个硬伤。许多文章都在讲述中台战略，长篇大论地描述组织中台、技术中台、业务中台、数据中台，我们不去评论这些方法论的对错，从技术角度回到初衷，我们只关注一个问题：技术是为商业服务的，中台如何快速满足企业业务多变的需求？ 我们经历了多个行业的中台建设，每次都向客户强调第一阶段是打好基础，因此需要较长的周期，并且每个项目都需要顶级架构师来把控整体项目。如何找到互联网架构与传统软件良好结合点，降低对组织的要求，实现中台架构的标准化输出？这是我回归阿里后致力于解决的问题。然而，随着阿里云对端点战略发展思路的变化，阿里不再提供SaaS服务，而只愿意做平台被其他企业集成。因此，我离开了端点，并决定把自己的技术思考转化为现实，于是数式科技诞生了。 在数字化时代，无论是业务、技术还是商业模式的最佳实践，都源自中国。中国已经从追随者转变为互联网领域的全面引领者。我们有理由相信，中国一定会崛起一家世界级的软件公司，而Oinone将始终以此为愿景。

    史, 昂's avatar 史, 昂
    2024年5月23日
    1.9K00

Leave a Reply

Please Login to Comment