深度分页问题优化方案

相关推荐

• 后端

  【PostgreSQL】后端部署使用PostgreSQL数据库

  PostgreSQL数据库配置 驱动配置 Maven配置（14.3版本可用） <postgresql.version>42.6.0</postgresql.version> <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>${postgresql.version}</version> </dependency> 离线驱动下载 postgresql-42.2.18.jarpostgresql-42.6.0.jarpostgresql-42.7.3.jar JDBC连接配置 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: org.postgresql.Driver url: jdbc:postgresql://127.0.0.1:5432/pamirs?currentSchema=base username: xxxxxx password: xxxxxx 连接url配置 暂无官方资料 url格式 jdbc:postgresql://${host}:${port}/${database}?currentSchema=${schema} 在jdbc连接配置时，${database}和${schema}必须完整配置，不可缺省。 其他连接参数如需配置，可自行查阅相关资料进行调优。 方言配置 pamirs方言配置 pamirs: dialect: ds: base: type: PostgreSQL version: 14 major-version: 14.3 pamirs: type: PostgreSQL version: 14 major-version: 14.3 数据库版本 type version majorVersion 14.x PostgreSQL 14 14.3 PS：由于方言开发环境为14.3版本，其他类似版本（14.x）原则上不会出现太大差异，如出现其他版本无法正常支持的，可在文档下方留言。 schedule方言配置 pamirs: event: enabled: true schedule: enabled: true dialect: type: PostgreSQL version: 14 major-version: 14.3 type version majorVersion PostgreSQL 14 14.3 PS：由于schedule的方言在多个版本中并无明显差异，目前仅提供一种方言配置。 其他配置 逻辑删除的值配置 pamirs: mapper: global: table-info: logic-delete-value: (EXTRACT(epoch FROM CURRENT_TIMESTAMP) * 1000000 + EXTRACT(MICROSECONDS FROM CURRENT_TIMESTAMP))::bigint PostgreSQL数据库用户初始化及授权 — init root user (user name can be modified by oneself) CREATE USER root WITH PASSWORD 'password'; — if using automatic database and schema creation, this is very important. ALTER USER root CREATEDB; SELECT * FROM pg_roles; — if using postgres database, this authorization is required. GRANT CREATE ON DATABASE postgres TO root;

  oinone

  2023年11月1日

  2.3K002
• 研发规范

  Oinone研发规范：元数据定义篇

  模型字段规范 配置注解 模型类必需使用@Model注解来标识当前类为模型类。可以使用@Model.model、@Fun注解模型的模型编码（也表示命名空间），先取@Model.model注解值，若为空则取@Fun注解值，若皆为空则取全限定类名。使用@Model.model注解配置模型编码，模型编码唯一标识一个模型。请勿使用Query和Mutation作为模型编码和技术名称的结尾。更多Model的详细元数据描述介绍参见模型元数据详解 模型命名规范 模型属性 默认取值规范 命名规则规范 name 默认取model.model的点分割最后一位 1. 使用大驼峰命名法 2. 仅支持数字、字母 3. 必须以字母开头 4. 长度必须小于等于128个字符 module 无默认值开发人员定义规范示例：{项目名称}_{模块功能示意名称} 1. 使用下划线命名法 2. 仅支持数字、大写或小写字母、下划线 3. 必须以字母开头4. 不能以下划线结尾 5. 长度必须小于等于128个字符 model 默认使用全类名，取lname的值开发人员定义规范示例：{项目名称}.{模功能示意名称}.{简单类名} 1. 仅支持数字、字母、点 2. 必须以字母开头 3. 不能以点结尾 4. 长度必须小于等于128个字符 displayName 空字符串 1. 长度必须小于等于128个字符 lname 符合java命名规范，真实的java全类名，无法指定，要符合model的约束，即为包名+类名 lname是不能定义的，为全类名：包名+类名，和model一样的校验规则：包名和类名的校验 summary 默认使用displayName属性 1. 不能使用分号 2. 长度必须小于等于128个字符 descripition NULL，注解无法定义 1. 长度必须小于等于65535个字符 table 默认使用name字段生成表名时，table字段的命名规则约束同样生效（大小驼峰命名转为下划线分割的表名称） 1. 仅支持数字、字母、下划线 2. 长度必须小于等于128个字符（此限制为系统存储约束，与数据库本身无关） type java属性类型与数据库存储类型可执行转换即可 ModelTypeEnum枚举值 字段命名规范 字段属性 默认取值规范 命名规则规范 name 默认使用java属性名 1. 仅支持数字、字母 2. 必须以小写字母开头 3. 长度必须小于等于128个字符 field 默认使用java属性名 与name使用相同命名规则约束 displayName 默认使用name属性 1. 长度必须小于等于128个字符 lname 使用java属性名，符合java命名规范，真实的属性名称，无法指定 与name使用相同命名规则约束 column 列名为属性名的小驼峰转下划线格式 1. 仅支持数字、字母、下划线 2. 长度必须小于等于128个字符（此限制为系统存储约束，与数据库本身无关） summary 默认使用displayName属性 1. 不能使用分号 2. 长度必须小于等于500个字符 模型继承规范 继承方式 继承方式可以分为五种： 抽象基类ABSTRACT，只保存不希望为每个子模型重复键入的信息的模型，抽象基类模型不生成数据表存储数据，只供其他模型继承模型可继承域使用，抽象基类可以继承抽象基类。 扩展继承EXTENDS，子模型与父模型的数据表相同，子模型继承父模型的字段与函数。存储模型之间的继承默认为扩展继承。 多表继承MULTI_TABLE，父模型不变，子模型获得父模型的可继承域生成新的模型；父子模型不同表，子模型会建立与父模型的一对一关联关系字段（而不是交叉表），使用主键关联，同时子模型会通过一对一关联关系引用父模型的所有字段。多表继承父模型需要使用@Model.MultiTable来标识，子模型需要使用@Model.MultiTableInherited来标识。 代理继承PROXY，为原始模型创建代理，可以增删改查代理模型的实体数据，就像使用原始（非代理）模型一样。不同之处在于代理继承并不关注更改字段，可以更改代理中的元信息、函数和动作，而无需更改原始内容。一个代理模型必须仅能继承一个非抽象模型类。一个代理模型可以继承任意数量的没有定义任何模型字段的抽象模型类。一个代理模型也可以继承任意数量继承相同父类的代理模型。 临时继承TRANSIENT，将父模型作为传输模型使用，并可以添加传输字段。 继承约束 通用约束 对于扩展继承，查询的时候，父模型只能查询到父模型字段的数据，子模型可以查询出父模型及子模型的字段数据（因为派生关系所以子模型复刻了一份父模型的字段到子模型中）。系统不会为抽象基类创建实际的数据库表，它们也没有默认的数据管理器，不能被实例化也无法直接保存，它们就是用来被继承的。抽象基类完全就是用来保存子模型们共有的内容部分，达到重用的目的。当它们被继承时，它们的字段会全部复制到子模型中。系统不支持非jar包依赖模型的继承。多表继承具有阻断效应，子模型无法继承多表继承父模型的存储父模型的字段，需要使用@Model.Advanced注解的inherited属性显示声明继承父模型的父模型。但是可以继承多表继承父模型的抽象父模型的字段。可以使用@Model.Advanced的unInheritedFields和unInheritedFunctions属性设置不从父类继承的字段和函数。 跨模块继承约束 如果模型间的继承是跨模块继承，应该与模型所属模块建立依赖关系；如果模块间有互斥关系，则不允许建立模块依赖关系，同理模型间也不允许存在继承关系。跨模块代理继承，对代理模型的非inJvm函数调用将使用远程调用方式；跨模块扩展（同表）继承将使用本地调用方式，如果是数据管理器函数，将直连数据源。 模型类型与继承约束 抽象模型可继承：抽象模型（Abstract） 临时模型可继承：抽象模型（Abstract）、传输模型（Transient） 存储模型可继承：抽象模型（Abstract）、存储模型（Store）、存储模型（多表，Multi-table Store），不可继承多个Store或Multi-table Store 多表存储模型（父）可继承：同扩展继承 多表存储模型（子）在继承单个Multi-table Store后可继承：抽象模型（Abstract）、存储模型（Store），不可继承多个Store 代理模型可继承： 抽象模型（Abstract），须搭配继承Store、Multi-table Store或Proxy 存储模型（Store），不可继承多个Store或Multi-table Store 存储模型（多表，Multi-table Store），不可继承多个Store或Multi-table Store 代理模型（Proxy），可继承多个Proxy，但多个父Proxy须继承自同一个Store或Multi-table Store，且不能再继承其他Store或Multi-table Store 同名字段以模型自身字段为有效配置，若模型自身不存在该字段，继承字段以第一个加载的字段为有效配置，所以在多重继承的情况下，未避免继承同名父模型字段的不确定性，在自身模型配置同名字段来确定生效配置。 相关链接：模型的继承 字段序列化方式 字段序列化注意点 必须使用Field#store属性将字段存储设置为NullableBoolEnum.TRUE。 使用Field#serialize属性指定序列化方式，默认为JSON。 如把PetItemDetail设置为存储模型，须在PetItem的petItemDetails字段上使用Field.Relation#store属性将关联关系存储设置为false。不然会同时存储petItemDetails字段和对应的PetItemDetail表记录 字段序列化方式说明 序列化方式 说明 备注 JSON JSON序列化 主要用于模型相关类型字段的序列化，是@Field.serialize默认选项 DOT 点拼接集合元素 COMM 逗号拼接集合元素 BIT 按位与，2次幂数求和 非@Field.serialize可选项列表，用于二进制枚举序列化不需要配置，由oinone自动推断 函数命名规范 模型属性 默认取值规范 命名规则规范 namespace 先取@Model.model注解值，先在本类查找注解，如果本类未配置或注解值为空则在父类或接口上查找；若为空则取@Fun注解值，先在本类查找注解，如果本类未配置或注解值为空则在父类或接口上查找；若皆为空则取全限定类名 长度必须小于等于128个字符 name 默认使用java方法名 仅支持数字、字母；必须以字母开头；长度必须小于等于128个字符；不能以get、set为开头作为函数名称 fun 默认使用name属性 长度必须小于等于128个字符 summary 默认使用displayName属性 不能使用分号；长度必须小于等于500个字符 descripition NULL，注解无法定义 长度必须小于等于65535个字符 openLevel 函数的开放等级默认值：{FunctionOpenEnum.LOCAL, FunctionOpenEnum.REMOTE} FunctionOpenEnum枚举值；LOCAL(2L, "本地调用", "本地调用"), REMOTE(4L, "远程调用", "远程调用"),…

  shao

  2024年2月20日

  1.9K001
• 代码实践

  查询时自定义排序字段和排序规则

  指定字段排序 平台默认排序字段，参考IdModel，按创建时间和ID倒序(ordering = "createDate DESC, id DESC") 方法1：模型指定排序 模型定义增加排序字段。@Model.Advanced(ordering = "xxxxx DESC, yyyy DESC") @Model.model(PetShop.MODEL_MODEL) @Model(displayName = "宠物店铺",summary="宠物店铺",labelFields ={"shopName"}) @Model.Code(sequence = "DATE_ORDERLY_SEQ",prefix = "P",size=6,step=1,initial = 10000,format = "yyyyMMdd") @Model.Advanced(ordering = "createDate DESC") public class PetShop extends AbstractDemoIdModel { public static final String MODEL_MODEL="demo.PetShop"; // ………… } 方法2：Page查询中可以自定排序规则 API参考 pro.shushi.pamirs.meta.api.dto.condition.Pagination#orderBy public <G, R> Pagination<T> orderBy(SortDirectionEnum direction, Getter<G, R> getter) { if (null == getSort()) { setSort(new Sort()); } getSort().addOrder(direction, getter); return this; } 具体示例 @Function.Advanced(type= FunctionTypeEnum.QUERY) @Function.fun(FunctionConstants.queryPage) @Function(openLevel = {FunctionOpenEnum.API}) public Pagination<PetShop> queryPage(Pagination<PetShop> page, IWrapper<PetShop> queryWrapper){ page.orderBy(SortDirectionEnum.DESC, PetShop::getCreateDate); page = new PetShop().queryPage(page, queryWrapper); return page; } 方法3：查询的wapper中指定 API参考：pro.shushi.pamirs.framework.connectors.data.sql.AbstractWrapper#orderBy @Override public Children orderBy(boolean condition, boolean isAsc, R… columns) { if (ArrayUtils.isEmpty(columns)) { return typedThis; } SqlKeyword mode = isAsc ? ASC : DESC; for (R column : columns) { doIt(condition, ORDER_BY, columnToString(column), mode); } return typedThis; } 具体示例 public List<PetShop> queryList(String name) { List<PetShop> petShops = Models.origin().queryListByWrapper( Pops.<PetShop>lambdaQuery().from(PetShop.MODEL_MODEL) .orderBy(true, true, PetShop::getCreateDate) .orderBy(true, true, PetShop::getId) .like(PetShop::getShopName, name)); return petShops; } 设置查询不排序 方法1：关闭平台默认排序字段，设置模型的ordering，改成：ordering = "1=1" 模型定义增加排序字段。@Model.Advanced(ordering = "1=1") @Model.model(PetShop.MODEL_MODEL) @Model(displayName = "宠物店铺",summary="宠物店铺",labelFields ={"shopName"}) @Model.Code(sequence = "DATE_ORDERLY_SEQ",prefix = "P",size=6,step=1,initial = 10000,format = "yyyyMMdd") @Model.Advanced(ordering =…

  望闲

  2024年5月25日

  3.1K000
• 5.x

  5.x前端升级事项

  1.开放源码注意事项 前端从2024年7月23日发布的5.0.57版本开始，将前端组件相关的源码放到了npm包供大家方便调试和理解，该版本需要在原有启动工程的src目录下新增翻译相关的全局vue插件 插件下载地址 2.搜索区域的数据字典字段支持标签栏写法优化 下图为数据字段标签栏功能示意图 5.x之前是在SearchWidget.ts内通过属性和方法实现，5.x开始剥离出了SearchTabWidget组件来实现 以下为原本在SearchWidget.ts内的方法，现已不再提供 export class SearchWidget extends BaseSearchWidget { @Widget.Reactive() protected get cateFields(): string[]; @Widget.Reactive() protected get topCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showTopCateAll(); @Widget.Reactive() protected get topCateFieldOptions(); @Widget.Reactive() protected get secondCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showSecondCateAll(); @Widget.Reactive() protected get secondCateFieldOptions(); } 迁移到了SearchTabWidget.ts @SPI.ClassFactory( BaseElementWidget.Token({ viewType: ViewType.Search, widget: 'SearchTab' }) ) export class SearchTabWidget extends BaseElementWidget { @Widget.Reactive() protected get cateFields(): string[]; @Widget.Reactive() protected get topCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showTopCateAll(); @Widget.Reactive() protected get topCateFieldOptions(); @Widget.Reactive() protected get secondCateModelField(): RuntimeModelField | undefined; @Widget.Reactive() protected get showSecondCateAll(); @Widget.Reactive() protected get secondCateFieldOptions(); } 3.视图动作执行的executeViewAction方法的第一个入参需要提供path参数来控制权限 export class DemoTableStringWidget extends TableStringFieldWidget { // ❌ 错误的写法，完全手写，无法拿到该动作在当前页面的权限路径参数（path) private oldGotoAction() { executeViewAction( { viewType: ViewType.Table, moduleName: 'resource', model: 'resource.ResourceCity', name: 'resource#市', // 注释掉的下面这行的path属性可能是动态的，所以无法在此处写死 // path: 'xxxx' } as RuntimeViewAction ); } // ✅ 正确的写法，将动作配置到当前页面中(不想展示可以隐藏)， // 这样才能在解析页面的时候拿到下面有哪些动作，才可以在权限处管理该页面下的所有动作， // 页面进入后会从后端拿到该页面的所有动作极其权限信息，前端的自定义代码就根据动作名称拿到带了权限信息的“动作Action”实例 private newGotoAction() { const viewAction = this.model.modelActions.find((a) => a.name === 'resource#市'); executeViewAction(viewAction); } }

  nation

  2024年7月23日

  2.9K000
• 后端

  Excel导入扩展点-整体导入（批量导入）

  1、【导入】在有些场景，需要获取Excel导入的整体数据，进行批量的操作或者校验 可以通过实现导入扩展点的方式实现，入参data是导入Excel的数据列表；业务可以根据实际情况进行数据校验 1）Excel模板定义，需要设置setEachImport(false) 2）导入扩展点API定义 pro.shushi.pamirs.file.api.extpoint.ExcelImportDataExtPoint#importData 3）示例代码参考： pro.shushi.pamirs.translate.extpoint.ResourceTranslationImportExtPoint#importData @Slf4j @Component @Ext(ExcelImportTask.class) public class ResourceTranslationImportExtPoint extends AbstractExcelImportDataExtPointImpl<List<ResourceTranslationItem>> { @Override //TODO 表达式，可以自定义，比如可以支持1个模型的多个【导入名称】的不同模板 @ExtPoint.Implement(expression = "importContext.definitionContext.model==\"" + ResourceTranslation.MODEL_MODEL + "\"") public Boolean importData(ExcelImportContext importContext, List<ResourceTranslationItem> dataList) { //TODO dataList就是excel导入那个sheet的所有内容 return true; } } 2、【导入】逐行导入的时候做事务控制 在模板中定义中增加事务的定义，并设置异常后回滚。参加示例代码： excel模板定义 @Component public class DemoItemImportTemplate implements ExcelTemplateInit { public static final String TEMPLATE_NAME = "商品导入模板"; @Override public List<ExcelWorkbookDefinition> generator() { //定义事务(导入处理中，只操作单个表的不需要事务定义。) //是否定义事务根据实际业务逻辑确定。比如：有些场景在导入前需要删除数据后在进行导入就需要定义事务 InitializationUtil.addTxConfig(DemoItem.MODEL_MODEL, ExcelDefinitionContext.EXCEL_TX_CONFIG_PREFIX + TEMPLATE_NAME); return Collections.singletonList( ExcelHelper.fixedHeader(DemoItem.MODEL_MODEL, TEMPLATE_NAME) .setType(ExcelTemplateTypeEnum.IMPORT) .createSheet("商品导入-sheet1") .createBlock(DemoItem.MODEL_MODEL) .addUnique(DemoItem.MODEL_MODEL,"name") .addColumn("name","名称") .addColumn("description","描述") .addColumn("itemPrice","单价") .addColumn("inventoryQuantity","库存") .build().setEachImport(true) //TODO 设置异常后回滚的标识，这个地方会回滚事务 .setHasErrorRollback(true) .setExcelImportMode(ExcelImportModeEnum.SINGLE_MODEL) ); } } 导入逻辑处理 @Slf4j @Component @Ext(ExcelImportTask.class) public class DemoItemImportExtPoint extends AbstractExcelImportDataExtPointImpl<DemoItem> implements ExcelImportDataExtPoint<DemoItem> { @Autowired private DemoItemService demoItemService; @Override @ExtPoint.Implement(expression = "importContext.definitionContext.model == \"" + DemoItem.MODEL_MODEL + "\"") public Boolean importData(ExcelImportContext importContext, DemoItem data) { ExcelImportTask importTask = importContext.getImportTask(); try { DemoItemImportTask hrExcelImportTask = new DemoItemImportTask().queryById(importTask.getId()); String publishUserName = Optional.ofNullable(hrExcelImportTask).map(DemoItemImportTask::getPublishUserName).orElse(null); data.setPublishUserName(publishUserName); demoItemService.create(data); } catch(PamirsException e) { log.error("导入异常", e); } catch (Exception e) { log.error("导入异常", e); } return Boolean.TRUE; } }

  望闲

  2023年12月7日

  2.2K000