DsHint(指定数据源)和BatchSizeHint(指定批次数量)

望闲 • 2024年5月18日 pm4:45 • 后端, 开发实践 • 阅读 1771

概述和使用场景

DsHintApi ，强制指定数据源，
BatchSizeHintApi ，强制指定查询批量数量

API定义

DsHintApi

    public static DsHintApi model(String model/**模型编码*/) {
     // 具体实现
    }

    public DsHintApi(Object dsKey/***数据源名称*/) {
         // 具体实现
    }

BatchSizeHintApi

   public static BatchSizeHintApi use(Integer batchSize) {
     // 具体实现
    }

使用示例

1、【注意】代码中使用 try-with-resources语法; 否则可能会出现数据源错乱

2、DsHintApi使用示例
包裹在try里面的所有查询都会强制使用指定的数据源

// 使用方式1：
try (DsHintApi dsHintApi = DsHintApi.model(PetItem.MODEL_MODEL)) {
   List<PetItem> items = demoItemDAO.customSqlDemoItem();
   PetShopProxy data2 = data.queryById();
   data2.fieldQuery(PetShopProxy::getPetTalents);
}

// 使用方式2：
try (DsHintApi dsHintApi = DsHintApi.use("数据源名称")) {
    List<PetItem> items = demoItemDAO.customSqlDemoItem();
    PetShopProxy data2 = data.queryById();
    data2.fieldQuery(PetShopProxy::getPetTalents);
}

3、BatchSizeHintApi使用示例
包裹在try里面的所有查询都会按照指定的batchSize进行查询

// 查询指定每次查询500跳
try (BatchSizeHintApi batchSizeHintApi = BatchSizeHintApi.use(500)) {
   PetShopProxy data2 = data.queryById();
   data2.fieldQuery(PetShopProxy::getPetTalents);
}

//  查询指定不分页(batchSize=-1)查询。 请注意，你必须在明确不需要分页查询的情况下使用；如果数据量超大不分页可能会卡死。默认不指定分页数的情况下下平台会进行分页查询
 try (BatchSizeHintApi batchSizeHintApi = BatchSizeHintApi.use(-1)) {
       PetShopProxy data2 = data.queryById();
       data2.fieldQuery(PetShopProxy::getPetTalents);
 }

Oinone社区作者：望闲原创文章，如若转载，请注明出处：https://doc.oinone.top/backend/7376.html

访问Oinone官网:https://www.oinone.top获取数式Oinone低代码应用平台体验

望闲数式管理员

0 0

平台配置日志输出和推送到APM与LogStash

上一篇 2024年5月18日 pm4:07

4.7.8.9版本升级说明-20240520

下一篇 2024年5月20日 pm9:04

Oinone 源码分析

Oinone远程调用链路源码分析

前提源码分析版本是 5.1.x版本概要在服务启动时，获取注解REMOTE的函数，通过dubbo的泛化调用发布。在调用函数时，通过dubbo泛化调用获取结果。注册服务者在spring 启动方法installOrLoad中初始化寻找定义REMOTE的方法组装dubbo的服务配置组装服务对象实现引用，内容如下，用于注册调用前置处理放信息到SessionApi 函数调用链追踪，放到本地TransmittableThreadLocal 从redis中获取到的数据进行反序列化并存在到本地的线程里 Trace信息，放一份在sessionApi中和ThreadLocal 调用函数执行返回数据转成特定格式通过线程组调用dubbo的ServiceConfig.export 服务发布时序图源码分析根据条件判断，确定向dubbo进行服务发布RemoteServiceLoader public void publishService(List<FunctionDefinition> functionList,Map<String,Runnable> isPublished) { // 因为泛化接口只能控制到namespace，控制粒度不能到fun级别，这里进行去重处理 Map<String, Function> genericNamespaceMap = new HashMap<>(); for (FunctionDefinition functionDefinition : functionList) { Function function = new Function(functionDefinition) try { //定义REMOTE, 才给予远程调用 if (FunctionOpenEnum.REMOTE.in(function.getOpen()) && !ClassUtils.isInterface(function.getClazz())) { genericNamespaceMap.putIfAbsent(RegistryUtils.getRegistryInterface(function), function); } } catch (PamirsException e) { } } // 发布远程服务 for (String namespace : genericNamespaceMap.keySet()) { Function function = genericNamespaceMap.get(namespace); if(isPublished.get(RegistryUtils.getRegistryInterface(function)) == null){ // 发布，注册远程函数服务，底层使用dubbo的泛化调用 Runnable registryTask = () -> remoteRegistry.registryService(function); isPublished.put(RegistryUtils.getRegistryInterface(function),registryTask); }else{ } } } 构造ServiceConfig方法，设置成泛化调用，进行发布export()DefaultRemoteRegistryComponent public void registryGenericService(String interfaceName, List<MethodConfig> methods, String group, String version, Integer timeout, Integer retries) { …. try { ServiceConfig<GenericService> service = new ServiceConfig<>(); // 服务接口名 service.setInterface(interfaceName); // 服务对象实现引用 service.setRef(genericService(interfaceName)); if (null != methods) { service.setMethods(methods); } // 声明为泛化接口 service.setGeneric(Boolean.TRUE.toString()); // 基础元数据 constructService(group, version, timeout, retries, service); service.export(); } catch (Exception e) { ….. } } // 服务对象实现引用 private GenericService genericService(String interfaceName) { return (method, parameterTypes, args) -> { PamirsSession.clear(); Function function = Objects.requireNonNull(PamirsSession.getContext()).getFunction(RegistryUtils.getFunctionNamespace(method), RegistryUtils.getFunctionFun(method)); if (log.isDebugEnabled()) { log.debug("interfaceName: " + interfaceName + ",…

oinone
2024年9月4日
1.7K000
后端

【OceanBase】后端部署使用 OceanBase 数据库（海扬/OB）

OceanBase 数据库配置驱动配置 Maven配置（4.2.5.3版本可用） <oceanbase.version>2.4.14</oceanbase.version> <dependency> <groupId>com.oceanbase</groupId> <artifactId>oceanbase-client</artifactId> <version>${oceanbase.version}</version> </dependency> PS: oceanbase 驱动必须使用 2.4.5 版本或以上，低于此版本的驱动无法使用自增ID功能，无法正常启动。点击查看官方JDBC版本发布记录 JDBC连接配置 OceanBase – Oracle 版 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.alipay.oceanbase.jdbc.Driver url: jdbc:oceanbase://10.xxx.xxx.xxx:1001/BASE?useServerPrepStmts=true&useOraclePrepareExecute=true&defaultFetchSize=4096 username: xxxxxx password: xxxxxx validConnectionCheckerClassName: com.alibaba.druid.pool.vendor.OracleValidConnectionChecker validationQuery: SELECT 1 FROM DUAL OceanBase – MySQL 版 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.alipay.oceanbase.jdbc.Driver url: jdbc:oceanbase://10.xxx.xxx.xxx:1001/base username: xxxxxx password: xxxxxx 连接 URL 配置点击查看官方JDBC连接配置说明 URL 格式（OceanBase – Oracle 版） jdbc:oceanbase://${host}:${port}/${database}?useServerPrepStmts=true&useOraclePrepareExecute=true&defaultFetchSize=4096 在jdbc连接配置时，useServerPrepStmts=true&useOraclePrepareExecute=true 必须配置，否则自增主键无法正常使用。 defaultFetchSize=4096 意味着在使用服务端预处理时，游标每次获取的结果集行数，驱动默认值为 10，在进行大量数据获取时会出现卡顿的现象，因此推荐使用 4096 作为其结果集大小。过大可能会导致 OOM，过小可能还是会出现卡顿，该值需要按实际情况进行配置。其他连接参数如需配置，可自行查阅相关资料进行调优。方言配置（OceanBase – Oracle 版） PS：OceanBase – MySQL 版无需配置方言，只需修改数据库连接即可正常使用。 pamirs方言配置 pamirs: dialect: ds: base: type: OceanBase version: 4.2.5.3 major-version: oracle-4.2 pamirs: type: OceanBase version: 4.2.5.3 major-version: oracle-4.2 plus: configuration: jdbc-type-for-null: "NULL" using-model-as-property: true using-statement-handler-dialect: true mapper: batch: collectionCommit default-batch-config: read: 500 write: 100 数据库版本 type version majorVersion 4.2.5.3 OceanBase 4.2.5.3 oracle-4.2 PS：由于方言开发环境为4.2.5.3版本，其他类似版本（4.x）原则上不会出现太大差异，如出现其他版本无法正常支持的，可在文档下方留言。 schedule方言配置 pamirs: event: enabled: true schedule: enabled: true dialect: type: Oracle version: 12.2 major-version: 12c type version majorVersion Oracle 12.2 12c PS：由于 schedule 的方言与 Oracle 数据库并无明显差异，OceanBase 数据库可以直接使用 Oracle 数据库方言。其他配置（OceanBase – Oracle 版）逻辑删除的值配置 pamirs: mapper: global: table-info: logic-delete-value: (CAST(SYSTIMESTAMP AS DATE) – TO_DATE('1970-01-01 08:00:00', 'YYYY-MM-DD HH24:MI:SS')) * 8640000000000

张博昊
2025年7月21日
922000
后端

Oinone登录扩展：对接SSO(适应于4.7.8之前的版本)

适配版本 4.7.8之前的版本概述在企业内部，对于已有一套完整的登录系统(SSO)的情况下，通常会要求把所有的系统都对接到SSO中；本文主要讲解用Oinone开发的项目对接SSO的具体实现。对接步骤 1、项目自定义实现UserCookieLogin，可参考示例说明： pro.shushi.pamirs.user.api.login.UserCookieLoginFree 2、对接SSO示例对接流程说明： 1）【必须】从请求头Header或者Query中获取到token； 2）【必须】去SSO服务端验证token的有效性； 3）【可选】根据token去服务端获取用户信息；如果token可以直接反解析出用户信息，则该步骤忽略； 4）【可选】根据实际情况用户信息是否进行DB的存储； 5）【必须】验证token有效后，生成Session和Cookie（即token换cookie）；注意超时时间需要 <= SSO服务端token失效时间。 package pro.shushi.pamirs.demo.core.sso; import com.alibaba.fastjson.JSON; import org.apache.commons.lang3.StringUtils; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.core.annotation.Order; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Component; import org.springframework.web.context.request.RequestContextHolder; import org.springframework.web.context.request.ServletRequestAttributes; import pro.shushi.pamirs.demo.core.sso.constant.HttpConstant; import pro.shushi.pamirs.demo.core.sso.constant.SSOConstant; import pro.shushi.pamirs.demo.core.sso.constant.SessionUserTypeEnum; import pro.shushi.pamirs.demo.core.sso.model.ApiCommonTransient; import pro.shushi.pamirs.demo.core.sso.utils.AuthenticateUtils; import pro.shushi.pamirs.demo.core.sso.model.PermissionInfoResp; import pro.shushi.pamirs.meta.annotation.fun.extern.Slf4j; import pro.shushi.pamirs.meta.api.dto.model.PamirsUserDTO; import pro.shushi.pamirs.meta.api.dto.protocol.PamirsRequestVariables; import pro.shushi.pamirs.meta.api.session.PamirsSession; import pro.shushi.pamirs.meta.common.exception.PamirsException; import pro.shushi.pamirs.meta.common.spring.BeanDefinitionUtils; import pro.shushi.pamirs.meta.common.util.UUIDUtil; import pro.shushi.pamirs.resource.api.enmu.UserSignUpType; import pro.shushi.pamirs.user.api.cache.UserCache; import pro.shushi.pamirs.user.api.constants.UserConstant; import pro.shushi.pamirs.user.api.enmu.UserExpEnumerate; import pro.shushi.pamirs.user.api.enmu.UserLoginTypeEnum; import pro.shushi.pamirs.user.api.login.IUserLoginChecker; import pro.shushi.pamirs.user.api.login.UserCookieLogin; import pro.shushi.pamirs.user.api.login.UserCookieLoginSimple; import pro.shushi.pamirs.user.api.model.PamirsUser; import pro.shushi.pamirs.user.api.model.tmodel.PamirsUserTransient; import pro.shushi.pamirs.user.api.service.UserService; import pro.shushi.pamirs.user.api.utils.CookieUtil; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.util.concurrent.TimeUnit; /** * * @author wangxian * * 完全自定义login的过程 * 需要实现登陆部分login 以及拦截部分fetchUserIdByReq * 如果fetchUserIdByReq返回值为null的时候将会被拦截 */ @Slf4j @Order(0) @Component public class DemoUserSSOCookieLogin extends UserCookieLogin<PamirsUser> { //刷新令牌 private static String REFRESH_TOKEN = "refreshToken"; //系统id private static String CLIENT_ID = "client-id"; //访问令牌 private static String AUTHORIZATION = "Authorization"; private IUserLoginChecker checker; @Autowired private UserService userService; @Autowired private RedisTemplate<String, String> redisTemplate; @Override public String createSessionId(HttpServletRequest request, PamirsUser idModel) { return UUIDUtil.getUUIDNumberString(); } @Override public String type() { return UserLoginTypeEnum.COOKIE.value(); } @Override public PamirsUser resolveAndVerification(PamirsUserTransient user) { if (checker == null) { checker =…

望闲
2023年11月24日
1.7K000
后端

技术精要：数据导出与固化实用指南

数据被认为是企业发展和决策的重要资产。随着业务的不断发展和数据量的不断增加，企业通常需要将数据从不同的源头导出，并将其固化到产品中，以便进行进一步的分析、处理和利用。数据导出与固化的过程涉及到数据的提取、清洗、整合和存储，是确保数据长期有效性和可用性的关键步骤。了解数据导出与固化的流程和方法对于企业具有重要意义。通过有效的数据导出和固化，企业可以更好地管理和利用数据资源，提升决策的准确性和效率，实现业务的持续发展和创新。本次讨论将重点探讨数据导出与固化的流程和关键步骤，帮助参与者深入了解如何将数据从导出到产品中，为企业数据管理和应用提供有力支持。 1. 数据导出与固化：将数据从导出到产品中的流程 1.1. pom依赖： <dependency> <groupId>pro.shushi.pamirs.metadata.manager</groupId> <artifactId>pamirs-metadata-manager</artifactId> </dependency> 1.2 将第⼆步下载后的⽂件放⼊项⽬中（注意⽂件放置的位置）。放置⼯程的resources 下⾯。例如： 1.3 项⽬启动过程中，将⽂件中的数据导⼊(通常放在core模型的init包下⾯)。⽰例代码： package pro.shushi.pamirs.sys.setting.enmu; import com.google.common.collect.Lists; import org.apache.commons.collections4.CollectionUtils; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.ApplicationContext; import org.springframework.stereotype.Component; import pro.shushi.pamirs.boot.common.api.command.AppLifecycleCom mand; import pro.shushi.pamirs.boot.common.api.init.LifecycleCompleted AllInit; import pro.shushi.pamirs.boot.common.extend.MetaDataEditor; import pro.shushi.pamirs.core.common.InitializationUtil; import pro.shushi.pamirs.meta.annotation.fun.extern.Slf4j; import pro.shushi.pamirs.meta.api.dto.meta.Meta; import pro.shushi.pamirs.meta.domain.module.ModuleDefinition; import pro.shushi.pamirs.metadata.manager.core.helper.DesignerIn stallHelper; import pro.shushi.pamirs.metadata.manager.core.helper.WidgetInst allHelper; import java.util.List; import java.util.Map; @Slf4j @Component public class DemoAppMetaInstall implements MetaDataEditor, LifecycleCompletedAllInit { @Autowired private ApplicationContext applicationContext; @Override public void edit(AppLifecycleCommand command, Map<String, Meta> metaMap) { if (!doImport()) { return; } log.info("[设计器业务元数据导⼊]"); InitializationUtil bizInitializationUtil = InitializationUtil.get(metaMap, DemoModule.MODULE_MODULE/ ***改成⾃⼰的Module*/, DemoModule.MODULE_NAME/***改成⾃⼰的 Module*/); DesignerInstallHelper.mateInitialization(bizInitializatio nUtil, "install/meta.json"); log.info("[⾃定义组件元数据导⼊]"); // 写法1: 将组件元数据导⼊到⻚⾯设计器. 只有在安装设计器的服务中执⾏才有效果 WidgetInstallHelper.mateInitialization(metaMap, "install/widget.json"); // 写法2: 与写法1相同效果 InitializationUtil uiInitializationUtil = InitializationUtil.get(metaMap, "ui_designer", "uiDesigner"); if (uiInitializationUtil != null) { DesignerInstallHelper.mateInitialization(uiInitialization Util, "install/widget.json"); } // 写法3: 业务⼯程和设计器分布式部署,且希望通过业务⼯程导⼊⾃定义组件元数据. 业务模块需要依赖⻚⾯设计器模块,然后指定业务模块导⼊ DesignerInstallHelper.mateInitialization(bizInitializatio nUtil, "install/widget.json"); } @Override public void process(AppLifecycleCommand command, Map<String, ModuleDefinition> runModuleMap) { if (!doImport()) { return; } log.info("[设计器业务数据导⼊]"); // ⽀持远程调⽤,但是执⾏的⽣命周期必须是 LifecycleCompletedAllInit或之后. 本地如果安装了设计器,则没有要求 DesignerInstallHelper.bizInitialization("install/ meta.json"); log.info("[⾃定义组件业务数据导⼊]"); // 当开发环境和导⼊环境的⽂件服务不互通时, 可通过指定js和 css的⽂件压缩包,⾃动上传到导⼊环境,并替换导⼊组件数据中的⽂件url // WidgetInstallHelper.bizInitialization("install/ widget.json", "install/widget.zip"); WidgetInstallHelper.bizInitialization("install/ widget.json"); return; } private boolean doImport() { // ⾃定义导⼊判断. 避免⽤于设计的开发环境执⾏导⼊逻辑 String[] envs = applicationContext.getEnvironment().getActiveProfiles(); List<String> envList = Lists.newArrayList(envs); return…

数式-海波
2024年2月27日
2.5K002
后端

【DM】后端部署使用Dameng数据库（达梦）

达梦数据库配置驱动配置达梦数据库的服务端版本和驱动版本需要匹配，建议使用服务端安装时提供的jdbc驱动，不要使用官方maven仓库中的驱动。报错表 xx 中不能同时包含聚集 KEY 和大字段，建表的时候就指定非聚集主键。SELECT * FROM V$DM_INI WHERE PARA_NAME = ‘PK_WITH_CLUSTER’;SP_SET_PARA_VALUE(1,’PK_WITH_CLUSTER’,0) Maven配置 DM8（目前maven仓库最新版本） <dm.version>8.1.2.192</dm.version> <dependency> <groupId>com.dameng</groupId> <artifactId>DmJdbcDriver18</artifactId> <version>${dm.version}</version> </dependency> PS: 8.1.3.12版本驱动需要手动上传到nexus仓库使用，本文包含该版本相关内容。 Maven配置 DM7 <dm7.version>7.6.1.120</dm7.version> <dependency> <groupId>com.dameng</groupId> <artifactId>Dm7JdbcDriver18</artifactId> <version>${dm7.version}</version> </dependency> PS: 7.6.1.120版本驱动需要手动上传到nexus仓库使用，本文包含该版本相关内容。离线驱动下载 Dm7JdbcDriver18-7.6.1.120.jarDmJdbcDriver18-8.1.3.12.jar JDBC连接配置 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: dm.jdbc.driver.DmDriver # url: jdbc:dm://127.0.0.1:5236/BASE?clobAsString=true&useUnicode=true&characterEncoding=utf8&compatibleMode=mysql url: jdbc:dm://127.0.0.1:5236?schema=BASE&clobAsString=true&columnNameUpperCase=false&useUnicode=true&characterEncoding=utf8&compatibleMode=mysql username: xxxxxx password: xxxxxx initialSize: 5 maxActive: 200 minIdle: 5 maxWait: 60000 timeBetweenEvictionRunsMillis: 60000 testWhileIdle: true testOnBorrow: false testOnReturn: false poolPreparedStatements: true asyncInit: true validConnectionCheckerClassName: com.alibaba.druid.pool.vendor.OracleValidConnectionChecker validationQuery: SELECT 1 FROM DUAL 连接url配置点击查看官方文档：DM JDBC 编程指南连接串1 jdbc:dm://127.0.0.1:5236?schema=BASE&clobAsString=true&columnNameUpperCase=false&useUnicode=true&characterEncoding=utf8&compatibleMode=mysql PS：schema参数在低版本驱动区分大小写，高版本驱动不再区分大小写，为了避免错误，统一使用全大写。columnNameUpperCase参数与官方介绍不一致，为了避免错误，需要显式指定。连接串2 jdbc:dm://127.0.0.1:5236/BASE?clobAsString=true&useUnicode=true&characterEncoding=utf8&compatibleMode=mysql PS：可能是未来更高版本中使用的连接串形式。达梦数据库在不同驱动版本下需要使用不同的连接串进行处理，具体可参考下表：（使用错误的连接串将无法正常启动） Dm7JdbcDriver18版本 Build-Time 使用的连接串类型是否支持指定schema schema是否区分大小写是否可用不可用原因 7.6.0.165 2019.06.04 1 否是否不支持LocalDateTime类型 7.6.1.120（建议） 2022.09.14 1 是是是 – DmJdbcDriver18版本 Build-Time 使用的连接串类型是否支持指定schema schema是否区分大小写是否可用不可用原因 8.1.2.192 2023.01.12 1 是否是 – 8.1.3.12（建议） 2023.04.17 2 是否是 – 方言配置 pamirs方言配置 pamirs: dialect: ds: base: type: DM version: 8 majorVersion: 8 pamirs: type: DM version: 8 majorVersion: 8 数据库版本 type version majorVersion 7-20220916 DM 7 20220916 8-20230418 DM 8 8 schedule方言配置 pamirs: event: schedule: dialect: type: DM version: 8 majorVersion: 8 type version majorVersion…

nation
2023年11月1日
14.3K000

登录后才能评论

shao 2024年11月25日

支持其他的国家的语言，需要在资源里面创建，如果有其他的疑问，也可以群内联系我们哈

评论于 6.4 国际化之多语言
xiao3 2024年11月25日

只支持英语吗？如何添加其他语种？

评论于 6.4 国际化之多语言
psyy 2024年8月21日

1.4 Oinone对软件特性的思考，技术原理一段，几余（几->冗） 1.4 Oinone对软件特性的思考，协同演进一段，新特生（生->性）

评论于 1.4 Oinone对软件特性的思考
望闲 2024年6月21日

感谢反馈，已修正

评论于 1.5 Oinone与行业对比
xinf 2024年6月14日

bug反馈：采用无一体设计 -> 采用低无一体设计

评论于 1.5 Oinone与行业对比

DsHint(指定数据源)和BatchSizeHint(指定批次数量)

概述和使用场景

API定义

DsHintApi

BatchSizeHintApi

使用示例

相关推荐

Oinone远程调用链路源码分析

【OceanBase】后端部署使用 OceanBase 数据库（海扬/OB）

Oinone登录扩展：对接SSO(适应于4.7.8之前的版本)

技术精要：数据导出与固化实用指南

【DM】后端部署使用Dameng数据库（达梦）

Leave a Reply