3.1 环境搭建

相关推荐

• Oinone 7天入门到精通

  4.1.11 函数之异步执行

  异步任务是非常常见的一种开发模式，它在分布式的开发模式中有很多应用场景如： 高并发场景中，我们一般采用把长流程切短，用异步方式去掉可以异步的非关键功能，缩小主流程响应时间，提升用户体验 异构系统的集成调用，通过异步任务完成解耦与自动重试 分布式系统最终一致性的可选方案 今天我们了解oinone是如何结合Spring+TbSchedule来完成异步任务 一、TbSchedule介绍 它是一个支持分布式的调度框架，让批量任务或者不断变化的任务能够被动态的分配到多个主机的JVM中,在不同的线程组中并行执行,所有的任务能够被不重复,不遗漏的快速处理。基于ZooKeeper的纯Java实现，由Alibaba开源。在互联网和电商领域TBSchedule的使用非常广泛,目前被应用于阿里巴巴、淘宝、支付宝、京东、聚美、汽车之家、国美等很多互联网企业的流程调度系统。也是笔者早期在阿里参与设计的一款产品。 oinone的异步任务执行原理（如下图4-1-11-1所示），先做一个大致了解： 图4-1-11-1 Oinone的异步任务执行原理图 基础管理工具 下载tbSchedule的控制台jar包去除文件后缀.txt（详见本书籍【附件一】）pamirs-middleware-schedule-console-3.0.1.jar.txt(31.2 MB) 启动控制台 java -jar pamirs-middleware-schedule-console-3.0.1.jar 图4-1-11-2 控制台启动方式 访问地址 http://127.0.0.1:10014/schedule/index.jsp?manager=true 图4-1-11-3 访问地址 配置zk连接参数 图4-1-11-4 配置zk连接参数 oinone默认实现任务类型 图4-1-11-5 Oinone默认实现任务类型 baseScheduleNoTransactionTask baseScheduleTask remoteScheduleTask — 适用于pamirs-middleware-schedule独立部署场景 serialBaseScheduleNoTransactionTask serialBaseScheduleTask serialRemoteScheduleTask — 适用于pamirs-middleware-schedule独立部署场景 cycleScheduleNoTransactionTask delayMsgTransferScheduleTask deleteTransferScheduleTask 注： a. 默认情况下：所有任务的任务项都只配置了一个任务项0，只有一台机器能分配任务。 1. 如果要修改配置可以在启动项目中放置schedule.json，来修改配置 2. 人工进入控制修改任务对应任务项的配置 b. 如果想为某一个核心任务配置的独立调度器，不受其他任务执行影响。那么见独立调度的异步任务 任务表相关说明 图4-1-11-6 任务表相关说明 二、构建第一个异步任务（举例） Step1 新建PetShopService和PetShopServiceImpl 1 新建PetShopService定义updatePetShops方法 package pro.shushi.pamirs.demo.api.service; import pro.shushi.pamirs.demo.api.model.PetShop; import pro.shushi.pamirs.meta.annotation.Fun; import pro.shushi.pamirs.meta.annotation.Function; import java.util.List; @Fun(PetShopService.FUN_NAMESPACE) public interface PetShopService { String FUN_NAMESPACE = "demo.PetShop.PetShopService"; @Function void updatePetShops(List<PetShop> petShops); } 图4-1-11-7 新建PetShopService定义updatePetShops方法 PetShopServiceImpl实现PetShopService接口并在updatePetShops增加@XAsync注解 displayName = "异步批量更新宠物商店"，定义异步任务展示名称 limitRetryNumber = 3，定义任务失败重试次数，，默认：-1不断重试 nextRetryTimeValue = 60，定义任务失败重试的时间数，默认：3 nextRetryTimeUnit，定义任务失败重试的时间单位，默认：TimeUnitEnum.SECOND delayTime，定义任务延迟执行的时间数，默认：0 delayTimeUnit，定义任务延迟执行的时间单位，默认：TimeUnitEnum.SECOND package pro.shushi.pamirs.demo.core.service; import org.springframework.stereotype.Component; import pro.shushi.pamirs.demo.api.model.PetShop; import pro.shushi.pamirs.demo.api.service.PetShopService; import pro.shushi.pamirs.meta.annotation.Fun; import pro.shushi.pamirs.meta.annotation.Function; import pro.shushi.pamirs.trigger.annotation.XAsync; import java.util.List; @Fun(PetShopService.FUN_NAMESPACE) @Component public class PetShopServiceImpl implements PetShopService { @Override @Function @XAsync(displayName = "异步批量更新宠物商店",limitRetryNumber = 3,nextRetryTimeValue = 60) public void updatePetShops(List<PetShop> petShops) { new PetShop().updateBatch(petShops); } } 图4-1-11-8 实现PetShopService接口并在updatePetShops增加@XAsync注解 Step2 修改PetShopBatchUpdateAction的conform方法 引入PetShopService 修改conform方法 利用ArgUtils进行参数转化，ArgUtils会经常用到。 调用petShopService.updatePetShops方法 package pro.shushi.pamirs.demo.core.action; …… 引依赖类 @Model.model(PetShopBatchUpdate.MODEL_MODEL) @Component public class PetShopBatchUpdateAction { @Autowired private PetShopService petShopService; ……其他代码 @Action(displayName = "确定",bindingType = ViewTypeEnum.FORM,contextType = ActionContextTypeEnum.SINGLE) public PetShopBatchUpdate conform(PetShopBatchUpdate data){ if(data.getPetShopList() == null || data.getPetShopList().size()==0){ throw…

  史, 昂

  2024年5月23日

  812000
• Oinone 7天入门到精通

  4.1.24 框架之分库分表

  随着数据库技术的发展如分区设计、分布式数据库等，业务层的分库分表的技术终将成老一辈程序员的回忆，谈笑间扯扯蛋既羡慕又自吹地说到“现在的研发真简单，连分库分表都不需要考虑了”。竟然这样为什么要写这篇文章呢？因为现今的数据库虽能解决大部分场景的数据量问题，但涉及核心业务数据真到过亿数据后性能加速降低，能给的方案都还有一定的局限性，或者说性价比不高。相对性价比比较高的分库分表，也会是现阶段一种不错的补充。言归正传oinone的分库分表方案是基于Sharding-JDBC的整合方案，所以大家得先具备一点Sharding-JDBC的知识。 一、分表（举例） 做分库分表前，大家要有一个明确注意的点就是分表字段的选择，它是非常重要的，与业务场景非常相关。在明确了分库分表字段以后，甚至在功能上都要做一些妥协。比如分库分表字段在查询管理中做为查询条件是必须带上的，不然效率只会更低。 Step1 新建ShardingModel模型 ShardingModel模型是用于分表测试的模型，我们选定userId作为分表字段。分表字段不允许更新，所以这里更新策略设置类永不更新，并在设置了在页面修改的时候为readonly package pro.shushi.pamirs.demo.api.model; import pro.shushi.pamirs.boot.base.ux.annotation.field.UxWidget; import pro.shushi.pamirs.boot.base.ux.annotation.view.UxForm; import pro.shushi.pamirs.meta.annotation.Field; import pro.shushi.pamirs.meta.annotation.Model; import pro.shushi.pamirs.meta.enmu.FieldStrategyEnum; @Model.model(ShardingModel.MODEL_MODEL) @Model(displayName = "分表模型",summary="分表模型",labelFields ={"name"} ) public class ShardingModel extends AbstractDemoIdModel { public static final String MODEL_MODEL="demo.ShardingModel"; @Field(displayName = "名称") private String name; @Field(displayName = "用户id",summary = "分表字段",immutable=true/* 不可修改 **/) @UxForm.FieldWidget(@UxWidget(readonly = "scene == 'redirectUpdatePage'"/* 在编辑页面只读 **/ )) @Field.Advanced(updateStrategy = FieldStrategyEnum.NEVER) private Long userId; } 图4-1-24-1 新建ShardingModel模型 Step2 配置分表策略 配置ShardingModel模型走分库分表的数据源pamirsSharding 为pamirsSharding配置数据源以及sharding规则 a. pamirs.sharding.define用于oinone的数据库表创建用 b. pamirs.sharding.rule用于分表规则配置 pamirs: load: sessionMode: true framework: system: system-ds-key: base system-models: – base.WorkerNode data: default-ds-key: pamirs ds-map: base: base modelDsMap: "[demo.ShardingModel]": pamirsSharding #配置模型对应的库 图4-1-24-2 指定模型对应数据源 pamirs: sharding: define: data-sources: ds: pamirs pamirsSharding: pamirs #申明pamirsSharding库对应的pamirs数据源 models: "[trigger.PamirsSchedule]": tables: 0..13 "[demo.ShardingModel]": tables: 0..7 table-separator: _ rule: pamirsSharding: #配置pamirsSharding库的分库分表规则 actual-ds: – pamirs #申明pamirsSharding库对应的pamirs数据源 sharding-rules: # Configure sharding rule ，以下配置跟sharding-jdbc配置一致 – tables: demo_core_sharding_model: #demo_core_sharding_model表规则配置 actualDataNodes: pamirs.demo_core_sharding_model_${0..7} tableStrategy: standard: shardingColumn: user_id shardingAlgorithmName: table_inline shardingAlgorithms: table_inline: type: INLINE props: algorithm-expression: demo_core_sharding_model_${(Long.valueOf(user_id) % 8)} props: sql.show: true 图4-1-24-3 分库分表规则配置 Step3 配置测试入口 修改DemoMenus类增加一行代码，为测试提供入口 @UxMenu("分表模型")@UxRoute(ShardingModel.MODEL_MODEL) class ShardingModelMenu{} 图4-1-24-4 配置测试入口 Step4 重启看效果 自行尝试增删改查 观察数据库表与数据分布 图4-1-24-5 自行尝试增删改查 图4-1-24-6 观察数据库表与数据分布 二、分库分表（举例） Step1 新建ShardingModel2模型 ShardingModel2模型是用于分库分表测试的模型，我们选定userId作为分表字段。分库分表字段不允许更新，所以这里更新策略设置类永不更新，并在设置了在页面修改的时候为readonly package pro.shushi.pamirs.demo.api.model; import pro.shushi.pamirs.boot.base.ux.annotation.field.UxWidget; import pro.shushi.pamirs.boot.base.ux.annotation.view.UxForm; import…

  史, 昂

  2024年5月23日

  1.1K000
• Oinone 7天入门到精通

  3.4.1 构建第一个Function

  Function做为oinone的可管理的执行逻辑单元，是无处不在的 在3.3.3【模型的数据管理器】和3.3.2【模型类型】一文中的代理模型部分，涉及到包括在Action中自定义函数(action背后都对应一个Function)、重写queryPage的函数、以及独立抽取的公共逻辑函数，Function做为oinone的可管理的执行逻辑单元，是无处不在的。这也是为什么说oinone以函数为内在的原因。 一、构建第一个Function 因为数据管理器和数据构造器是oinone为模型自动赋予的Function，是内在数据管理能力。模型其他Function都需要用以下四种方式主动定义 伴随模型新增函数(举例) 它是跟模型的java类定义在一起，复用模型的命名空间。 Step1 为PetShop增加一个名为sayHello的Function package pro.shushi.pamirs.demo.api.model; …… //import @Model.model(PetShop.MODEL_MODEL) @Model(displayName = "宠物店铺",summary="宠物店铺",labelFields ={"shopName"} ) @Model.Code(sequence = "DATE_ORDERLY_SEQ",prefix = "P",size=6,step=1,initial = 10000,format = "yyyyMMdd") public class PetShop extends AbstractDemoIdModel { public static final String MODEL_MODEL="demo.PetShop"; …… //省略其他代码 @Function(openLevel = FunctionOpenEnum.API) @Function.Advanced(type=FunctionTypeEnum.QUERY) public PetShop sayHello(PetShop shop){ PamirsSession.getMessageHub().info("Hello:"+shop.getShopName()); return shop; } } 图3-4-1-1 代码示例 Step2 重启看效果 用graphQL工具Insomnia查看效果 用Insomnia模拟登陆 a. 创建一个login请求，用于保存login请求，为后续模拟登陆保留快捷方式 图3-4-1-2 创建一个login请求 b. 下面为登陆请求的GraphQL，请在post输入框中输入。如果请求输入框提示错误可以，可以点击schema 的Refresh Schema来刷新文档 mutation { pamirsUserTransientMutation { login(user: {login: "admin", password: "admin"}) { broken errorMsg errorCode errorField } } } 图3-4-1-3 登陆请求的GraphQL c. 点击Send按钮，我们可以看到登陆成功的反馈信息 图3-4-1-4 登陆成功的反馈信息 用Insomnia模拟访问PetShop的sayHello方法，gql的返回中，我们可以看到两个核心返回 a. 一是方法正常返回的shopName b. 二是“PamirsSession.getMessageHub().info("Hello:"+shop.getShopName())”代码执行的结果，在messages中有一个消息返回，更多消息机制详见4.1.23【框架之信息传递】 query{ petShopQuery{ sayHello(shop:{shopName:"cpc"}){ shopName } } } 图3-4-1-5 用Insomnia模拟访问PetShop的sayHello 图3-4-1-6 代码执行结果 用Insomnia模拟访问PetShopProxy的sayHello方法 效果同用Insomnia模拟访问PetShop的sayHello方法，体现Function的继承特性。 独立新增函数绑定到模型(举例) 独立方法定义类，并采用Model.model或Fun注解,但是value都必须是模型的编码，如@Model.model(PetShop.MODEL_MODEL)或@Fun(PetShop.MODEL_MODEL) Step1 提取PetShop的sayHello方法独立到PetShopService中 注释掉PetShop的sayHello方法 package pro.shushi.pamirs.demo.api.model; …… //import @Model.model(PetShop.MODEL_MODEL) @Model(displayName = "宠物店铺",summary="宠物店铺",labelFields ={"shopName"} ) @Model.Code(sequence = "DATE_ORDERLY_SEQ",prefix = "P",size=6,step=1,initial = 10000,format = "yyyyMMdd") public class PetShop extends AbstractDemoIdModel { public static final String MODEL_MODEL="demo.PetShop"; …… //省略其他代码 // @Function(openLevel = FunctionOpenEnum.API) // @Function.Advanced(type=FunctionTypeEnum.QUERY) // public PetShop sayHello(PetShop shop){ // PamirsSession.getMessageHub().info("Hello:"+shop.getShopName()); // return shop; // } } 图3-4-1-7 注释掉PetShop的sayHello 新增PetShopService接口类 接口的方法上要加上@Function注解，这样另模块依赖api包的时候，会自动注册远程服务的消费者 package pro.shushi.pamirs.demo.api.service; import pro.shushi.pamirs.demo.api.model.PetShop; import pro.shushi.pamirs.meta.annotation.Fun; import pro.shushi.pamirs.meta.annotation.Function; @Fun(PetShop.MODEL_MODEL) //@Model.model(PetShop.MODEL_MODEL) public interface…

  史, 昂

  2024年5月23日

  1.3K000
• Oinone 7天入门到精通

  6.5 权限体系（改）

  做好企业级软件，首先得过权限这一关 在企业的IT部门沟通中，权限是避免不了。自嘲下在我们刚出来创业时，为了收获客户对我们技术能力的信任，每每与跟客户沟通时都会说我们是阿里出来的，但在权限设计这个环节不那么灵验，反而被打上了不懂B端权限设计的标签，会问很多问题。我就很奇怪难道大厂就没有内部管理系统了？大厂只有C端交易，没有B端交易？但从侧面说明权限不简单还特别重要。做好企业级软件，首先得过权限这一关。 整体介绍 对于平台运行来说，权限是必须，但我们的auth模块不是必须的，auth模块只是我们提供的一种默认实现，客户可以根据平台的spi机制进行替换。auth模块利用了平台的Hook特性做到与业务无关，在我们开发上层应用的时，是不用感知它的存在的。 auth模块涉及：功能权限、数据权限 数据权限：行权限和列权限。备注：数据权限的控制只能用于【存储模型】 表级权限：表达的语义是：是否该表可读/写（修改和新增） 列权限：表达的语义是：是否该列可读/写（修改和新增） 行权限：表达的语义是：是否对该行可读/写（修改）/删除 功能权限：表达的语义是ServerAction/Function是否可执行/展示，viewAction是否可展示，菜单是否可以显示 范围说明： 配置多个权限项的时候，取并集 配置多个角色的时候，取并集 模型设计 产品体验 Step1 创建角色 通过App Finder 切换至【权限】应用，点击新增按钮创建一个名为oinone的角色 Step2 创建数据权限项 在【权限项列表】菜单，点击【创建】按钮新增一个名为【宠物达人数据权限项】，同时宠物达人的数据权限设置为只能查看性别为男的记录 配置说明： 名称： 代表该项配置的权限的名字（必填）（必须是全系统唯一） 权限模型： 选择需要拦截的数据所在的表，即为模型，可以搜索使用 描述：对该权限项的描述 权限条件的配置： 满足全部：对条件一和条件二要同时满足的数据才能被看见 满足任一：对条件一和条件二要任意满足的数据都能被看见 读权限：对该数据是否有读取的权限 写权限：对该数据是否有修改的权限 删除权限：对该条件内的数据是否有删除的权限 Step3 为角色配置权限 编辑oinone角色，只开通oinoneDemo工程应用 选中【数据权限】选项卡点击【添加】按钮，勾选宠物达人数据权限项点击【确定】按钮 整体点击保存，回到列表页记得点击【权限生效】按钮 Step4 新建用户绑定角色 切换到用户中心模块，点击【创建】按钮填写必要信息，并在角色选中oinone权限组。 退出admin用户，用oinone登陆，权限效果： 只能看见demo模块 oinone登陆只能看到性别为男的宠物达人记录 admin用户登陆 oinone用户登陆 因为宠物达人的页面没有把性别字段放出来，我们看下数据库数据 auth模块扩展 在日常项目开发中，难免会碰到一些针对权限管理的特殊需求，或是为提升性能做的特殊逻辑。接下来我给大家介绍auth模块扩展性。 权限全局配置 对所有权限角色都做限制，而且不想让用户感知，可以实现PermissionFunApi接口，API接口实现的配置方式【只能用于支持全局的数据权限配置】 实现接口PermissionFunApi 将实现托管给SpringAOP 接口的具体实现看下图的代码 package pro.shushi.pamirs.demo.core.service; import org.springframework.stereotype.Component; import pro.shushi.pamirs.auth.api.service.PermissionFunApi; import pro.shushi.pamirs.demo.api.model.PetTalent; @Component public class PetTalentPermissionFunApi implements PermissionFunApi { @Override public String permissionDomain(Object… args) { //获取当前组织中 return "name == '张学友'"; } @Override public String nameSpace() { return PetTalent.MODEL_MODEL; } } 不参与权限控制 如果某一接口不想做权限控制，则可以在启动工程的application-dev.yml文件中配置不需要权限过滤的接口 pamirs: auth: fun-filter: – namespace: demo.PetTalent fun: queryPage 换一个没有配置宠物达人权限的用户（除管理员以外）进入系统，则也可以看到数据。注意【权限全局控制】还是生效的 API 1. 获取当前用户对该模型的行权限 Result<String> result = CommonApiFactory.getApi(AuthApi.class).canReadAccessData("Model"); 返回值为 { 'data':"name=in=('hahaha')" 'success'：true … } 用法 ： 场景：前端发起的请求都会经过权限拦截，后端代码逻辑发起的数据请求都是不经过任何权限的过滤，但是某些特殊情况需要在后端代码逻辑发起的数据请求也带上权限过滤 入参：请求的模型 出参：Result 数据结构中data会存储一段字符串，该字符串为Rsql 将该Rsql追加到wrapper中 Result<String> result = CommonApiFactory.getApi(AuthApi.class).canReadAccessData("base.UeModule"); String data=result.getData(); QueryWrapper<UeModule> wrapper = Pops.query(); wrapper.setEntity(ueModule); if (!StringUtils.isBlank(data)) { wrapper.apply(data); }

  史, 昂

  2024年5月23日

  918001
• Oinone 7天入门到精通

  7.1 设计器总览

  设计器转为非专业研发设计，在Oinone3.0版本中已经完成元数据完整在线化，真正做到低无一体。对于设计器的定位我们开篇就介绍过，它是LCDP的产品化呈现，是冰山露在外面大家看得到的，核心还是在LCDP本身。我们先目睹下设计器的一些产品页面，如您有想体验，可以在Oinone官网注册 模型设计器 Oinone以模型为驱动，当有模型、数据字典、数据编码等设计功能，我们就可以完整地定义产品数据模型，模型设计器整体呈现区别于普通ER图，以当前模型为核心视角展开，可以点击关联模型切换主视角。这样的好处在于突出当前设计，聚焦设计本身。同时模型上预留了几个核心入口如：分类管理、继承拓扑图、页面设计、逻辑设计等。另外我们在体验上区分了专家模式和经典模式，顾名思义，专家模式的功能会更加丰富，对专业知识的要求也会更高。专家模式下一般会增加一些跟业务无关的配置如：索引设置等调优行为 逻辑设计器 从图灵完备的角度上说，要支持功能越完备，使用越复杂。我们优先从图灵完备的角度出发，所以我们第一版逻辑设计器相对比较复杂，第二版本规划中会类似模型设计器推出专家版和经典版。 界面设计器 界面设计器第一版会先支撑后端页面在线自定义，后边将陆续推出前端页面、多端能力。为了支持多端和2C页面的设计，我们对前后端协议做了比较大的改造。目前设计器已经支持完全基于V3的前后端协议。 数据可视化 数据可视化支持从内部系统模型获取数据内容后，根据业务需求自定义图表，目的是为企业提供更高效的数据分析工具。 与市场同类产品相比，我们的数据可视化产品：不需要前置维护数据源、进行数据转换；可智取业务系统模型，系统自动解析选择的模型、接口、表格中的字段后进行数据分析；降低对数据分析人员研发能力要求的同时，也提升了数据分析的效率。 流程设计器 Oinone流程设计器为业务流程和审批流程提供了可自动执行的流程模型：通过定义流转过程中的各个动作、规则，以此实现流程自动化。在Oinone流程设计器中，流程可以跨应用设计，不同应用的模型之间可以通过同一流程执行。

  史, 昂

  2024年5月23日

  1.0K002