OSS(CDN)配置和文件系统的一些操作

相关推荐

• 代码实践

  如何使用位运算的数据字典

  场景举例 日常有很多项目，数据库中都有表示“多选状态标识”的字段。在这里用我们项目中的一个例子进行说明一下： 示例一： 表示某个商家是否支持多种会员卡打折（如有金卡、银卡、其他卡等），项目中的以往的做法是：在每条商家记录中为每种会员卡建立一个标志位字段。如图： 用多字段来表示“多选标识”存在一定的缺点：首先这种设置方式很明显不符合数据库设计第一范式，增加了数据冗余和存储空间。再者，当业务发生变化时，不利于灵活调整。比如，增加了一种新的会员卡类型时，需要在数据表中增加一个新的字段，以适应需求的变化。  – 改进设计：标签位flag设计二进制的“位”本来就有表示状态的作用。可以用各个位来分别表示不同种类的会员卡打折支持：这样，“MEMBERCARD”字段仍采用整型。当某个商家支持金卡打折时，则保存“1（0001）”，支持银卡时，则保存“2（0010）”，两种都支持，则保存“3（0011）”。其他类似。表结构如图： 我们在编写SQL语句时，只需要通过“位”的与运算，就能简单的查询出想要数据。通过这样的处理方式既节省存储空间，查询时又简单方便。 //查询支持金卡打折的商家信息：   select * from factory where MEMBERCARD & b'0001'; // 或者：   select * from factory where MEMBERCARD & 1;    // 查询支持银卡打折的商家信息：   select * from factory where MEMBERCARD & b'0010'; // 或者：   select * from factory where MEMBERCARD & 2; 二进制( 位运算)枚举 可以通过@Dict注解设置数据字典的bit属性或者实现BitEnum接口来标识该枚举值为2的次幂。二进制枚举最大的区别在于值的序列化和反序列化方式是不一样的。 位运算的枚举定义示例 import pro.shushi.pamirs.meta.annotation.Dict; import pro.shushi.pamirs.meta.common.enmu.BitEnum; @Dict(dictionary = ClientTypeEnum.DICTIONARY, displayName = "客户端类型枚举", summary = "客户端类型枚举") public enum ClientTypeEnum implements BitEnum { PC(1L, "PC端", "PC端"), MOBILE(1L << 1, "移动端", "移动端"), ; public static final String DICTIONARY = "base.ClientTypeEnum"; private final Long value; private final String displayName; private final String help; ClientTypeEnum(Long value, String displayName, String help) { this.value = value; this.displayName = displayName; this.help = help; } @Override public Long value() { return value; } @Override public String displayName() { return displayName; } @Override public String help() { return help; } } 使用方法示例 API: addTo 和 removeFrom List<ClientTypeEnum> clientTypes = module.getClientTypes(); // addTo ClientTypeEnum.PC.addTo(clientTypes); // removeFrom ClientTypeEnum.PC.removeFrom(clientTypes); 在查询条件中的使用 List<Menu> moduleMenus = new Menu().queryListByWrapper(menuPage, LoaderUtils.authQuery(wrapper).eq(Menu::getClientTypes, ClientTypeEnum.PC));

  nation

  2023年11月24日

  1.4K000
• 开发实践

  灵活敏捷开发，高效交付项目的6个关键

  项目工程管理 项目工程顶层分层 项目分层设计，划分出 CDM层、 标准业务层 、定制业务层； 沉淀领域业务模型至CDM层； 沉底业内通用功能至标准业务层； 客户定制化功能在定制业务层； 项目内部的层级划分 项目包结构管理及规范 pamirs-demo-api constant【常量的包路径】 enums【枚举类的包路径】 model【该领域核⼼模型的包路径】 pmodel【该领域代理模型的包路径】 tmodel【该领域传输模型的包路径】 service【存放该领域的⾮存储模型如：⽤于传输的临时模型】 utils【工具类】 XXModule【该类是Demo模块的定义】 pamirs-demo-core service【接口实现类】 init【模块初始化⼯作的包路径】 manager 【manager是 service的⼀些公共逻辑，不会定义为独⽴的function的类】 pamirs-demo-view（可选） action【模型对外交互的⾏为的包路径】 项目中模块间依赖 禁止出现api模块依赖core模块的情况，api模块只允许依赖api模块； 根据当前项目结构进行模块划分，避免循环依赖； 规划项目模块 项目阶段，代码开发前，业务架构师需充分的理解需求和蓝图，对系统进行业务域, 功能域的划分；例如：对一个电商系统： 提高系统的可维护性：通过将系统拆分为不同的业务域，每个业务域都有清晰的边界和职责，可以独立开发、测试和维护； 提升开发效率：业务域划分可以使开发团队更加专注于自己负责的业务，减少不必要的沟通和协调，提升开发效率； 促进团队合作：通过业务域划分，每个团队可以负责一个或多个业务域，团队成员之间可以有更高效的合作和协同。 支持系统的扩展和演化：业务域划分可以使系统更加灵活和可扩展。当需要新增一个新的业务功能或调整现有的业务逻辑时，只需要修改对应的业务域，而不需要对整个系统进行改动。 项目文档管理 项目文档管理对于项目的实施,项目进度管理，项目后期维护等都是至关重要的。系统详细的产品文档，测试文档，运维文档，开发文档，项目管理文档等。 协同合作：团队成员可以共享和访问项目文档，促进协同合作和信息共享，避免信息孤岛和重复工作。 知识管理：项目中所获得的知识，对项目的成功和后续的知识积累至关重要。通过良好的文档管理，可以确保项目知识的保存和传承，提高组织的知识管理能力。 问题解决：项目文档中记录了项目的需求、决策、问题和解决方案等信息。当出现问题或需要做决策时，可以通过查阅文档来获取相关信息，加快问题解决的速度，并减少错误和重复。 项目追踪：通过文档管理，可以跟踪项目的进展和状态。可以记录项目的里程碑、任务分配、进度更新等信息，帮助团队了解项目的整体情况，及时发现和解决问题。 知识共享：好的文档管理可以促进知识共享和传播。通过将项目文档进行分类、索引和存档，可以使团队成员更容易找到所需的信息，并从中学习和借鉴经验，提高工作效率和质量。 数据库和事务 多表联合查询 减少需要join的操作出现 用多次查询替代 索引相关 核心业务访问DB的Sql 要命中或者覆盖索引，保存核心业务的响应时间； 控制单表的索引数量，注意联合索引 数据一致性：乐观锁控制，unique�等 事务代码示例 事务相关注意点参考【Oinone如何支持构建分布式项目】：https://doc.oinone.top/kai-fa-shi-jian/5572.html

  shao

  2024年2月20日

  1.0K000
• 后端

  EIP开放接口使用MD5验签发起请求（v5.x）

  验签工具类 PS：该验签方法仅在pamirs-core的5.0.16版本以上可正常使用 public class EipSignUtils { public static final String SIGN_METHOD_MD5 = "md5"; private static final String SIGN_METHOD_HMAC = "hmac"; private static final String SECRET_KEY_ALGORITHM = "HmacMD5"; private static final String MESSAGE_DIGEST_MD5 = "MD5"; public static String signTopRequest(Map<String, String> params, String secret, String signMethod) throws IOException { // 第一步：检查参数是否已经排序 String[] keys = params.keySet().toArray(new String[0]); Arrays.sort(keys); // 第二步：把所有参数名和参数值串在一起 StringBuilder query = new StringBuilder(); if (SIGN_METHOD_MD5.equals(signMethod)) { query.append(secret); } for (String key : keys) { String value = params.get(key); if (StringUtils.isNoneBlank(key, value)) { query.append(key).append(value); } } // 第三步：使用MD5/HMAC加密 byte[] bytes; if (SIGN_METHOD_HMAC.equals(signMethod)) { bytes = encryptHMAC(query.toString(), secret); } else { query.append(secret); bytes = encryptMD5(query.toString()); } // 第四步：把二进制转化为大写的十六进制(正确签名应该为32大写字符串，此方法需要时使用) return byte2hex(bytes); } private static byte[] encryptHMAC(String data, String secret) throws IOException { byte[] bytes; try { SecretKey secretKey = new SecretKeySpec(secret.getBytes(StandardCharsets.UTF_8), SECRET_KEY_ALGORITHM); Mac mac = Mac.getInstance(secretKey.getAlgorithm()); mac.init(secretKey); bytes = mac.doFinal(data.getBytes(StandardCharsets.UTF_8)); } catch (GeneralSecurityException e) { throw new IOException(e.toString(), e); } return bytes; } private static byte[] encryptMD5(String data) throws IOException { return encryptMD5(data.getBytes(StandardCharsets.UTF_8)); } private static byte[] encryptMD5(byte[] data) throws IOException { try { MessageDigest md = MessageDigest.getInstance(MESSAGE_DIGEST_MD5); return md.digest(data); } catch (NoSuchAlgorithmException e)…

  张博昊

  2024年6月29日

  1.2K000
• 后端

  Oinone离线部署设计器镜像

  概述 Oinone平台为合作伙伴提供了多种部署方式，这篇文章将介绍如何在私有云环境部署Oinone平台Docker镜像。 本文以5.2.20.1版本为例进行介绍，使用amd64架构的体验镜像进行部署。具体版本号以数式提供的为准 部署环境要求 包含全部中间件及设计器服务的环境要求 CPU：8 vCPU 内存（RAM）：16G以上 硬盘（HDD/SSD）：60G以上 仅设计器服务的环境要求 CPU：8 vCPU 内存（RAM）：8G以上 硬盘（HDD/SSD）：40G以上 部署准备 一台安装了Docker环境的服务器（私有云环境）；以下简称部署环境； 一台安装了Docker环境的电脑（可访问公网）；以下简称本地环境； 部署清单 下面列举了文章中在本地环境操作结束后的全部文件： 设计器镜像：oinone-designer-full-v5-5.2.20.1-amd64.tar 离线部署结构包：oinone-designer-full-standard-offline.zip Oinone许可证：****-trial.lic（实际文件名以Oinone颁发的许可证为准） 第三方数据库驱动包（非MySQL数据库必须） PS：如需一次性拷贝所有部署文件到部署环境，可以将文档步骤在本地环境执行后，一次性将所有文件进行传输。 在部署环境创建部署目录 mkdir -p /home/admin/oinone-designer-full mkdir -p /home/admin/oinone-designer-full/images 检查部署环境服务器架构 确认部署环境是amd64还是arm64架构，若本文提供的查看方式无法正确执行，可自行搜索相关内容进行查看。 使用uname命令查看 uname -a PS：此步骤非常重要，如果部署环境的服务器架构与本地环境的服务器架构不一致，将导致镜像无法正确启动。 在本地环境准备镜像 在Oinone发布版本一览中选择最新版本的发布日志，找到需要部署的镜像版本。 登录Oinone镜像仓库（若已登录，可忽略此步骤） docker login https://harbor.oinone.top # input username # input password 获取Oinone平台镜像 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.20.1-amd64 保存镜像到.tar文件 docker save -o oinone-designer-full-v5-5.2.20.1-amd64.tar oinone-designer-full-v5.2:5.2.20.1-amd64 若报错`Error response from daemon: reference does not exist`脚本改成下面这个： docker save -o oinone-designer-full-v5-5.2.20.1-amd64.tar harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.20.1-amd64 # docker save [OPTIONS] IMAGE [IMAGE…] 上传.tar到部署环境 scp ./oinone-designer-full-v5-5.2.20.1-amd64.tar admin@127.0.0.1:/home/admin/oinone-full/images/ PS：若无法使用scp方式上传，可根据部署环境的具体情况将镜像文件上传至部署环境的部署目录。 在部署环境加载镜像 加载镜像文件到Docker中 cd /home/admin/oinone-full/images docker load -i oinone-designer-full-v5-5.2.20.1-amd64.tar 查看镜像是否正确加载 docker images 查看输出内容，对比REPOSITORY、TAG、IMAGE ID与本地环境完全一致即可。 设计器服务部署 为了方便起见，服务器操作文件显得不太方便，因此，我们可以在本地环境将部署脚本准备妥善后，传输到部署环境进行部署结构包（oinone-designer-full-standard-offline.）需上传到要部署的服务器中，后面的操作均在这个目中进行 下载离线部署结构包（以数式发出的为准） oinone-designer-full-standard-offline.zip 将Pamirs许可证移动到config目录下，并重命名为****-trial.lic（实际文件名以Oinone颁发的许可证为准） mv ****-trial.lic config/****-trial.lic 加载非MySQL数据库驱动（按需） 将驱动jar文件移动到lib目录下即可。 以KDB8数据库驱动kingbase8-8.6.0.jar为例 mv kingbase8-8.6.0.jar lib/ PS：lib目录为非设计器内置包的外部加载目录（外部库），可以添加任何jar包集成到设计器中。 修改脚本中的配置 修改启动脚本startup.sh 修改对应的镜像版本号， 将IP从192.168.0.121改成宿主机IP configDir=$(pwd) version=5.1.16 IP=192.168.0.121 修改mq/broker.conf 修改其中brokerIP1的IP从192.168.0.121改成宿主机IP brokerClusterName = DefaultCluster namesrvAddr=127.0.0.1:9876 brokerIP1=192.168.0.121 brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH autoCreateTopicEnable=true listenPort=10991 transactionCheckInterval=1000 #存储使用率阀值，当使用率超过阀值时，将拒绝发送消息请求 diskMaxUsedSpaceRatio=98 #磁盘空间警戒阈值，超过这个值则停止接受消息，默认值90 diskSpaceWarningLevelRatio=99 #强制删除文件阈值，默认85 diskSpaceCleanForciblyRatio=97 执行startup.sh脚本启动 sh startup.sh 访问服务 使用http://127.0.0.1:88访问服务

  张博昊

  2024年11月1日

  846000
• 后端

  Oinone连接外部数据源方案

  场景描述 在实际业务场景中，有是有这样的需求：链接外部数据进行数据的获取；通常的做法：1、【推荐】通过集成平台的数据连接器，链接外部数据源进行数据操作；2、项目代码中链接数据源，即通过程序代码操作外部数据源的数据； 本篇文章只介绍通过程序代码操作外部数据源的方式. 整体方案 Oinone管理外部数据源，即yml中配置外部数据源； 后端通过Mapper的方式进行数据操作(增/删/查/改)； 调用Mapper接口的时候，指定到外部数据源； 详细步骤 1、数据源配置(application.yml), 与正常的数据源配置一样 out_ds_name(外部数据源别名): driverClassName: com.mysql.cj.jdbc.Driver type: com.alibaba.druid.pool.DruidDataSource # local环境配置调整 url: jdbc:mysql://ip(host):端口/数据库Schema?useSSL=false&allowPublicKeyRetrieval=true&useServerPrepStmts=true&cachePrepStmts=true&useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai&autoReconnect=true&allowMultiQueries=true username: 用户名 password: 命名 initialSize: 5 maxActive: 200 minIdle: 5 maxWait: 60000 timeBetweenEvictionRunsMillis: 60000 testWhileIdle: true testOnBorrow: false testOnReturn: false poolPreparedStatements: true asyncInit: true 2、外部数据源其他配置外部数据源限制创建表结构的执行，可以通过配置指定【不创建DB，不创建数据表】 persistence: global: auto-create-database: true auto-create-table: true ds: out_ds_name(外部数据源别名): # 不创建DB auto-create-database: false # 不创建数据表 auto-create-table: false 3、后端写Mapper SQL Mapper跟使用原生mybaits/mybaits-plus写法一样，无特殊限制； Mapper和SQL写到一起，或者分开两个文件都可以 4、Mapper被Service或者Action调用1）启动的Application中@MapperScan需要扫描到对应的包。2）调用是与普通bean一样（即调用方式跟传统的方式样），唯一的区别就是加上DsHintApi，即指定Mapper所使用的数据源。 @Autowired private ScheduleItemMapper scheduleItemMapper; public saveData(Object data) { ScheduleQuery scheduleQuery = new ScheduleQuery(); //scheduleQuery.setActionName(); try (DsHintApi dsHint = DsHintApi.use(“外部数据源名称”)) { List<ScheduleItem> scheduleItems = scheduleItemMapper.selectListForSerial(scheduleQuery); // 具体业务逻辑 } } 其他参考：如何自定义sql语句：https://doc.oinone.top/backend/4759.html

  望闲

  2024年5月17日

  1.4K002