分部式缓存配置优化

相关推荐

• 后端

  【HighGo】后端部署使用HighGo数据库

  HighGo数据库配置 驱动配置 jdbc仓库 https://mvnrepository.com/artifact/com.highgo/HgdbJdbc Maven配置（6.0.1版本可用） <highgo.version>6.0.1.jre8</highgo.version> <dependency> <groupId>com.highgo</groupId> <artifactId>HgdbJdbc</artifactId> <version>${highgo.version}</version> </dependency> JDBC连接配置 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.highgo.jdbc.Driver url: jdbc:highgo://127.0.0.1:5866/oio_base?currentSchema=base,utl_file username: xxxxxx password: xxxxxx initialSize: 5 maxActive: 200 minIdle: 5 maxWait: 60000 timeBetweenEvictionRunsMillis: 60000 testWhileIdle: true testOnBorrow: false testOnReturn: false poolPreparedStatements: true asyncInit: true 连接url配置 官方文档 https://www.highgo.com/document/zh-cn/application/jdbc.html url格式 jdbc:highgo://ip:端口号/数据库名?currentSchema=schema1,schema2 在jdbc连接配置时，${database}和${schema}必须完整配置，不可缺省。 jdbc指定schema时可以在currentSchema后指定多个schema，中间用,分隔，第一个schema为业务库表存放的主schema。 highgo数据库6.0版本里每个数据库默认会带一个utl_file的schema，该模式与文件访问功能有关，需要带在jdbc的schema中，但不能放在第一个。 其他连接参数如需配置，可自行查阅相关资料进行调优。 方言配置 pamirs方言配置 pamirs: dialect: ds: base: type: HighGoDB version: 6 major-version: 6.0.1 biz_data: type: HighGoDB version: 6 major-version: 6.0.1 数据库版本 type version majorVersion 6.0.x HighGo 6 6.0.1 PS：由于方言开发环境为6.0.1版本，其他类似版本（6.0.x）原则上不会出现太大差异，如出现其他版本无法正常支持的，可在文档下方留言。 schedule方言配置 pamirs: event: enabled: true schedule: enabled: true dialect: type: HighGoDB version: 6 major-version: 6.0.1 其他配置 逻辑删除的值配置 pamirs: mapper: global: table-info: logic-delete-value: (EXTRACT(epoch FROM CURRENT_TIMESTAMP) * 1000000 + EXTRACT(MICROSECONDS FROM CURRENT_TIMESTAMP))::bigint Highgo数据库用户初始化及授权 — init oio_base user (user name can be modified by oneself) CREATE USER oio_base WITH PASSWORD 'Test@12345678'; — if using automatic database and schema creation, this is very important. ALTER USER oio_base CREATEDB; SELECT * FROM pg_roles; — if using highgo database, this authorization is required. GRANT CREATE ON DATABASE highgo TO oio_base;

  Gesi

  1天前

  11000
• 后端

  Oinone离线部署设计器镜像

  概述 Oinone平台为合作伙伴提供了多种部署方式，这篇文章将介绍如何在私有云环境部署Oinone平台Docker镜像。 本文以5.2.20.1版本为例进行介绍，使用amd64架构的体验镜像进行部署。具体版本号以数式提供的为准 部署环境要求 包含全部中间件及设计器服务的环境要求 CPU：8 vCPU 内存（RAM）：16G以上 硬盘（HDD/SSD）：60G以上 仅设计器服务的环境要求 CPU：8 vCPU 内存（RAM）：8G以上 硬盘（HDD/SSD）：40G以上 部署准备 一台安装了Docker环境的服务器（私有云环境）；以下简称部署环境； 一台安装了Docker环境的电脑（可访问公网）；以下简称本地环境； 部署清单 下面列举了文章中在本地环境操作结束后的全部文件： 设计器镜像：oinone-designer-full-v5-5.2.20.1-amd64.tar 离线部署结构包：oinone-designer-full-standard-offline.zip Oinone许可证：****-trial.lic（实际文件名以Oinone颁发的许可证为准） 第三方数据库驱动包（非MySQL数据库必须） PS：如需一次性拷贝所有部署文件到部署环境，可以将文档步骤在本地环境执行后，一次性将所有文件进行传输。 在部署环境创建部署目录 mkdir -p /home/admin/oinone-designer-full mkdir -p /home/admin/oinone-designer-full/images 检查部署环境服务器架构 确认部署环境是amd64还是arm64架构，若本文提供的查看方式无法正确执行，可自行搜索相关内容进行查看。 使用uname命令查看 uname -a PS：此步骤非常重要，如果部署环境的服务器架构与本地环境的服务器架构不一致，将导致镜像无法正确启动。 在本地环境准备镜像 在Oinone发布版本一览中选择最新版本的发布日志，找到需要部署的镜像版本。 登录Oinone镜像仓库（若已登录，可忽略此步骤） docker login https://harbor.oinone.top # input username # input password 获取Oinone平台镜像 docker pull harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.20.1-amd64 保存镜像到.tar文件 docker save -o oinone-designer-full-v5-5.2.20.1-amd64.tar oinone-designer-full-v5.2:5.2.20.1-amd64 若报错`Error response from daemon: reference does not exist`脚本改成下面这个： docker save -o oinone-designer-full-v5-5.2.20.1-amd64.tar harbor.oinone.top/oinone/oinone-designer-full-v5.2:5.2.20.1-amd64 # docker save [OPTIONS] IMAGE [IMAGE…] 上传.tar到部署环境 scp ./oinone-designer-full-v5-5.2.20.1-amd64.tar admin@127.0.0.1:/home/admin/oinone-full/images/ PS：若无法使用scp方式上传，可根据部署环境的具体情况将镜像文件上传至部署环境的部署目录。 在部署环境加载镜像 加载镜像文件到Docker中 cd /home/admin/oinone-full/images docker load -i oinone-designer-full-v5-5.2.20.1-amd64.tar 查看镜像是否正确加载 docker images 查看输出内容，对比REPOSITORY、TAG、IMAGE ID与本地环境完全一致即可。 设计器服务部署 为了方便起见，服务器操作文件显得不太方便，因此，我们可以在本地环境将部署脚本准备妥善后，传输到部署环境进行部署结构包（oinone-designer-full-standard-offline.）需上传到要部署的服务器中，后面的操作均在这个目中进行 下载离线部署结构包（以数式发出的为准） oinone-designer-full-standard-offline.zip 将Pamirs许可证移动到config目录下，并重命名为****-trial.lic（实际文件名以Oinone颁发的许可证为准） mv ****-trial.lic config/****-trial.lic 加载非MySQL数据库驱动（按需） 将驱动jar文件移动到lib目录下即可。 以KDB8数据库驱动kingbase8-8.6.0.jar为例 mv kingbase8-8.6.0.jar lib/ PS：lib目录为非设计器内置包的外部加载目录（外部库），可以添加任何jar包集成到设计器中。 修改脚本中的配置 修改启动脚本startup.sh 修改对应的镜像版本号， 将IP从192.168.0.121改成宿主机IP configDir=$(pwd) version=5.1.16 IP=192.168.0.121 修改mq/broker.conf 修改其中brokerIP1的IP从192.168.0.121改成宿主机IP brokerClusterName = DefaultCluster namesrvAddr=127.0.0.1:9876 brokerIP1=192.168.0.121 brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH autoCreateTopicEnable=true listenPort=10991 transactionCheckInterval=1000 #存储使用率阀值，当使用率超过阀值时，将拒绝发送消息请求 diskMaxUsedSpaceRatio=98 #磁盘空间警戒阈值，超过这个值则停止接受消息，默认值90 diskSpaceWarningLevelRatio=99 #强制删除文件阈值，默认85 diskSpaceCleanForciblyRatio=97 执行startup.sh脚本启动 sh startup.sh 访问服务 使用http://127.0.0.1:88访问服务

  张博昊

  2024年11月1日

  560000
• 后端

  Oinone设计器部署参数说明

  概述 Oinone提供两种设计器部署方式，合作伙伴可以自行选择适合自己的部署方式。 Docker配置参数 环境变量 ARG_ENV：指定spring.profiles.active（默认：dev） ARG_LIFECYCLE：指定-Plifecycle（默认：INSTALL） JVM_OPTIONS：jvm参数 PROGRAM_ARGS：程序参数 JVM_OPTIONS和PROGRAM_ARGS参数说明 java [JVM_OPTIONS?] -jar boot.jar [PROGRAM_ARGS?] 端口说明 PS：以下为目前设计器镜像的全部端口，不同类型镜像的端口由于内置服务不同，使用的端口数量不同，但端口号是完全一致的。 80：前端服务端口（设计器访问入口） 8091：后端服务端口 8093：后端EIP服务端口 20880：Dubbo端口 3306：内置MySQL端口 2181：内置Zookeeper端口 6379：内置Redis端口 9876/10991：内置RocketMQ端口 9999：内置本地OSS默认端口 挂载目录说明（挂载虚拟卷） /opt/pamirs为镜像的工作目录，所有挂载目录均在该目录下。 /opt/pamirs/ext：应用配置文件目录；包含application.yml、logback.xml、license.lic等配置文件 /opt/pamirs/nginx/vhost：Nginx配置文件目录 /opt/pamirs/logs：后端服务日志目录 /opt/mq/conf/broker.conf：RocketMQ的broker配置文件 /opt/pamirs/outlib：非设计器内置包的外部加载目录（外部库），可以添加任何jar包集成到设计器中。 /opt/pamirs/dist：前端服务目录 /opt/pamirs/static：前端静态文件目录；LOCAL类型的OSS上传和下载目录； docker run启动常用参数 -e：指定环境变量 -p：指定端口映射 -v：指定挂载目录（挂载虚拟卷） docker run [OPTIONS] IMAGE [COMMAND] [ARG…] docker compose启动常用配置 services: container: image: $IMAGE container_name: $CONTAINER_NAME restart: always # docker run -e environment: KEY1: VALUE1 KEY2: VALUE2 … # docker run -p ports: – $machinePort1:$containerPort1 – $machinePort2:$containerPort2 … # docker run -v volumes: – $machinePath1:$containerPath1 – $machinePath2:$containerPath2 … docker compose常用命令 # 使用docker-compose.yaml启动 docker compose up -d # 使用docker-compose.yaml停止并删除容器 docker compose down -v # 指定配置文件启动 docker compose -f config.yaml up -d # 指定配置文件停止并删除容器 docker compose -f config.yaml down -v JAR包方式启动 下载Oinone专属启动器 oinone-boot-starter.zip 启动命令变化 # 原命令 java -jar boot.jar # 变更后命令 boot-starter java -jar boot.jar PS：更多命令可查看后端无代码设计器Jar包启动方法

  张博昊

  2024年11月4日

  889000
• 后端部署

  nginx如何配置后端服务的负载均衡

  要在Nginx中实现对同一套服务部署两遍并且按比例分配请求，你可以利用Nginx的负载均衡功能。具体做法如下： 步骤 1: 配置 upstream 首先，在Nginx的配置文件（通常是/etc/nginx/nginx.conf或/etc/nginx/sites-available/default，具体路径可能因系统而异）中定义一个upstream块，列出你的两个服务实例。这里假设你的两个服务实例运行在相同的主机上，但监听不同的端口，例如8080和8081。 http { upstream backend { server 192.168.1.100:8091 weight=1; server 192.168.1.101:8091 weight=1; } # … } 在这个例子中，weight=1表示两个服务实例具有相同的权重，Nginx会尽量以1:1的比例分配请求给这两个实例。 步骤 2: 配置 location 或 server 块 接着，在配置文件中找到或添加一个server块，然后在其中的location指令内指定使用刚刚定义的upstream。 server { listen 80; server_name your.domain.com; location / { proxy_pass http://backend; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } } 这里的proxy_pass http://backend;告诉Nginx将请求转发到名为backend的upstream定义的服务器列表中。 步骤 3: 重启Nginx 最后，保存配置文件并重启Nginx以使更改生效。 sudo nginx -t # 先测试配置是否正确 sudo systemctl restart nginx # 或者 service nginx restart，取决于你的系统 注意事项 确保你的两个服务实例是完全独立且状态同步的，以避免数据不一致或服务故障。 使用weight参数可以调整分配策略，如果你想改变分配比例，可以通过修改weight值来实现。 考虑到高可用性，还可以配置max_fails和fail_timeout等参数来处理失败的后端连接。

  nation

  2024年6月5日

  986000
• 后端部署

  如何配置文件存储地址为相对路径

  介绍 大部分情况下，文件存储的配置都会配置uploadUrl和downloadUrl的值，这样图片和文件类型的业务字段会存储带域名的全路径文件地址，但是有些场景需要用户在专有内网的时候访问内网的文件存储地址，用户在公网的时候通过公网访问（一般情况下这个公网ip内部最后还是会转发到内网）文件存储地址，这个时候就要求存在数据库字段里的不能是全路径的地址，只能是想相对路径，这个时候可以通过前端访问的域名用nginx转发当前域名下的文件请求到所匹配环境的ip内的文件存储服务。 配置参考 cdn: oss: name: 本地文件NG系统 type: LOCAL bucket: pamirs # 此处可以不配置值，也可以配置相对路径前缀方便做转发 uploadUrl: downloadUrl: validTime: 3600000 timeout: 600000 active: true referer: localFolderUrl: /test/static 文件上传的路径同步配置nginx转发 location ~ /file/upload { // 此处配置为后端服务的ip+端口 proxy_pass http://127.0.0.1:8190; proxy_set_header X-Real-IP $remote_addr; proxy_set_header REMOTE-HOST $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } excel导入场景相对路径在后端代码内无法保存导入的文件 在导入任务的前置hook处理相对文件路径的前缀 package pro.shushi.pamirs.demo.core.hook; import org.apache.commons.lang.StringUtils; import org.springframework.stereotype.Component; import pro.shushi.pamirs.file.api.FileModule; import pro.shushi.pamirs.file.api.model.ExcelImportTask; import pro.shushi.pamirs.meta.annotation.Hook; import pro.shushi.pamirs.meta.api.core.faas.HookBefore; import pro.shushi.pamirs.meta.api.dto.fun.Function; @Component public class DemoExcelImportTaskActionHookBefore implements HookBefore { // 内网访问文件的地址 public static final String INNER_HOST = "http://127.0.0.1:6800"; @Override @Hook(module = {FileModule.MODULE_MODULE}, model = {ExcelImportTask.MODEL_MODEL}, fun = {"createImportTask"}) public Object run(Function function, Object… args) { if (args.length > 0) { ExcelImportTask excelImportTask = (ExcelImportTask) args[0]; if (excelImportTask != null && excelImportTask.getFile() != null && StringUtils.isNotBlank(excelImportTask.getFile().getUrl())) { excelImportTask.getFile().setUrl(INNER_HOST + excelImportTask.getFile().getUrl()); } } return null; } } 注意事项 上面的例子为本地文件NG系统的，如果是阿里云oss、7牛云等第三方文件存储服务，downloadUrl可以按上面方案直接配置，uploadUrl还是要按正常配置

  nation

  2024年6月21日

  1.1K000