相关推荐

• 中间件

  开源日志平台：Graylog部署及接入

  一、部署Graylog Graylog总共需要3个服务：graylog服务端、mongodb（存储graylog的配置）、elasticSeach（存储日志）本文档部署方案介绍： graylog服务端、mongodb（存储graylog的配置）使用docker-compose部署 elasticSeach 引用外部地址 1. 安装docker、安装docker-compose 这部分直接参考互联网上的教程：链接 2. 通过docker-compose部署graylog 服务器上新建一个 graylog的目录，并在该目录下新建 docker-compose.yml version: '3' services: mongo: image: mongo:5.0 container_name: mongo volumes: – /data/docker/graylog/mongo_data:/data/db networks: – graylog ports: – 27017:27017 environment: – TZ=Asia/Shanghai healthcheck: test: ["CMD", "mongo", "–eval", "db.adminCommand('ping')"] interval: 30s timeout: 10s retries: 5 graylog: image: graylog/graylog:5.2 container_name: graylog depends_on: mongo: condition: service_healthy environment: – GRAYLOG_ROOT_PASSWORD_SHA2=xxxxx #sha2生成的密码，可以服务器通过命令获取：echo -n yournewpassword | sha256sum – GRAYLOG_PASSWORD_SECRET=xxxxx #随机生成的secret，长度超过32位，可以自己生成 – GRAYLOG_HTTP_ENABLE_TLS=false – GRAYLOG_TIMEZONE=Asia/Shanghai – GRAYLOG_MONGO_URI=mongodb://mongo:27017/graylog – GRAYLOG_ELASTICSEARCH_VERSION=7 – GRAYLOG_ELASTICSEARCH_HOSTS=http://es账户:es密码@es地址:9200 – GRAYLOG_ELASTICSEARCH_USER=es账户 – GRAYLOG_ELASTICSEARCH_PASSWORD=es密码 – GRAYLOG_HTTP_EXTERNAL_URI=http://访问地址/ – GRAYLOG_HTTP_PUBLISH_URI=http://访问地址/ – GRAYLOG_PLUGIN_SYSTEM_LANGUAGESELECTOR_DEFAULT_LOCALE=zh_CN – TZ=Asia/Shanghai networks: – graylog ports: – "9000:9000" – "514:514" – "514:514/udp" – "12201:12201" – "12201:12201/udp" volumes: mongo_data: driver: local graylog_data: driver: local networks: graylog: driver: bridge 上面的配置根据自己的环境，重新配置。注意点：elasticSearch如果存在账密的化，参考下GRAYLOG_ELASTICSEARCH_XXX这几个配置，进行调整。 3. 启动graylog # 1. 启动执行 docker-compose up -d # 2. 如果希望调整docker-compose.yml的配置，需要先关闭，再重启 ## 2.1 先关闭graylog的应用 docker-compose down ## 2.2 修改完文件后，再执行启动命令 docker-compose up -d # 3.查看启动日志，确认是否完成启动 docker logs mongo; docker logs graylog; 4. 配置graylog 日志传输，建议采用UDP协议，其次包括graylog的踩坑记录，参考如下文档：参考1参考2 二、java应用接入Graylog 1. pom新增依赖 <!–logback gelf日志收集–> <dependency> <groupId>biz.paluch.logging</groupId> <artifactId>logstash-gelf</artifactId> <version>1.15.0</version> </dependency> 2. 配置logback.xml文件，同时增加traceId、spanId方便链路日志的追踪 a. 配置 Logback 以支持 MDC，在 logback.xml 中配置 GelfLogbackAppender，并确保包括 traceId 和 spanId 字段： <configuration> <appender name="GELF" class="biz.paluch.logging.gelf.logback.GelfLogbackAppender"> <host>udp:graylog的地址</host> <!– graylog 服务器ip –> <port>graylog开放的端口</port>…

  冯, 天宇

  2024年5月30日

  4.4K001
• 中间件

  RocketMQ如何配置日志路径和日志自动清理规则

  RocketMQ的日志路径和日志自动清理规则可以通过以下方式进行配置： 配置日志路径 对于RocketMQ客户端： RocketMQ客户端日志默认存储在系统盘的特定位置，但你可以通过JVM启动参数来修改日志的输出路径。例如，在启动Java应用时，可以通过 -Dlogging.path 或 -Drocketmq.client.logRoot 参数指定日志根目录。例如： java -Drocketmq.client.logRoot=/path/to/your/log/directory -jar your_application.jar 对于RocketMQ服务端（Broker和NameServer）： RocketMQ服务端的日志路径通常在 conf/logback_broker.xml（对于Broker）和 conf/logback_namesrv.xml（对于NameServer）配置文件中定义。你可以在这些XML配置文件中修改 <property name="LOG_HOME"> 的值来改变日志存储路径。 配置日志自动清理规则 RocketMQ服务端提供了日志滚动策略来自动清理旧日志，这通常在上述提到的 logback_broker.xml 和 logback_namesrv.xml 文件中通过Logback的RollingPolicy配置实现。例如，可以配置文件大小限制、保留文件数量等： <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${LOG_HOME}/rocketmq.log</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <!– 按天滚动日志文件 –> <fileNamePattern>${LOG_HOME}/archived/rocketmq.%d{yyyy-MM-dd}.%i.log</fileNamePattern> <!– 保留最多30天的日志 –> <maxHistory>30</maxHistory> <!– 单个日志文件最大大小，默认RocketMQ不直接支持配置此参数，但可通过Logback的SizeAndTimeBasedFNATP配置间接控制 –> <!–<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">–> <!–<maxFileSize>100MB</maxFileSize>–> <!–</timeBasedFileNamingAndTriggeringPolicy>–> </rollingPolicy> … </appender> 请注意，虽然RocketMQ客户端日志默认不直接支持配置单个日志文件大小，但你可以通过外部日志框架（如Logback或Log4j）的配置来间接影响日志文件的大小管理。 对于日志清理，RocketMQ本身对于消息存储的文件有自动清理机制，但针对日志文件的自动清理主要依赖于日志框架的配置，如上述Logback的配置示例所示。 确保在修改任何配置前备份原有的配置文件，并且理解修改可能对系统监控和故障排查造成的影响。

  nation

  2024年5月28日

  4.2K000
• 后端部署

  Docker部署常见问题

  问题1：容器启动出现library initialization failed – unable to allocate file descriptor table – out of memory异常如何处理？ 原因 不同操作系统安装Docker后，容器运行环境并不一致，需要对Docker运行参数进行调整。 解决方案 编辑/etc/systemd/system/docker.service文件， 有些系统该文件位置：/lib/systemd/system/docker.service 查看docker的systemd（docker.service）配置位置 systemctl status docker 查看docker的systemd配置位置 将下列参数进行修改 LimitNOFILE=65535 LimitNPROC=65535 LimitCORE=65535 执行以下脚本 systemctl daemon-reload systemctl restart docker 问题2：容器启动出现library initialization failed – unable to allocate file descriptor table – out of memorypanic: signal: aborted (core dumped)异常如何处理？ 问题现象 1、 按照【问题1】的设置进行配置后，仍然不生效； 2、 尝试修改宿主机系统内核的ulimits，重启docker仍报错。修改docker.service（文件位置：/etc/systemd/system/docker.service文件， 有些系统该文件位置：/lib/systemd/system/docker.service） 解决方案 查看docker的systemd（docker.service）配置位置【问题1】中的办法 在ExecStart命令后加上创建容器的默认ulimit配置，如下，设置容器启动时的ulimit为65535:65535 –default-ulimit nofile=65535:65535 配置好后： ExecStart=/usr/bin/dockerd -H fd:// –containerd=/run/containerd/containerd.sock –default-ulimit nofile=65535:65535 执行以下脚本 systemctl daemon-reload systemctl restart docker 资料参考：https://blog.csdn.net/weixin_42241322/article/details/137122868 问题3：拉取设计器镜像报错 报错信息，拉取镜像harbor.oinone.top连不上。 docker login –username=schhsw_oinone harbor.oinone.top i Info → A Personal Access Token (PAT) can be used instead. To create a PAT, visit https://app.docker.com/settings Password: time="2025-02-27T11:24:58+08:00" level=info msg="Error logging in to endpoint, trying next endpoint" error="Get \"https://harbor.oinone.top/v2/\": dial tcp 0.0.0.0:443: connect: connection refused" Get "https://harbor.oinone.top/v2/": dial tcp 0.0.0.0:443: connect: connection refused kfpt@kfpt-virtual-machine:~$ sudo -i root@kfpt-virtual-machine:~# docker login –username=schhsw_oinone harbor.oinone.top i Info → A Personal Access Token (PAT) can be used instead. To create a PAT, visit https://app.docker.com/settings Password: Error response from daemon: Get "https://harbor.oinone.top/v2/": dial tcp 0.0.0.0:443: connect: connection refused 排查过程： 排除到后面发现原因是DNS配置的问题，换了一个阿里云的IP就可以了

  张博昊

  2025年3月13日

  1.4K000
• 后端部署

  分部式缓存配置优化

  介绍 分布式缓存是为了解决以下2个场景 开发时，设计器和开发者本地业务工程同步元数据用的 多模块分部式部署架构 单机版的生产环境是不需要这个特性的，所以默认的启动配置不建议加分布式缓存的依赖包，只在开发环境开启即可 boot启动工程的pom.xml文件配置示例 <project> <profiles> <profile> <!– 下面配置的值根据 spring.profiles.active 识别 –> <id>dev</id> <!– 开发环境增加分布式依赖，支持设计器可以正确访问业务工程 –> <dependencies> <dependency> <groupId>pro.shushi.pamirs.distribution</groupId> <artifactId>pamirs-distribution-faas</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.distribution</groupId> <artifactId>pamirs-distribution-session</artifactId> </dependency> <dependency> <groupId>pro.shushi.pamirs.distribution</groupId> <artifactId>pamirs-distribution-gateway</artifactId> </dependency> </dependencies> </profile> </profiles> </project>

  nation

  2024年7月10日

  1.8K000
• 部署

  离线无代码docker启动说明（5.1.0）

  1. 安装docker 1.1 Linux内核系统 1.1.1 检查防火墙（以CentOS7为例） 查看防火墙是否开启 systemctl status firewalld 如防火墙处于开启状态，有2种处理方式，选择其中一种，开发环境如内网环境建议选择处理方案1 处理方案1:停止防火墙 systemctl stop firewalld 处理方案2:开放docker镜像内置中间件透出的端口 88：web访问端口 8099：后端Java服务端口 19876：rocketmq的namesrv端口： 6378：缓存redis的端口 3307：数据库mysql的端口 2182：zookeeper的端口 20880：dubbo的通信端口 15555：预留Java的debug端口 10991：rocketmq的broker端口 9999：Nginx文件系统的端口 查看防火墙已经开放的端口 firewall-cmd –list-ports # 防火墙新增开放端口示例： firewall-cmd –permanent –zone=public –add-port=88/tcp #新增以后生效需要重新加载防火墙 systemctl reload firewalld #查看端口是否开放成功 firewall-cmd –list-ports 也可以从外部使用telnet命令检查端口是否开放成功，如telnet 192.168.0.121 3307 1.1.2 官方安装地址(已安装请忽略)：https://docs.docker.com/engine/install/centos/ yum install -y yum-utils yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo 如果docker这个源异常可以用阿里云的源 #yum-config-manager –add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin #启动docker systemctl start docker #查看是否安装成功 docker -v 如果无法访问官网，参考阿里云 https://developer.aliyun.com/mirror/docker-ce?spm=a2c6h.13651102.0.0.57e31b11lhSNtT 1.1.3 可使用一键安装脚本 wget https://pamirs.oss-cn-hangzhou.aliyuncs.com/docker/quick-install.sh sh quick-install.sh 1.2 无公网环境Linux系统 需要根据指定的版本以及内核架构来生成对应docker以及镜像包 在已经安装docker环境下 下载离线镜像包：https://pamirs.oss-cn-hangzhou.aliyuncs.com/docker/oinone-designer-full-v5.1.5.4.tar 执行导入镜像：docker load -i oinone-designer-full-v5.1.5.4.tar 2. 解压提供的部署.zip 部署.zip包含： settings-3.6.3.xml：拉取平台jar的maven仓库settings，对应maven版本3.6.x settings-3.8.x.xml：拉取平台jar的maven仓库settings，对应maven版本3.8.x pamirs-demo：后端示例工程 oinone-op-ds-all-full：包含所有中间件及前后端工程，用于启动docker脚本 license：平台证书 docker和mvn账号信息.md 4. 修改startup.sh中的路径 4.1 linux环境修改参数 在文件中找到如下configDir=$(pwd)version=5.1.5.4IP=192.168.0.121 configDir的路径（下载oinone-op-ds-xx.zip解压后的路径） 修改对应的镜像版本号 修改对应的IP为docker宿主机IP 4.2 window环境修改参数 在文件中找到如下set configDir=/d/shushi/docker/oinone-op-ds-all-fullset version=5.1.5.4set IP=192.168.0.121 修改configDir的路径（（下载oinone-op-ds-xx.zip解压后的路径） 修改对应的镜像版本号 修改对应的IP为docker宿主机IP 5. (用oinone-op-ds-all-full版本可跳过)修改conf/application.yml 对应中间件的配置：指定对应IP和端口或密码，把其中192.168.0.121改为宿主机IP zookeeper mysql rocket-mq redis 【推荐】推荐把数据库外置到容器外面，确保容器升级和重启后数据能够保留。 6.修改conf/application.yml中OSS的配置 cdn: oss: name: 本地文件NG系统 type: LOCAL bucket: # uploadUrl 这个是Oinone后端服务地址和端口。 把其中192.168.0.121改为宿主机IP uploadUrl: http://192.168.0.121:8099 # downloadUrl前端地址，即直接映射在nginx的静态资源的路径和端口。 把其中192.168.0.121改为宿主机IP downloadUrl: http://192.168.0.121:9999 validTime: 3600000 timeout: 600000 active: true referer: # 本地Nginx静态资源目录 localFolderUrl: /opt/pamirs/static # 使用客户自己的CDN的图片，否则系统默认的从数式的CDN中获取 appLogoUseCdn: true 7. 修改mq/broker.conf（**注意：使用allinone-full包含中间件版本） 修改其中brokerIP1的IP从192.168.0.121改成宿主机IP brokerClusterName = DefaultCluster namesrvAddr=127.0.0.1:9876 brokerIP1=192.168.0.121 brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER…

  望闲

  2024年8月21日

  1.6K000