相关推荐

• 中间件

  RocketMQ如何配置日志路径和日志自动清理规则

  RocketMQ的日志路径和日志自动清理规则可以通过以下方式进行配置： 配置日志路径 对于RocketMQ客户端： RocketMQ客户端日志默认存储在系统盘的特定位置，但你可以通过JVM启动参数来修改日志的输出路径。例如，在启动Java应用时，可以通过 -Dlogging.path 或 -Drocketmq.client.logRoot 参数指定日志根目录。例如： java -Drocketmq.client.logRoot=/path/to/your/log/directory -jar your_application.jar 对于RocketMQ服务端（Broker和NameServer）： RocketMQ服务端的日志路径通常在 conf/logback_broker.xml（对于Broker）和 conf/logback_namesrv.xml（对于NameServer）配置文件中定义。你可以在这些XML配置文件中修改 <property name="LOG_HOME"> 的值来改变日志存储路径。 配置日志自动清理规则 RocketMQ服务端提供了日志滚动策略来自动清理旧日志，这通常在上述提到的 logback_broker.xml 和 logback_namesrv.xml 文件中通过Logback的RollingPolicy配置实现。例如，可以配置文件大小限制、保留文件数量等： <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"> <file>${LOG_HOME}/rocketmq.log</file> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <!– 按天滚动日志文件 –> <fileNamePattern>${LOG_HOME}/archived/rocketmq.%d{yyyy-MM-dd}.%i.log</fileNamePattern> <!– 保留最多30天的日志 –> <maxHistory>30</maxHistory> <!– 单个日志文件最大大小，默认RocketMQ不直接支持配置此参数，但可通过Logback的SizeAndTimeBasedFNATP配置间接控制 –> <!–<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">–> <!–<maxFileSize>100MB</maxFileSize>–> <!–</timeBasedFileNamingAndTriggeringPolicy>–> </rollingPolicy> … </appender> 请注意，虽然RocketMQ客户端日志默认不直接支持配置单个日志文件大小，但你可以通过外部日志框架（如Logback或Log4j）的配置来间接影响日志文件的大小管理。 对于日志清理，RocketMQ本身对于消息存储的文件有自动清理机制，但针对日志文件的自动清理主要依赖于日志框架的配置，如上述Logback的配置示例所示。 确保在修改任何配置前备份原有的配置文件，并且理解修改可能对系统监控和故障排查造成的影响。

  nation

  2024年5月28日

  2.8K000
• 中间件

  开源日志平台：Graylog部署及接入

  一、部署Graylog Graylog总共需要3个服务：graylog服务端、mongodb（存储graylog的配置）、elasticSeach（存储日志）本文档部署方案介绍： graylog服务端、mongodb（存储graylog的配置）使用docker-compose部署 elasticSeach 引用外部地址 1. 安装docker、安装docker-compose 这部分直接参考互联网上的教程：链接 2. 通过docker-compose部署graylog 服务器上新建一个 graylog的目录，并在该目录下新建 docker-compose.yml version: '3' services: mongo: image: mongo:5.0 container_name: mongo volumes: – /data/docker/graylog/mongo_data:/data/db networks: – graylog ports: – 27017:27017 environment: – TZ=Asia/Shanghai healthcheck: test: ["CMD", "mongo", "–eval", "db.adminCommand('ping')"] interval: 30s timeout: 10s retries: 5 graylog: image: graylog/graylog:5.2 container_name: graylog depends_on: mongo: condition: service_healthy environment: – GRAYLOG_ROOT_PASSWORD_SHA2=xxxxx #sha2生成的密码，可以服务器通过命令获取：echo -n yournewpassword | sha256sum – GRAYLOG_PASSWORD_SECRET=xxxxx #随机生成的secret，长度超过32位，可以自己生成 – GRAYLOG_HTTP_ENABLE_TLS=false – GRAYLOG_TIMEZONE=Asia/Shanghai – GRAYLOG_MONGO_URI=mongodb://mongo:27017/graylog – GRAYLOG_ELASTICSEARCH_VERSION=7 – GRAYLOG_ELASTICSEARCH_HOSTS=http://es账户:es密码@es地址:9200 – GRAYLOG_ELASTICSEARCH_USER=es账户 – GRAYLOG_ELASTICSEARCH_PASSWORD=es密码 – GRAYLOG_HTTP_EXTERNAL_URI=http://访问地址/ – GRAYLOG_HTTP_PUBLISH_URI=http://访问地址/ – GRAYLOG_PLUGIN_SYSTEM_LANGUAGESELECTOR_DEFAULT_LOCALE=zh_CN – TZ=Asia/Shanghai networks: – graylog ports: – "9000:9000" – "514:514" – "514:514/udp" – "12201:12201" – "12201:12201/udp" volumes: mongo_data: driver: local graylog_data: driver: local networks: graylog: driver: bridge 上面的配置根据自己的环境，重新配置。注意点：elasticSearch如果存在账密的化，参考下GRAYLOG_ELASTICSEARCH_XXX这几个配置，进行调整。 3. 启动graylog # 1. 启动执行 docker-compose up -d # 2. 如果希望调整docker-compose.yml的配置，需要先关闭，再重启 ## 2.1 先关闭graylog的应用 docker-compose down ## 2.2 修改完文件后，再执行启动命令 docker-compose up -d # 3.查看启动日志，确认是否完成启动 docker logs mongo; docker logs graylog; 4. 配置graylog 日志传输，建议采用UDP协议，其次包括graylog的踩坑记录，参考如下文档：参考1参考2 二、java应用接入Graylog 1. pom新增依赖 <!–logback gelf日志收集–> <dependency> <groupId>biz.paluch.logging</groupId> <artifactId>logstash-gelf</artifactId> <version>1.15.0</version> </dependency> 2. 配置logback.xml文件，同时增加traceId、spanId方便链路日志的追踪 a. 配置 Logback 以支持 MDC，在 logback.xml 中配置 GelfLogbackAppender，并确保包括 traceId 和 spanId 字段： <configuration> <appender name="GELF" class="biz.paluch.logging.gelf.logback.GelfLogbackAppender"> <host>udp:graylog的地址</host> <!– graylog 服务器ip –> <port>graylog开放的端口</port>…

  冯, 天宇

  2024年5月30日

  2.5K001
• 后端

  【PostgreSQL】后端部署使用PostgreSQL数据库

  PostgreSQL数据库配置 驱动配置 Maven配置（14.3版本可用） <postgresql.version>42.6.0</postgresql.version> <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>${postgresql.version}</version> </dependency> 离线驱动下载 postgresql-42.2.18.jarpostgresql-42.6.0.jarpostgresql-42.7.3.jar JDBC连接配置 pamirs: datasource: base: type: com.alibaba.druid.pool.DruidDataSource driverClassName: org.postgresql.Driver url: jdbc:postgresql://127.0.0.1:5432/pamirs?currentSchema=base username: xxxxxx password: xxxxxx 连接url配置 暂无官方资料 url格式 jdbc:postgresql://${host}:${port}/${database}?currentSchema=${schema} 在jdbc连接配置时，${database}和${schema}必须完整配置，不可缺省。 其他连接参数如需配置，可自行查阅相关资料进行调优。 方言配置 pamirs方言配置 pamirs: dialect: ds: base: type: PostgreSQL version: 14 major-version: 14.3 pamirs: type: PostgreSQL version: 14 major-version: 14.3 数据库版本 type version majorVersion 14.x PostgreSQL 14 14.3 PS：由于方言开发环境为14.3版本，其他类似版本（14.x）原则上不会出现太大差异，如出现其他版本无法正常支持的，可在文档下方留言。 schedule方言配置 pamirs: event: enabled: true schedule: enabled: true dialect: type: PostgreSQL version: 14 major-version: 14.3 type version majorVersion PostgreSQL 14 14.3 PS：由于schedule的方言在多个版本中并无明显差异，目前仅提供一种方言配置。 其他配置 逻辑删除的值配置 pamirs: mapper: global: table-info: logic-delete-value: (EXTRACT(epoch FROM CURRENT_TIMESTAMP) * 1000000 + EXTRACT(MICROSECONDS FROM CURRENT_TIMESTAMP))::bigint PostgreSQL数据库用户初始化及授权 — init root user (user name can be modified by oneself) CREATE USER root WITH PASSWORD 'password'; — if using automatic database and schema creation, this is very important. ALTER USER root CREATEDB; SELECT * FROM pg_roles; — if using postgres database, this authorization is required. GRANT CREATE ON DATABASE postgres TO root;

  oinone

  2023年11月1日

  817001
• 后端部署

  数据源配置使用注意事项

  启动工程的application.yml内可以通过ds-map为每个模块配置数据源，未在ds-map指定的会根据default-ds-key的值设置默认的数据源, 1. 共一套base库的所有启动工程，相同模块的dsKey名称一定要是一样的 2. 如果有需求2个启动工程中对同一个模块要区分库，如：2个启动工程的“用户user模块”读不同的库，那么需要将配置中“用户user模块”的dsKey配置一致，然后在各自启动工程配置中的数据库链接地址填不一样

  nation

  2024年7月25日

  1.4K000
• Oinone FAQ

  如何排查启动依赖错误的问题

  场景 启动的时候可能会出现以下错误提示 启动模块中包含jar包或者数据库中不存在的模块 启动模块中包含不存在的模块 启动模块互斥模块中包含已安装模块 排查项 确保启动工程的application.yml中的启动模块pamirs.boot.modules配置项内的模块在pom.xml内依赖了对应模块的jar包 确保出问题的模块的定义文件内的包扫描前缀packagePrefix方法内的路径定义正确，该路径可以是多个，但是一定要包含模块下所有子工程的路径，包括但不限于api子工程、core工程等，另外该路径也不能和其他模块的配置有重复、交集、包含关系（例如：a模块是 aa.bb.cc, b模块是aa.bb，这样b模块的路径就包含了a模块的） 启动类里spring自带的@ComponentScan.basePackages注解项需要包含所有依赖模块的路径 无代码应用创建的时候，配置了依赖模块。但这个依赖没有被本地安装，该模块就会出问题，要么删除该依赖，要么在代码里添加该依赖。

  nation

  2024年7月18日

  1.1K000