From 886bcf85cfd28d802f19f4e3ab00d0ea73418824 Mon Sep 17 00:00:00 2001 From: sunxiqing <2240398334@qq.com> Date: Fri, 21 Feb 2025 10:05:40 +0800 Subject: [PATCH] =?UTF-8?q?feat:=20=E6=B7=BB=E5=8A=A0=20application-ymx.ya?= =?UTF-8?q?ml=20=E9=85=8D=E7=BD=AE=E6=96=87=E4=BB=B6?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 新增 YAML 配置文件，包含服务器、数据库、定时任务、消息队列等配置 - 添加微信公众号和小程序配置 - 配置大模型训练相关 API -包含 IoT 相关配置 --- .../src/main/resources/application-ymx.yaml | 362 ++++++++++++++++++ 1 file changed, 362 insertions(+) create mode 100644 yudao-server/src/main/resources/application-ymx.yaml diff --git a/yudao-server/src/main/resources/application-ymx.yaml b/yudao-server/src/main/resources/application-ymx.yaml new file mode 100644 index 000000000..1ca781df3 --- /dev/null +++ b/yudao-server/src/main/resources/application-ymx.yaml @@ -0,0 +1,362 @@ +server: + port: 48080 + +--- #################### 数据库相关配置 #################### +spring: + # 数据源配置项 + autoconfigure: + exclude: + - com.alibaba.druid.spring.boot.autoconfigure.DruidDataSourceAutoConfigure # 排除 Druid 的自动配置，使用 dynamic-datasource-spring-boot-starter 配置多数据源 + - org.springframework.boot.autoconfigure.quartz.QuartzAutoConfiguration # 默认 local 环境，不开启 Quartz 的自动配置 + - de.codecentric.boot.admin.server.config.AdminServerAutoConfiguration # 禁用 Spring Boot Admin 的 Server 的自动配置 + - de.codecentric.boot.admin.server.ui.config.AdminServerUiAutoConfiguration # 禁用 Spring Boot Admin 的 Server UI 的自动配置 + - de.codecentric.boot.admin.client.config.SpringBootAdminClientAutoConfiguration # 禁用 Spring Boot Admin 的 Client 的自动配置 + datasource: + druid: # Druid 【监控】相关的全局配置 + web-stat-filter: + enabled: true + stat-view-servlet: + enabled: true + allow: # 设置白名单，不填则允许所有访问 + url-pattern: /druid/* + login-username: # 控制台管理用户名和密码 + login-password: + filter: + stat: + enabled: true + log-slow-sql: true # 慢 SQL 记录 + slow-sql-millis: 100 + merge-sql: true + wall: + config: + multi-statement-allow: true + dynamic: # 多数据源配置 + druid: # Druid 【连接池】相关的全局配置 + initial-size: 1 # 初始连接数 + min-idle: 1 # 最小连接池数量 + max-active: 20 # 最大连接池数量 + max-wait: 600000 # 配置获取连接等待超时的时间，单位：毫秒 + time-between-eviction-runs-millis: 60000 # 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位：毫秒 + min-evictable-idle-time-millis: 300000 # 配置一个连接在池中最小生存的时间，单位：毫秒 + max-evictable-idle-time-millis: 900000 # 配置一个连接在池中最大生存的时间，单位：毫秒 + validation-query: SELECT 1 FROM DUAL # 配置检测连接是否有效 + test-while-idle: true + test-on-borrow: false + test-on-return: false + primary: master + datasource: + master: + url: jdbc:mysql://127.0.0.1:3306/xhllm?useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true&nullCatalogMeansCurrent=true&rewriteBatchedStatements=true # MySQL Connector/J 8.X 连接的示例 + username: llm + password: ymxllm123# + slave: # 模拟从库，可根据自己需要修改 + lazy: true # 开启懒加载，保证启动速度 + url: jxdbc:mysql://127.0.0.1:3306/xhllm?useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true&rewriteBatchedStatements=true&nullCatalogMeansCurrent=true + username: llm + password: ymxllm123# + + # Redis 配置。Redisson 默认的配置足够使用，一般不需要进行调优 + redis: + host: 127.0.0.1 # 地址 + port: 6379 # 端口 + database: 0 # 数据库索引 +# password: dev # 密码，建议生产环境开启 + +--- #################### 定时任务相关配置 #################### + +# Quartz 配置项，对应 QuartzProperties 配置类 +spring: + quartz: + auto-startup: true # 本地开发环境，尽量不要开启 Job + scheduler-name: schedulerName # Scheduler 名字。默认为 schedulerName + job-store-type: jdbc # Job 存储器类型。默认为 memory 表示内存，可选 jdbc 使用数据库。 + wait-for-jobs-to-complete-on-shutdown: true # 应用关闭时，是否等待定时任务执行完成。默认为 false ，建议设置为 true + properties: # 添加 Quartz Scheduler 附加属性，更多可以看 http://www.quartz-scheduler.org/documentation/2.4.0-SNAPSHOT/configuration.html 文档 + org: + quartz: + # Scheduler 相关配置 + scheduler: + instanceName: schedulerName + instanceId: AUTO # 自动生成 instance ID + # JobStore 相关配置 + jobStore: + # JobStore 实现类。可见博客：https://blog.csdn.net/weixin_42458219/article/details/122247162 + class: org.springframework.scheduling.quartz.LocalDataSourceJobStore + isClustered: true # 是集群模式 + clusterCheckinInterval: 15000 # 集群检查频率，单位：毫秒。默认为 15000，即 15 秒 + misfireThreshold: 60000 # misfire 阀值，单位：毫秒。 + # 线程池相关配置 + threadPool: + threadCount: 25 # 线程池大小。默认为 10 。 + threadPriority: 5 # 线程优先级 + class: org.quartz.simpl.SimpleThreadPool # 线程池类型 + jdbc: # 使用 JDBC 的 JobStore 的时候，JDBC 的配置 + initialize-schema: NEVER # 是否自动使用 SQL 初始化 Quartz 表结构。这里设置成 never ，我们手动创建表结构。 + +--- #################### 消息队列相关 #################### + +# rocketmq 配置项，对应 RocketMQProperties 配置类 +rocketmq: + name-server: 127.0.0.1:9876 # RocketMQ Namesrv + +spring: + # RabbitMQ 配置项，对应 RabbitProperties 配置类 + rabbitmq: + host: 127.0.0.1 # RabbitMQ 服务的地址 + port: 5672 # RabbitMQ 服务的端口 + username: rabbit # RabbitMQ 服务的账号 + password: rabbit # RabbitMQ 服务的密码 + # Kafka 配置项，对应 KafkaProperties 配置类 + kafka: + bootstrap-servers: 127.0.0.1:9092 # 指定 Kafka Broker 地址，可以设置多个，以逗号分隔 + +--- #################### 服务保障相关配置 #################### + +# Lock4j 配置项 +lock4j: + acquire-timeout: 3000 # 获取分布式锁超时时间，默认为 3000 毫秒 + expire: 30000 # 分布式锁的超时时间，默认为 30 毫秒 + +--- #################### 监控相关配置 #################### + +# Actuator 监控端点的配置项 +management: + endpoints: + web: + base-path: /actuator # Actuator 提供的 API 接口的根目录。默认为 /actuator + exposure: + include: '*' # 需要开放的端点。默认值只打开 health 和 info 两个端点。通过设置 * ，可以开放所有端点。 + +# Spring Boot Admin 配置项 +spring: + boot: + admin: + # Spring Boot Admin Client 客户端的相关配置 + client: + url: http://127.0.0.1:${server.port}/${spring.boot.admin.context-path} # 设置 Spring Boot Admin Server 地址 + instance: + service-host-type: IP # 注册实例时，优先使用 IP [IP, HOST_NAME, CANONICAL_HOST_NAME] + # Spring Boot Admin Server 服务端的相关配置 + context-path: /admin # 配置 Spring + +# 日志文件配置 +logging: + file: + name: /home/ubuntu/soft/logs/xhllm/${spring.application.name}.log # 日志文件名，全路径 + level: + # 配置自己写的 MyBatis Mapper 打印日志 + cn.iocoder.yudao.module.bpm.dal.mysql: debug + cn.iocoder.yudao.module.infra.dal.mysql: debug + cn.iocoder.yudao.module.infra.dal.mysql.logger.ApiErrorLogMapper: INFO # 配置 ApiErrorLogMapper 的日志级别为 info，避免和 GlobalExceptionHandler 重复打印 + cn.iocoder.yudao.module.infra.dal.mysql.job.JobLogMapper: INFO # 配置 JobLogMapper 的日志级别为 info + cn.iocoder.yudao.module.infra.dal.mysql.file.FileConfigMapper: INFO # 配置 FileConfigMapper 的日志级别为 info + cn.iocoder.yudao.module.pay.dal.mysql: debug + cn.iocoder.yudao.module.pay.dal.mysql.notify.PayNotifyTaskMapper: INFO # 配置 PayNotifyTaskMapper 的日志级别为 info + cn.iocoder.yudao.module.system.dal.mysql: debug + cn.iocoder.yudao.module.system.dal.mysql.sms.SmsChannelMapper: INFO # 配置 SmsChannelMapper 的日志级别为 info + cn.iocoder.yudao.module.tool.dal.mysql: debug + cn.iocoder.yudao.module.member.dal.mysql: debug + cn.iocoder.yudao.module.trade.dal.mysql: debug + cn.iocoder.yudao.module.promotion.dal.mysql: debug + cn.iocoder.yudao.module.statistics.dal.mysql: debug + cn.iocoder.yudao.module.crm.dal.mysql: debug + cn.iocoder.yudao.module.erp.dal.mysql: debug + cn.iocoder.yudao.module.iot.dal.mysql: debug + cn.iocoder.yudao.module.ai.dal.mysql: debug + org.springframework.context.support.PostProcessorRegistrationDelegate: ERROR # TODO 芋艿：先禁用，Spring Boot 3.X 存在部分错误的 WARN 提示 + +debug: false + +--- #################### 微信公众号、小程序相关配置 #################### +wx: + mp: # 公众号配置（必填），参见 https://github.com/Wechat-Group/WxJava/blob/develop/spring-boot-starters/wx-java-mp-spring-boot-starter/README.md 文档 + # app-id: wx041349c6f39b268b # 测试号（牛希尧提供的） + # secret: 5abee519483bc9f8cb37ce280e814bd0 + app-id: wx5b23ba7a5589ecbb # 测试号（自己的） + secret: 2a7b3b20c537e52e74afd395eb85f61f + # app-id: wxa69ab825b163be19 # 测试号（Kongdy 提供的） + # secret: bd4f9fab889591b62aeac0d7b8d8b4a0 + # 存储配置，解决 AccessToken 的跨节点的共享 + config-storage: + type: RedisTemplate # 采用 RedisTemplate 操作 Redis，会自动从 Spring 中获取 + key-prefix: wx # Redis Key 的前缀 + http-client-type: HttpClient # 采用 HttpClient 请求微信公众号平台 + miniapp: # 小程序配置（必填），参见 https://github.com/Wechat-Group/WxJava/blob/develop/spring-boot-starters/wx-java-miniapp-spring-boot-starter/README.md 文档 + # appid: wx62056c0d5e8db250 # 测试号（牛希尧提供的） + # secret: 333ae72f41552af1e998fe1f54e1584a + # appid: wx63c280fe3248a3e7 # wenhualian的接口测试号 + # secret: 6f270509224a7ae1296bbf1c8cb97aed + # appid: wxc4598c446f8a9cb3 # 测试号（Kongdy 提供的） + # secret: 4a1a04e07f6a4a0751b39c3064a92c8b + appid: wx66186af0759f47c9 # 测试号（puhui 提供的） + secret: 3218bcbd112cbc614c7264ceb20144ac + config-storage: + type: RedisTemplate # 采用 RedisTemplate 操作 Redis，会自动从 Spring 中获取 + key-prefix: wa # Redis Key 的前缀 + http-client-type: HttpClient # 采用 HttpClient 请求微信公众号平台 + +--- #################### 芋道相关配置 #################### + +# 芋道配置项，设置当前项目所有自定义的配置 +yudao: + captcha: + enable: false # 本地环境，暂时关闭图片验证码，方便登录等接口的测试； + security: + mock-enable: true + pay: + order-notify-url: http://yunai.natapp1.cc/admin-api/pay/notify/order # 支付渠道的【支付】回调地址 + refund-notify-url: http://yunai.natapp1.cc/admin-api/pay/notify/refund # 支付渠道的【退款】回调地址 + transfer-notify-url: http://yunai.natapp1.cc/admin-api/pay/notify/transfer # 支付渠道的【转账】回调地址 + access-log: # 访问日志的配置项 + enable: false + demo: false # 关闭演示模式 + wxa-code: + env-version: develop # 小程序版本: 正式版为 "release"；体验版为 "trial"；开发版为 "develop" + wxa-subscribe-message: + miniprogram-state: developer # 跳转小程序类型：开发版为 “developer”；体验版为 “trial”为；正式版为 “formal” + tencent-lbs-key: TVDBZ-TDILD-4ON4B-PFDZA-RNLKH-VVF6E # QQ 地图的密钥 https://lbs.qq.com/service/staticV2/staticGuide/staticDoc + +justauth: + enabled: true + type: + DINGTALK: # 钉钉 + client-id: dingvrnreaje3yqvzhxg + client-secret: i8E6iZyDvZj51JIb0tYsYfVQYOks9Cq1lgryEjFRqC79P3iJcrxEwT6Qk2QvLrLI + ignore-check-redirect-uri: true + WECHAT_ENTERPRISE: # 企业微信 + client-id: wwd411c69a39ad2e54 + client-secret: 1wTb7hYxnpT2TUbIeHGXGo7T0odav1ic10mLdyyATOw + agent-id: 1000004 + ignore-check-redirect-uri: true + # noinspection SpringBootApplicationYaml + WECHAT_MINI_APP: # 微信小程序 + client-id: ${wx.miniapp.appid} + client-secret: ${wx.miniapp.secret} + ignore-check-redirect-uri: true + ignore-check-state: true # 微信小程序，不会使用到 state，所以不进行校验 + WECHAT_MP: # 微信公众号 + client-id: ${wx.mp.app-id} + client-secret: ${wx.mp.secret} + ignore-check-redirect-uri: true + cache: + type: REDIS + prefix: 'social_auth_state:' # 缓存前缀，目前只对 Redis 缓存生效，默认 JUSTAUTH::STATE:: + timeout: 24h # 超时时长，目前只对 Redis 缓存生效，默认 3 分钟 + +--- #################### 大模型训练相关配置 ################### +llm: + backend: + #################### 8123: RAG服务、训练集和标注相关API。 ################### + ### RAG服务 + #RAG健康检查 GET + rag_health: http://127.0.0.1:8123/health + #上传并向量化 POST + rag_embed: http://127.0.0.1:8123/embed + #获取所有向量id GET + rag_ids: http://127.0.0.1:8123/ids + #根据id获取文档 GET + rag_documents: http://127.0.0.1:8123/documents + #根据id删除文档 DEL + rag_documents_del: http://127.0.0.1:8123/documents + #根据file_id检索向量 POST + rag_query: http://127.0.0.1:8123/query + #支持多个文件id查询向量 GET + rag_query_multiple: http://127.0.0.1:8123/query_multiple + # 知识库向量嵌入 + embed: http://127.0.0.1:8123/embed + # 知识库查询 + embed_query: http://127.0.0.1:8123/query + + #### LLM train and service api 训练集、标注相关API + # 训练集列表 GET + dataset_list: http://localhost:8123/api/mgr/datasets/list + # 上传训练集 POST + dataset_create: http://localhost:8123/api/mgr/datasets/create + # 删除训练集 DELETE + dataset_delete: http://localhost:8123/api/mgr/datasets/ + # 训练集标注 GET + annotation_task_list: http://localhost:8123/api/mgr/annotation/task/list + # 标注信息 GET + annotation_task: http://localhost:8123/api/mgr/annotation/task + # 保存标注 POST + annotation_task_save: http://localhost:8123/api/mgr/annotation/task/task-6025001b-692c-44a1-9bc7-2a34bd7c0efe/segment/das-2eedd7bf-3770-4816-a961-b30c446b7a4f/mark + + #################### 9000: 大模型管理、微调任务、文件上传和模型部署相关API。 ################### + # 大模型列表 GET + models_list: http://127.0.0.1:9000/api/models + # 登录 POST + login: http://127.0.0.1:9000/api/auth/login + account: http://127.0.0.1:9000/api/auth/account + login_username: admin + login_password: admin + # 微调任务详情 GET + finetuning_detail: http://127.0.0.1:9000/api/finetuning + # 微调任务取消 + finetuning_cancel: http://127.0.0.1:9000/api/finetuning/%s/cancel + # 微调文件列表 GET + finetuning_file_list: http://127.0.0.1:9000/api/files?purpose=fine-tune + # 模型部署 + model_create: http://127.0.0.1:9000/api/models + # aigc模型推理 + aigc_model_completions: http://127.0.0.1:9000/api/channels/chat/completions + + + #################### 5123: 微调任务、模型部署、文件管理、提示词优化、自动评估、文生图等API。 ################### + # 创建微调任务 POST + # 微调文件上传 + aigc_file_upload: /api/files + finetuning_create: /llm/finetuning + # 日志获取 + finetuning_log: /llm/get_log + # 开始部署 + model_deploy: /llm/deploy + # 取消部署 + model_undeploy: /llm/deploy/stop?deploy_id= + # aigc表数据查询接口 + table_data_query: /table/%s + # 模型文件列表 + model_file_list: /models/?path= + # 模型文件下载 + model_file_download: /models/download/?file_path= + # 提示词优化 + optimize_prompt: /optimize-prompt + # 自动评估 + auto_evaluation: /llm-eval + # 文生图 + text_to_image: /generate-image + # 检查点文件列表 + check_file_list: /llm/finetuning/checkpoints?model_name= + + #################### 30000: 大模型对话相关API。 ################### + #### 大模型对话 + # 模型列表 GET + base_model_list: http://127.0.0.1:30000/model/v1/models + # 模型对话 POST + model_completions: http://127.0.0.1:30000/v1/chat/completions + + #################### 48080: 应用和管理服务相关API。 ################### + application_api: http://localhost:48080/admin-api/llm/application/api/apiKey/chat + + model_service_api: http://localhost:48080/admin-api/llm/model-service/api/apiKey/chat + + +--- #################### iot相关配置 TODO 芋艿：再瞅瞅 #################### +iot: + emq: + # 账号 + username: anhaohao + # 密码 + password: ahh@123456 + # 主机地址 + hostUrl: tcp://chaojiniu.top:1883 + # 客户端Id，不能相同，采用随机数 ${random.value} + client-id: ${random.int} + # 默认主题 + default-topic: test + # 保持连接 + keepalive: 60 + # 清除会话(设置为false,断开连接，重连后使用原来的会话 保留订阅的主题，能接收离线期间的消息) + clearSession: true +#mybatis-plus: +# configuration: +# log-impl: org.apache.ibatis.logging.stdout.StdOutImpl