DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
9,192 Commits 1 Branch 0 Tags
Commit Graph

9192 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Liuyang
9a31e48b0a fix(llm): 处理 OpenAI 错误响应 
- 在 ModelService 中添加对 OpenAI错误响应的处理逻辑
- 当响应数据包含 "object" 和 "message" 字段，且 "object" 值为 "error" 时，抛出运行时异常
- 优化了错误处理机制，提高了系统的稳定性和可靠性
 2025-03-06 14:42:03 +08:00
Liuyang
23bab6a228 feat(menu): 添加菜单的父路径信息 
- 在 MenuDO 和 AuthPermissionInfoRespVO.MenuVO 中添加 parentPath 字段
- 在构建菜单树时，为每个菜单设置父菜单路径
- 优化菜单查询逻辑，批量获取父菜单信息
 2025-03-06 14:29:41 +08:00
sunxiqing
fd3e8fd23f feat(llm): 为 localModel 添加 API URL 设置 
在 BaseModelTaskService 中，为 localModel 添加了 API URL 的设置。这个改动使得 localModel 能够正确地配置 API 访问地址，进一步完善了模型的初始化过程。

- 在设置 chatUrl 的同时，新增了 apiUrl 的设置
- 确保模型状态为 running 时，能够正确处理和更新模型信息
 2025-03-06 14:13:06 +08:00
sunxiqing
c18bedcb68 refactor(llm): 移除基础模型启动和禁用相关代码 
- 注释掉 BaseModelController 中的 active 方法内的 updateReqVO.setIsActive(1)
- 注释掉 BaseModelServiceImpl 中的 updateBaseModel 方法内的更新操作
- 注释掉禁用模型时的 updateReqVO.setIsActive(0) 和 updateBaseModel 调用
 2025-03-06 11:33:16 +08:00
sunxiqing
d95f612dc5 Merge remote-tracking branch 'origin/master' 2025-03-06 11:18:34 +08:00
sunxiqing
75c7b7dca1 feat(server): 添加模型部署相关 API 接口 
- 在 application-dev.yaml、application-local-la.yaml、application-local-ly.yaml 和 application-prod.yaml 中添加了模型部署相关的 API 接口配置
- 新增的接口包括基座模型状态、模型部署和模型删除
- 更新了优化提示词和文生图接口的地址
 2025-03-06 11:17:43 +08:00
Liuyang
7fb6899e14 Merge remote-tracking branch 'origin/master' 2025-03-06 11:01:36 +08:00
sunxiqing
38ec339230 refactor(yudao-module-llm): 调整模型服务日志输出顺序 
- 将行数初始化移至循环开始前 保持代码结构清晰，提高可读性和维护性
 2025-03-06 11:00:47 +08:00
Liuyang
51f008a6a7 Merge remote-tracking branch 'origin/master' 2025-03-06 10:35:09 +08:00
Liuyang
264096beff feat: 添加应用配置文件 
- 新增 application-ymx-docker.yaml 配置文件
-包含服务器、数据库、定时任务、消息队列、监控等配置
- 配置微信公众号、小程序、芋道、大模型训练等相关参数
- 添加 IoT 配置
 2025-03-06 10:34:55 +08:00
sunxiqing
a3944bdf77 refactor(yudao-module-llm): 调整模型服务日志输出顺序 
- 将行数初始化移至循环开始前
 2025-03-06 10:29:52 +08:00
sunxiqing
16338b56d6 refactor(llm): 优化模型部署和删除的代码逻辑 
- 修改模型部署接口的请求参数格式，使用 Map 封装模型名称
- 修改模型删除接口的请求参数格式，使用 Map 封装部署 ID
- 优化代码结构，提高可读性和可维护性
 2025-03-06 10:07:11 +08:00
sunxiqing
031135c5ca refactor(llm): 优化模型状态更新逻辑 
- 移除了对 chatUrl 是否变化的判断，统一进行模型信息更新
-简化了代码结构，提高了可读性和维护性
 2025-03-05 19:19:01 +08:00
sunxiqing
9a47fbef96 feat(llm): 添加模型部署和删除的 API 接口 
- 在 application-ymx.yaml 文件中添加了两个新的 API 接口：
  - 模型部署 (deploy_model)
  - 模型删除 (delete_model)
- 这些接口将用于管理和操作大语言模型的部署状态
 2025-03-05 18:58:56 +08:00
sunxiqing
8288280a9d refactor(module-llm):优化数据处理逻辑 
-增加对 "[DONE]" 响应的处理
- 改进 JSON 数据解析方式
- 添加对 <think> 标签的特殊处理
- 优化日志输出内容
 2025-03-05 18:57:06 +08:00
sunxiqing
6006f3050d feat(llm): 增加模型删除功能并优化模型禁用逻辑 
- 在 LLMBackendProperties 中添加 deleteModel 配置项
- 在 BaseModelServiceImpl 中实现模型禁用时调用删除接口- 更新 application-local.yaml，添加模型删除相关配置
 2025-03-05 18:52:38 +08:00
sunxiqing
b5329b5323 refactor(llm): 更新模型状态逻辑 
- 在更新模型状态时，增加了设置 modelId 的操作- 优化了模型状态为 running 时的处理逻辑
 2025-03-05 18:37:44 +08:00
sunxiqing
1135d3b1b9 refactor(llm): 调整基础模型状态更新任务的执行频率 
- 将 updateTheBaseModelState 方法的执行频率从每分钟一次改为每五分钟一次
-通过修改 @Scheduled 注解的 cron 表达式实现
 2025-03-05 18:30:15 +08:00
sunxiqing
3b9f00cb58 Merge remote-tracking branch 'origin/master' 2025-03-05 18:14:53 +08:00
sunxiqing
61917ce7d5 feat(llm): 添加模型部署接口并优化模型状态更新逻辑 
- 在 application-local.yaml 中添加模型部署接口地址
- 在 BaseModelServiceImpl 中实现模型部署功能
- 优化 BaseModelTaskService 中的模型状态更新逻辑
- 调整模型状态更新的定时任务执行频率
 2025-03-05 18:14:41 +08:00
Liuyang
768c67f898 refactor(yudao-module-llm): 修复知识文档匹配率查询逻辑 
- 将 rightPushIfPresent 方法替换为 rightPush 方法，确保段落匹配率信息总是被添加到 Redis 列表中
- 优化了知识文档匹配率的查询流程，提高了数据的准确性和可靠性
 2025-03-05 17:43:20 +08:00
Liuyang
1138058d74 feat(llm): 为模型补全请求添加分组 ID 参数- 在 modelCompletionsStream 方法中添加 groupId 参数 
- 将 groupId 参数传递给 sendPostRequest 和 handleResponseEntity 方法
- 在 parseStreamLine 方法中为 ChatReqVO 对象添加 groupId 字段
- 优化了代码格式，调整了部分缩进和空格
 2025-03-05 17:23:41 +08:00
Liuyang
35e19396e1 fix(llm): 修复知识库问答中页面内容换行符问题 
- 在提取页面内容后，添加了替换换行符的代码
- 将 pageContent 中的 \n 和 \r 替换为空字符串，避免在返回结果中显示换行符
 2025-03-05 17:15:46 +08:00
Liuyang
511b99fe62 feat(llm): 增加知识库文档查询和段落命中率统计功能 
- 在 ChatReqVO 中添加 groupId 字段，用于区分不同的对话分组
- 新增 getParagraphHitRate 方法，用于获取段落命中率信息
- 优化 chatStream 方法，增加知识库文档查询逻辑
- 新增 ParagraphHitRateListVO、ParagraphHitRateVO 和 ParagraphHitRateWordVO 类，用于段落命中率统计
 2025-03-05 17:11:44 +08:00
sunxiqing
840f8003b7 feat(server): 添加基座模型状态接口 
在 application-ymx.yaml 文件中添加了基座模型状态的 API 接口配置，用于获取基座模型的部署列表信息。
 2025-03-05 16:45:46 +08:00
sunxiqing
ebe7fced35 feat(llm): 更新基座模型状态并优化相关功能 
- 在 BaseModelController 中添加刷新基座模型状态的接口
- 在 BaseModelService 中新增相关方法以支持模型状态更新
- 在 BaseModelTaskService 中实现定时任务以同步远程模型状态
- 更新 BaseModelDO 和相关 VO 类以适应新的模型状态逻辑- 在 LLMBackendProperties 中添加 baseModelStatus 属性以配置模型状态接口 URL
 2025-03-05 16:41:23 +08:00
sunxiqing
9523d0c077 Merge remote-tracking branch 'origin/master' 2025-03-05 10:51:20 +08:00
sunxiqing
7a8eabe745 refactor(module-llm):优化知识库查询代码 
-将 jsonArray1 的类型从 JSONArray改为 com.alibaba.fastjson.JSONArray，避免类型转换错误
- 优化代码格式，提高可读性
 2025-03-05 10:51:09 +08:00
Liuyang
c1e4cd4509 refactor(yudao-server): 更新知识库向量嵌入服务地址 
- 将知识库向量嵌入服务地址从 http://18.210.203.44:8123/embed 修改为 http://36.103.199.248:8123/embed
- 此修改统一了知识库向量嵌入和查询服务的主机地址
 2025-03-05 10:50:43 +08:00
Liuyang
a6d3030189 refactor: 修改日志文件路径和知识库向量嵌入地址 
- 更新日志文件路径为具体的本地路径
- 将知识库向量嵌入地址从36.103.199.248 更改为 18.210.203.44
 2025-03-05 09:27:39 +08:00
leon
129aa3a366 delete prompt <content> 2025-03-04 17:11:17 +08:00
sunxiqing
6e6303ac96 refactor(llm): 将模型服务中的检查点字段类型从 Long 修改为 String 
- 在 ModelServicePageReqVO 和 ModelServiceRespVO 中，将 checkPoint 字段的类型从 Long 改为 String- 这个改动可能是为了更好地处理检查点数据，避免潜在的数值溢出问题
 2025-03-04 13:08:35 +08:00
sunxiqing
80c736e9b8 refactor(llm): 将模型服务的检查点字段类型从 Long 改为 String 
- 修改了 ModelServiceDO 和 ModelServiceSaveReqVO 中的 checkPoint 字段类型
- 这个改动是为了更好地处理检查点数据，可能是因为检查点不再仅限于数字类型
 2025-03-04 13:02:14 +08:00
Liuyang
0340b24f78 refactor(yudao-module-llm): 调整模型补全请求的默认参数并优化数据处理 
- 将 max_tokens 参数从 4000调整为 4096
- 将 temperature 参数从0.7 调整为 0.2
- 新增 top_p 参数，默认值为0.9
- 优化了数据处理逻辑，移除了不必要的注释代码
- 调整了 SseEmitter 的心跳检测机制
- 优化了数据解析过程，移除了多余的换行符
 2025-03-03 18:38:00 +08:00
Liuyang
e0851f472a refactor(llm): 优化对话控制器中的流式聊天方法 
- 将 void 返回类型改为 SseEmitter，以正确表示流式响应
- 添加返回值，确保客户端
 2025-03-03 17:46:04 +08:00
Liuyang
9e593db115 refactor(yudao-module-llm): 重构流式聊天接口的异步处理逻辑 
-移除了 ExecutorService 的创建和手动管理
- 使用 CompletableFuture.runAsync() 替代手动线程管理，简化异步处理逻辑
-优化了异常处理和 SseEmitter 的完成处理
- 注释掉了
 2025-03-03 17:38:05 +08:00
sunxiqing
0bd503f11d Merge remote-tracking branch 'origin/master' 2025-03-03 17:20:45 +08:00
sunxiqing
f5276dc2c6 feat(llm): 添加查询模型服务接口 
- 在 ModelServiceController 中新增 queryCheckpoints 接口- 在 ModelServiceService 接口中添加 queryCheckpoints 方法
- 在 ModelServiceServiceImpl 中实现 queryCheckpoints 方法
- 使用 JSONUtil 解析 FineTuningTaskDO 中的 checkPointData
- 返回解析后的 checkpoint 列表
 2025-03-03 17:20:34 +08:00
Liuyang
bccba1a07f refactor(yudao-module-llm): 重构 ModelService 中的代码 
- 删除了未使用的代码片段
- 简化了响应数据的处理逻辑
-
 2025-03-03 16:32:17 +08:00
sunxiqing
105ff24b49 refactor(llm): 调整流式聊天的超时时间 
- 将 SseEmitter 的超时时间从 60_000 毫秒调整为 120_000 毫秒
-这样可以提供更长的响应时间，避免因超时导致的连接中断
 2025-03-03 15:56:22 +08:00
Liuyang
f73b197422 refactor(llm): 移除日志打印语句的注释 
移除了多处日志打印语句的注释，包括 login、account、finetuningDetail、finetuningDelete、finetuningFileList、autoEvaluation、modelDeploy、modelUndeploy、createModel 和 uploadFile 方法中的日志语句。这些日志语句现在将正常输出信息。
 2025-03-03 13:43:38 +08:00
Liuyang
bf65145394 refactor(llm): 优化 getCheckFileList 方法的日志记录和异常处理 
- 增加方法开始时的日志记录，包括 URL 和 Name 参数
-捕获异常时增加详细的错误日志，包括 URL、Name 和错误详情
- 在正常执行时增加请求完整路径的日志记录
- 增加 HTTP 请求完成后的日志记录，包括耗时、结果长度和结果摘要
-优化代码格式，调整缩进和空格
 2025-03-03 11:41:51 +08:00
Liuyang
8cd7ced108 refactor(module-llm):移除微调任务日志输出 
- 注释掉了 FineTuningTaskSyncService 类中的日志输出语句
- 优化了代码，减少了不必要的日志输出，提高了性能
 2025-03-03 10:59:09 +08:00
Liuyang
7c2b9e0d41 refactor(yudao-module-llm): 优化模型服务中的数据处理逻辑 
- 在处理数据行时，增加了对 "</think>"标记的检查
- 仅当数据字符串不包含 "[DONE]" 或 "</think>" 时，才解析为 JSON 对象
 2025-03-03 10:54:58 +08:00
Liuyang
e3fce0d4c9 fix(llm): 修复模型更新时的空指针异常 
- 在 FineTuningTaskSyncService 类中的定时任务方法中增加了对 hostUrl 的空值检查
- 如果 hostUrl 为空，则跳过当前迭代，避免出现空指针异常
 2025-03-03 10:54:47 +08:00
Liuyang
a665811e45 refactor(module-llm):移除调试日志并优化异常处理 
- 删除了多处不必要的日志打印语句，减少生产环境中的日志噪音
- 在 getCheckFileList 方法中添加了异常捕获，提高了代码的健壮性
- 优化了部分代码格式，提高了可读性
 2025-03-03 10:47:01 +08:00
Liuyang
fb7093b8be refactor(module-llm):优化数据回流逻辑 
-将数据回流中的系统信息改为使用 modelCompletionsRespVO 中的实际系统信息
- 添加 modelCompletionsRespVO 的回答内容到数据回流请求中
 2025-03-03 09:36:26 +08:00
Liuyang
8b4b896fa0 feat(llm): 实现异步处理和流式响应的聊天接口 
- 新增 ChatReqVO 类作为聊天请求的参数对象
- 在 ConversationController 中实现异步处理聊天请求的逻辑
- 在 ModelService 中添加流式响应相关的代码
- 优化了错误处理和资源释放的逻辑
 2025-03-02 12:45:23 +08:00
Liuyang
d9da4c0bfa refactor(module-llm):优化聊天响应处理逻辑 
-将接收到的内容解析为 ChatReqVO 对象
- 增加空值检查，避免潜在的空指针异常
- 仅追加非空的聊天内容到结果中
 2025-03-02 12:26:56 +08:00
Liuyang
6316befb9f Merge remote-tracking branch 'origin/master' 2025-03-02 12:14:03 +08:00