DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
9,304 Commits 1 Branch 0 Tags
Commit Graph

9304 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Liuyang
bccba1a07f refactor(yudao-module-llm): 重构 ModelService 中的代码 
- 删除了未使用的代码片段
- 简化了响应数据的处理逻辑
-
 2025-03-03 16:32:17 +08:00
sunxiqing
105ff24b49 refactor(llm): 调整流式聊天的超时时间 
- 将 SseEmitter 的超时时间从 60_000 毫秒调整为 120_000 毫秒
-这样可以提供更长的响应时间，避免因超时导致的连接中断
 2025-03-03 15:56:22 +08:00
Liuyang
f73b197422 refactor(llm): 移除日志打印语句的注释 
移除了多处日志打印语句的注释，包括 login、account、finetuningDetail、finetuningDelete、finetuningFileList、autoEvaluation、modelDeploy、modelUndeploy、createModel 和 uploadFile 方法中的日志语句。这些日志语句现在将正常输出信息。
 2025-03-03 13:43:38 +08:00
Liuyang
bf65145394 refactor(llm): 优化 getCheckFileList 方法的日志记录和异常处理 
- 增加方法开始时的日志记录，包括 URL 和 Name 参数
-捕获异常时增加详细的错误日志，包括 URL、Name 和错误详情
- 在正常执行时增加请求完整路径的日志记录
- 增加 HTTP 请求完成后的日志记录，包括耗时、结果长度和结果摘要
-优化代码格式，调整缩进和空格
 2025-03-03 11:41:51 +08:00
Liuyang
8cd7ced108 refactor(module-llm):移除微调任务日志输出 
- 注释掉了 FineTuningTaskSyncService 类中的日志输出语句
- 优化了代码，减少了不必要的日志输出，提高了性能
 2025-03-03 10:59:09 +08:00
Liuyang
7c2b9e0d41 refactor(yudao-module-llm): 优化模型服务中的数据处理逻辑 
- 在处理数据行时，增加了对 "</think>"标记的检查
- 仅当数据字符串不包含 "[DONE]" 或 "</think>" 时，才解析为 JSON 对象
 2025-03-03 10:54:58 +08:00
Liuyang
e3fce0d4c9 fix(llm): 修复模型更新时的空指针异常 
- 在 FineTuningTaskSyncService 类中的定时任务方法中增加了对 hostUrl 的空值检查
- 如果 hostUrl 为空，则跳过当前迭代，避免出现空指针异常
 2025-03-03 10:54:47 +08:00
Liuyang
a665811e45 refactor(module-llm):移除调试日志并优化异常处理 
- 删除了多处不必要的日志打印语句，减少生产环境中的日志噪音
- 在 getCheckFileList 方法中添加了异常捕获，提高了代码的健壮性
- 优化了部分代码格式，提高了可读性
 2025-03-03 10:47:01 +08:00
Liuyang
fb7093b8be refactor(module-llm):优化数据回流逻辑 
-将数据回流中的系统信息改为使用 modelCompletionsRespVO 中的实际系统信息
- 添加 modelCompletionsRespVO 的回答内容到数据回流请求中
 2025-03-03 09:36:26 +08:00
Liuyang
8b4b896fa0 feat(llm): 实现异步处理和流式响应的聊天接口 
- 新增 ChatReqVO 类作为聊天请求的参数对象
- 在 ConversationController 中实现异步处理聊天请求的逻辑
- 在 ModelService 中添加流式响应相关的代码
- 优化了错误处理和资源释放的逻辑
 2025-03-02 12:45:23 +08:00
Liuyang
d9da4c0bfa refactor(module-llm):优化聊天响应处理逻辑 
-将接收到的内容解析为 ChatReqVO 对象
- 增加空值检查，避免潜在的空指针异常
- 仅追加非空的聊天内容到结果中
 2025-03-02 12:26:56 +08:00
Liuyang
6316befb9f Merge remote-tracking branch 'origin/master' 2025-03-02 12:14:03 +08:00
Liuyang
ef279ed3d3 refactor(yudao-module-llm): 重构 ModelService 中的请求处理逻辑 
- 修改了 sendPostRequest 和 handleResponseEntity 方法的返回类型
- 优化了模型补全请求的处理流程
- 添加了错误处理和返回值
 2025-03-02 12:13:40 +08:00
leon
e9aeb19908 Merge branch 'master' of https://codeup.aliyun.com/63736f52e9565f4348a4cd42/xnjz-ai/xhllm 2025-03-02 12:11:35 +08:00
Liuyang
1a320c6260 refactor(yudao-module-llm): 重构模型补全请求处理逻辑 
- 修改 modelCompletionsStream 方法返回类型为 ModelCompletionsRespVO
-增加对空模型和 URL 的处理
- 记录请求和响应信息
- 优化 SseEmitter 发送数据格式
-重构 parseStreamLine 方法，增加 UUID 参数
 2025-03-02 12:05:17 +08:00
Liuyang
d1cb2c2b5a refactor(yudao-module-llm): 优化 LLM 模型服务的日志输出和数据处理 
- 在处理响应行数据前增加日志输出，便于调试和监控
- 优化内容处理，移除多余的换行符，提高数据一致性和可读性
 2025-03-02 11:34:55 +08:00
leon
1f0a256252 Merge branch 'master' of https://codeup.aliyun.com/63736f52e9565f4348a4cd42/xnjz-ai/xhllm 2025-03-02 11:29:52 +08:00
Liuyang
d3bb3a2388 refactor(yudao-module-llm): 优化 ModelService 中的请求处理和响应处理 
-移除了 setupRequest 方法中的 throws IOException 声明，因为异常已在方法内部处理
- 在处理响应行数据时，添加了对换行符的替换，避免产生冗余的空行
- 在 catch 块中添加了一个空行，提高代码可读性
 2025-03-02 11:29:43 +08:00
Liuyang
af97393316 refactor(module-llm):优化模型补全请求的日志输出和请求处理 
- 修改了日志输出格式，为不同的日志添加了特定的标识
-优化了模型补全请求的处理流程，使用 ContentType 设置请求体内容类型
- 移除了重复设置 Content-Type 头的代码
 2025-03-02 11:14:46 +08:00
Liuyang
e95e42da1d refactor(llm): 优化代码结构和流式接口设计 
- 重构了 ConversationController 和 ConversationServiceImpl 中的方法
- 优化了代码格式和命名规范
-调整了部分方法的参数和返回类型
- 重构了 ModelService 中的流式处理逻辑- 增加了心跳检测机制，保证长连接稳定
 2025-03-02 10:54:10 +08:00
leon
d37cfba9f4 Merge branch 'master' of https://codeup.aliyun.com/63736f52e9565f4348a4cd42/xnjz-ai/xhllm 2025-03-02 10:38:02 +08:00
leon
b2fd257c6a add my config 2025-03-02 10:37:29 +08:00
Liuyang
6370cb223e refactor(yudao-module-llm): 重构模型补全请求的处理逻辑 
- 将 sendPostRequest 方法从私有改为受保护的
- 优化了请求体的处理，使用 JSON.toJSONString 方法序列化请求对象
- 重构了 SseEmitter 的使用方式，提高了代码的可读性和可维护性
- 删除了冗余的私有方法，简化了代码结构
 2025-03-02 10:35:07 +08:00
Liuyang
071516df0c refactor(llm): 重构模型补全流式处理逻辑 
- 优化了 ChatReqVO 和 DataRefluxDataSaveReqVO 中的数据类型
- 重构了 ConversationController 和 ConversationService 中的 chatStream 方法
- 重新实现了 ModelService 中的 modelCompletionsStream 方法，采用更高效的处理方式
- 新增了辅助方法 parseStreamLine、extractJsonFromDataString、setupRequest 和 handleResponseEntity 以提高代码可读性和可维护性
 2025-03-02 10:31:18 +08:00
Liuyang
6ccf593f0a refactor(llm): 重构模型补全流式处理逻辑 
- 优化了 ChatReqVO 和 DataRefluxDataSaveReqVO 中的数据类型
- 重构了 ConversationController 和 ConversationService 中的 chatStream 方法
- 重新实现了 ModelService 中的 modelCompletionsStream 方法，采用更高效的处理方式
- 新增了辅助方法 parseStreamLine、extractJsonFromDataString、setupRequest 和 handleResponseEntity 以提高代码可读性和可维护性
 2025-03-02 10:31:11 +08:00
Liuyang
a4e7cd67b7 refactor(module-llm): 注释掉 doc 文件转换逻辑 
- 注释掉了处理 doc 文件转换为 docx 文件的代码块
- 保留了其他文件类型处理的注释代码
 2025-03-02 01:21:01 +08:00
Liuyang
3fecb7e378 refactor(module-llm):调整文件处理逻辑 
- 恢复了对 .doc 文件的处理逻辑，将其转换为 .docx
- 注释掉了对 .md 文件的处理逻辑- 优化了代码格式和缩进
 2025-03-01 20:58:40 +08:00
Liuyang
6e19d81a72 feat(module-llm): 添加对话流式处理功能 
- 新增 /stream-chat 接口，使用 SSE 进行流式响应- 实现 chatStream 方法，处理对话流式请求
- 添加 modelCompletionsStream 方法，支持模型补全流式处理
- 更新 ConversationService 接口，增加流式处理相关方法
- 在 pom.xml 中添加 spring-webflux 依赖
 2025-03-01 18:18:34 +08:00
Liuyang
b6e65d777a refactor(module-llm): 注释掉 doc 文件转换逻辑 
- 注释掉了处理 doc 文件的代码块
- 保留了处理 md 文件的注释代码块
 2025-03-01 17:27:42 +08:00
Liuyang
0edfd15f10 refactor(module-llm): 注释掉 doc 文件转换逻辑 
- 注释掉了处理 doc 文件的代码块
- 保留了处理 md 文件的注释代码块
 2025-03-01 17:27:26 +08:00
Liuyang
866f838245 refactor(module-llm): 注释掉 MD 文件处理代码 
- 注释掉了处理 MD 文件的代码块
- 保留了创建 OkHttpClient 实例的逻辑
 2025-03-01 13:52:27 +08:00
Liuyang
438559fbc5 fix(llm): 修复 md 文件转换后的文件格式 
- 将 md 文件转换后的文件格式从 docx 修改为 txt
-确保文件名后缀正确替换，避免产生错误的文件类型
 2025-03-01 13:44:38 +08:00
Liuyang
80590896cd refactor(llm): 调整微调任务状态同步定时任务的执行频率 
- 将定时任务的执行频率从每 20 秒一次修改为每分钟一次
 2025-03-01 13:23:35 +08:00
Liuyang
0823596f97 refactor(module-llm): 
- 重构微调任务状态同步服务
- 优化了微调任务状态同步定时任务的执行逻辑
- 增加了日志记录
- 重构了检查点信息获取逻辑
 2025-03-01 13:17:39 +08:00
leon
0a9ad7c2b7 Merge remote-tracking branch 'origin/master' 2025-02-28 15:19:48 +08:00
leon
337237ee66 修改saveSteps 2025-02-28 15:18:53 +08:00
Liuyang
962c31e540 feat(llm): 支持 doc 和 md 文件转换 
- 新增 doc 和 md 文件转换功能
- 实现了将 doc 文件转换为 docx 格式
- 实现了将 md 文件转换为 txt 格式
- 优化了文件下载和处理逻辑
 2025-02-28 14:25:05 +08:00
Liuyang
1afe99cf0c build(module-llm-biz & server): 更新依赖版本并添加新依赖 
- yudao-module-llm-biz:
  - 添加 flexmark-all 0.62.2
  - 添加 jsoup 1.15.3  - 添加 poi-scratchpad5.2.3

- yudao-server:
  - 更新 jsoup 版本至 1.15.3
  - 添加 flexmark-all 0.62.2
  - 保持 poi-scratchpad 版本不变
 2025-02-28 14:24:07 +08:00
Liuyang
de97310d50 refactor(module-llm):移除 DataSetReadFileUtils 中未使用的导入语句 
- 删除了未使用的 CSVParser、CSVParserBuilder、CSVReader、CSVReaderBuilder导入
- 删除了未使用的 ArrayList 导入
- 删除了未使用的 DatasetQuestionDO 导入
- 保留了 Workbook、XSSFWorkbook 和其他必要的导入
 2025-02-28 14:23:47 +08:00
leon
7bdba8713b Merge remote-tracking branch 'origin/master' 2025-02-26 20:18:53 +08:00
leon
203b44e18d 修改maxTokens 2025-02-26 20:18:36 +08:00
Liuyang
2da1f4ff86 调试 2025-02-26 18:09:22 +08:00
Liuyang
1455e932e1 调试 2025-02-26 18:09:16 +08:00
Liuyang
1b67ab3bbf refactor(yudao-module-llm): 文件生成和上传逻辑 
- 优化了 JsonFileWrite 和 JsonFileWriteFine 方法的代码结构
- 添加了日志记录
 2025-02-26 17:41:50 +08:00
Liuyang
b4889fd522 refactor(yudao-module-llm): ModelService 中的 modelCompletions 方法 
-增加日志记录
 2025-02-26 17:06:34 +08:00
Liuyang
acc34b7a1a refactor(yudao-module-llm): 模型服务启动逻辑 
- 添加日志记录，提高可追踪性
 2025-02-26 15:57:12 +08:00
Liuyang
84562ba94d refactor(yudao-module-llm): 优化模型部署功能的日志记录和异常处理 
-增加了更多的日志记录，包括请求 URL、请求参数、响应内容等
- 优化了异常处理，捕获并记录了可能发生的异常
- 改进了错误处理逻辑，当响应中包含错误信息时进行记录并返回错误响应
 2025-02-26 15:47:50 +08:00
Liuyang
aeb0ee56f8 Merge remote-tracking branch 'origin/master' 2025-02-26 14:57:07 +08:00
Liuyang
1e25350bbc refactor(module-llm):调整 HTTP 请求超时时间 
- 将 OkHttpClient 实例的连接、读取和写入超时时间从 30 分钟调整为 3 分钟
- 优化了文件上传过程中的网络请求配置，提高了系统稳定性
 2025-02-26 14:57:00 +08:00
sunxiqing
425bb0bb4a fix(llm): 优化模型微调任务状态同步逻辑 
-引入 cn.hutool.core.util.ObjectUtil 来判断响应中的 train_status 是否为空
- 在更新任务状态前增加空值检查，避免因为空值导致的错误
 2025-02-26 14:56:50 +08:00