DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
9,078 Commits 1 Branch 0 Tags
Commit Graph

632 Commits

Author SHA1 Message Date
Liuyang
6ccf593f0a refactor(llm): 重构模型补全流式处理逻辑 
- 优化了 ChatReqVO 和 DataRefluxDataSaveReqVO 中的数据类型
- 重构了 ConversationController 和 ConversationService 中的 chatStream 方法
- 重新实现了 ModelService 中的 modelCompletionsStream 方法，采用更高效的处理方式
- 新增了辅助方法 parseStreamLine、extractJsonFromDataString、setupRequest 和 handleResponseEntity 以提高代码可读性和可维护性
 2025-03-02 10:31:11 +08:00
Liuyang
a4e7cd67b7 refactor(module-llm): 注释掉 doc 文件转换逻辑 
- 注释掉了处理 doc 文件转换为 docx 文件的代码块
- 保留了其他文件类型处理的注释代码
 2025-03-02 01:21:01 +08:00
Liuyang
3fecb7e378 refactor(module-llm):调整文件处理逻辑 
- 恢复了对 .doc 文件的处理逻辑，将其转换为 .docx
- 注释掉了对 .md 文件的处理逻辑- 优化了代码格式和缩进
 2025-03-01 20:58:40 +08:00
Liuyang
6e19d81a72 feat(module-llm): 添加对话流式处理功能 
- 新增 /stream-chat 接口，使用 SSE 进行流式响应- 实现 chatStream 方法，处理对话流式请求
- 添加 modelCompletionsStream 方法，支持模型补全流式处理
- 更新 ConversationService 接口，增加流式处理相关方法
- 在 pom.xml 中添加 spring-webflux 依赖
 2025-03-01 18:18:34 +08:00
Liuyang
b6e65d777a refactor(module-llm): 注释掉 doc 文件转换逻辑 
- 注释掉了处理 doc 文件的代码块
- 保留了处理 md 文件的注释代码块
 2025-03-01 17:27:42 +08:00
Liuyang
0edfd15f10 refactor(module-llm): 注释掉 doc 文件转换逻辑 
- 注释掉了处理 doc 文件的代码块
- 保留了处理 md 文件的注释代码块
 2025-03-01 17:27:26 +08:00
Liuyang
866f838245 refactor(module-llm): 注释掉 MD 文件处理代码 
- 注释掉了处理 MD 文件的代码块
- 保留了创建 OkHttpClient 实例的逻辑
 2025-03-01 13:52:27 +08:00
Liuyang
438559fbc5 fix(llm): 修复 md 文件转换后的文件格式 
- 将 md 文件转换后的文件格式从 docx 修改为 txt
-确保文件名后缀正确替换，避免产生错误的文件类型
 2025-03-01 13:44:38 +08:00
Liuyang
80590896cd refactor(llm): 调整微调任务状态同步定时任务的执行频率 
- 将定时任务的执行频率从每 20 秒一次修改为每分钟一次
 2025-03-01 13:23:35 +08:00
Liuyang
0823596f97 refactor(module-llm): 
- 重构微调任务状态同步服务
- 优化了微调任务状态同步定时任务的执行逻辑
- 增加了日志记录
- 重构了检查点信息获取逻辑
 2025-03-01 13:17:39 +08:00
Liuyang
962c31e540 feat(llm): 支持 doc 和 md 文件转换 
- 新增 doc 和 md 文件转换功能
- 实现了将 doc 文件转换为 docx 格式
- 实现了将 md 文件转换为 txt 格式
- 优化了文件下载和处理逻辑
 2025-02-28 14:25:05 +08:00
Liuyang
1afe99cf0c build(module-llm-biz & server): 更新依赖版本并添加新依赖 
- yudao-module-llm-biz:
  - 添加 flexmark-all 0.62.2
  - 添加 jsoup 1.15.3  - 添加 poi-scratchpad5.2.3

- yudao-server:
  - 更新 jsoup 版本至 1.15.3
  - 添加 flexmark-all 0.62.2
  - 保持 poi-scratchpad 版本不变
 2025-02-28 14:24:07 +08:00
Liuyang
de97310d50 refactor(module-llm):移除 DataSetReadFileUtils 中未使用的导入语句 
- 删除了未使用的 CSVParser、CSVParserBuilder、CSVReader、CSVReaderBuilder导入
- 删除了未使用的 ArrayList 导入
- 删除了未使用的 DatasetQuestionDO 导入
- 保留了 Workbook、XSSFWorkbook 和其他必要的导入
 2025-02-28 14:23:47 +08:00
leon
7bdba8713b Merge remote-tracking branch 'origin/master' 2025-02-26 20:18:53 +08:00
leon
203b44e18d 修改maxTokens 2025-02-26 20:18:36 +08:00
Liuyang
2da1f4ff86 调试 2025-02-26 18:09:22 +08:00
Liuyang
1455e932e1 调试 2025-02-26 18:09:16 +08:00
Liuyang
1b67ab3bbf refactor(yudao-module-llm): 文件生成和上传逻辑 
- 优化了 JsonFileWrite 和 JsonFileWriteFine 方法的代码结构
- 添加了日志记录
 2025-02-26 17:41:50 +08:00
Liuyang
b4889fd522 refactor(yudao-module-llm): ModelService 中的 modelCompletions 方法 
-增加日志记录
 2025-02-26 17:06:34 +08:00
Liuyang
acc34b7a1a refactor(yudao-module-llm): 模型服务启动逻辑 
- 添加日志记录，提高可追踪性
 2025-02-26 15:57:12 +08:00
Liuyang
84562ba94d refactor(yudao-module-llm): 优化模型部署功能的日志记录和异常处理 
-增加了更多的日志记录，包括请求 URL、请求参数、响应内容等
- 优化了异常处理，捕获并记录了可能发生的异常
- 改进了错误处理逻辑，当响应中包含错误信息时进行记录并返回错误响应
 2025-02-26 15:47:50 +08:00
Liuyang
aeb0ee56f8 Merge remote-tracking branch 'origin/master' 2025-02-26 14:57:07 +08:00
Liuyang
1e25350bbc refactor(module-llm):调整 HTTP 请求超时时间 
- 将 OkHttpClient 实例的连接、读取和写入超时时间从 30 分钟调整为 3 分钟
- 优化了文件上传过程中的网络请求配置，提高了系统稳定性
 2025-02-26 14:57:00 +08:00
sunxiqing
425bb0bb4a fix(llm): 优化模型微调任务状态同步逻辑 
-引入 cn.hutool.core.util.ObjectUtil 来判断响应中的 train_status 是否为空
- 在更新任务状态前增加空值检查，避免因为空值导致的错误
 2025-02-26 14:56:50 +08:00
Liuyang
2753c27a71 refactor(llm): 更新 API地址并重构部分代码 
- 将所有外部 API 地址从 36.103.199.248 更改为 127.0.0.1
- 优化了 BaseModelTaskService 中的模型部署信息查询逻辑
- 添加了 FineTuningTaskHttpService 的引用- 删除了未使用的 ModelDeployConstantEnum 导入
 2025-02-26 14:33:19 +08:00
Liuyang
4e45570a60 refactor(yudao-module-llm): 优化异步微调任务服务 
- 异常处理机制改进，直接抛出异常而不是打印堆栈
 2025-02-26 14:08:36 +08:00
Liuyang
13e30d4249 refactor(yudao-module-llm): 优化异步微调任务服务 
- 异常处理机制改进，直接抛出异常而不是打印堆栈
 2025-02-26 14:00:09 +08:00
Liuyang
58215b015e refactor(module-llm):优化异常处理逻辑 
- 扩展连接异常处理，增加对"Connection refused"的判断
-扩展超时异常处理，增加对"connect timed out"的判断
- 修改错误日志信息，将"后端服务"改为"算法服务"
 2025-02-26 13:58:11 +08:00
Liuyang
b645f86822 feat(system): 添加 HTTP 模块错误码并优化异常处理 
- 在 ErrorCodeConstants 中新增 HTTP 请求相关的错误码
- 在 FineTuningTaskHttpService 中添加异常捕获
 2025-02-26 13:49:41 +08:00
Liuyang
3a6362bab1 refactor(llm): 知识库文档嵌入逻辑 
- 注释掉了原有的针对 txt 文件的特殊处理逻辑
 2025-02-26 13:44:55 +08:00
Liuyang
3be8b1e869 fix(llm): 修复微调保存步数默认值逻辑 
- 使用 Optional.ofNullable() 处理 fineTuningTask.getSaveSteps() 的值
- 在原值基础上加 1，确保保存步数至少为 1
- 优化了代码的可读性和健壮性
 2025-02-26 11:48:08 +08:00
Liuyang
012a04b860 refactor(module-llm):调整日志级别以提高可读性 
- 将 debug 日志级别改为 info 级别，以提供更有用的信息- 优化日志输出，更好地
 2025-02-26 11:36:01 +08:00
Liuyang
ee52e777d6 refactor(module-llm):优化模型卸载和删除逻辑- 在 ModelServiceServiceImpl 中增加日志记录，详细记录模型卸载和删除过程 
- 优化 TrainHttpService 中的 modelUndeploy 方法，添加异常处理并记录日志
 2025-02-26 11:25:26 +08:00
leon
49e5068089 Merge remote-tracking branch 'origin/master' 2025-02-26 11:18:01 +08:00
leon
1944365db7 新增saveSteps 2025-02-26 11:17:40 +08:00
Liuyang
89becc01f1 refactor(yudao-module-llm): 优化日志输出信息 
- 在微调任务创建成功时，增加任务模型名称的日志输出
- 在开始微调任务时，使用新的模型名称格式- 优化异常日志输出，包含更多详细信息
 2025-02-26 10:17:38 +08:00
Liuyang
1f98a9d4c6 refactor(yudao-module-llm): 移除重复的代码行 
- 删除了 AsyncFineTuningTaskService 中的重复代码
 2025-02-26 10:02:35 +08:00
Liuyang
91a3e03143 feat(llm): 增加微调任务部署次数记录 
- 在 FineTuningTaskDO 中添加 deployCount 字段，用于记录部署次数
- 在创建微调任务时，增加部署次数并更新任务信息
 2025-02-26 10:01:57 +08:00
Liuyang
c0f597f81c feat(llm): 添加 GPU 名称字段并实现相关逻辑 
- 在 FineTuningTaskRespVO 中添加 gpuName 字段，用于展示 GPU 名称
- 在 FineTuningTaskServiceImpl 中实现 GPU 名称的获取逻辑
- 通过 ServerNameService 获取 GPU 类型对应的 ServerNameDO，并设置 GPU 名称
 2025-02-25 18:19:33 +08:00
Liuyang
a8cca3b52e refactor(module-llm):重构停止微调任务接口 
- 使用 OkHttpClient 替代 HttpRequest 发送 HTTP 请求
- 设置连接、读取和写入的超时时间为 2 分钟
- 构建带有查询参数的 URL
- 添加空的请求体
-优化异常处理，使用 IOException 替代 Exception
 2025-02-25 18:14:19 +08:00
Liuyang
7e56753435 refactor(llm): 重构异步微调任务服务 
- 提取 getServerNameDO 方法，优化服务器信息查询逻辑
- 修改 stopFinetuning 方法，增加服务器信息校验
- 更新 FineTuningTaskHttpService 接口，明确停止微调任务的主机
 2025-02-25 17:35:33 +08:00
Liuyang
3d70b004ab refactor(module-llm):重构微调任务创建逻辑 
- 将 finetuningCreate 方法从 TrainHttpService 移动到 FineTuningTaskHttpService
-优化 AsyncFineTuningTaskService 中的调用逻辑
-增加 FineTuningTaskServiceImpl 中的任务存在性校验和状态更新
- 删除 TrainHttpService 中的冗余方法
 2025-02-25 17:30:07 +08:00
Liuyang
8dffa602fb feat(llm): 添加停止微调任务功能 
- 在 application-ymx.yaml 中添加停止微调任务的 API 路径
- 新增 FineTuningTaskHttpService 类，实现停止微调任务的 HTTP 请求
- 修改 AsyncFineTuningTaskService 类，增加停止微调任务的方法
- 更新 FineTuningTaskServiceImpl 类，实现停止微调任务的业务逻辑
 2025-02-25 17:23:11 +08:00
Liuyang
af0f47c2c7 refactor(llm): 优化 FineTuningTaskController 中的日志获取接口路径 
- 将 @GetMapping("finetuning-log") 修改为 @GetMapping("/finetuning-log")- 添加了缺失的斜杠，使接口路径更加规范
 2025-02-25 16:42:46 +08:00
Liuyang
5cb4c8a6e6 refactor(module-llm):优化 LLM 模块相关服务 
- 修改 AsyncDataSetService 中的 URL 处理逻辑，返回处理后的 result
- 更新 AsyncFineTuningTaskService 中的日志级别，从 debug 改为 info
- 在 TrainHttpService 中添加 base URL，确保 HTTP 请求的 URL 完整性
 2025-02-25 15:10:08 +08:00
leon
30be835063 Merge branch 'master' of https://codeup.aliyun.com/63736f52e9565f4348a4cd42/xnjz-ai/xhllm 2025-02-25 14:55:41 +08:00
leon
c14b3b0641 删除http路径 2025-02-25 14:55:27 +08:00
Liuyang
3b237f2241 日志修改 2025-02-25 14:52:19 +08:00
Liuyang
67d85799c5 refactor(llm): 基础模型同步任务 
- 添加日志记录
 2025-02-25 14:42:20 +08:00
Liuyang
1fed32672e perf(llm): 优化 FineTuningTaskService.listFineTuningTaskRespVOS 方法 
- 在获取服务器名称列表之前，增加了对 GPU 类型 ID 列表的空值检查
- 如果 GPU 类型 ID 列表为空，则直接返回空的结果列表，避免不必要的数据库查询
 2025-02-25 14:35:45 +08:00