824 Commits

Author SHA1 Message Date
e452203b4a refactor(llm): 调整定时任务执行频率
-将 FineTuningTaskSyncService 的定时任务频率从每分钟执行一次改为每三分钟执行一次
- 将 ModelServiceTaskSyncService 的定时任务频率从每小时执行一次改为每两分钟执行一次
2025-02-14 10:34:52 +08:00
limin
99685d3605 修改配置 2025-02-14 10:05:43 +08:00
1f20747f9c refactor(llm): 重构模型微调相关代码
- 将 AigcFineTuningCreateReqVO 和 FineTuningTaskDO 中的 learningRate 字段类型从 double/Integer 改为 BigDecimal,以提高精度
- 优化 ModelService 中的 createFineTuningTask 方法,异常处理改为抛出 RuntimeException
2025-02-14 10:03:20 +08:00
08c82dbb83 fix(llm): 修复模型训练调用返回值解析
- 修改了错误信息的判断逻辑,从 contains 改为 containsKey
- 添加了日志输出,便于调试和排查问题
2025-02-13 19:15:48 +08:00
0a1b8dcf0a fix(llm): 修复模型部署失败时的状态更新问题
- 在 AsyncModelServiceService 和 BaseModelTaskService 中添加对部署失败的处理逻辑
- 修改 TrainHttpService 中的 modelDeploy 方法,增加错误处理和状态码检查
- 优化日志记录,便于排查问题
2025-02-13 19:00:36 +08:00
cee050c56a fix(llm): 修复知识库文件上传成功后异常处理
- 修复了文件上传成功后,解析响应数据时可能出现的空指针异常
- 优化了错误处理逻辑,当响应中不包含 "status" 字段时,直接抛出异常
- 移除了 handleFailure 方法中冗余的异常信息
2025-02-13 17:17:59 +08:00
ire
14a5e3fd3a 基础模型维护 2025-02-13 16:35:44 +08:00
0edd7e3d11 refactor(module-llm):优化日志打印和异常处理- 移除多余的异常信息输出,简化日志格式
- 在三个文件中调整了异常处理逻辑,避免冗余的异常包装
2025-02-13 16:20:51 +08:00
b29ed67f92 refactor(yudao-module-llm): 移除不必要的 HTTP状态码检查
- 删除了对 HTTP 状态码的检查逻辑- 移除了不必要的日志记录
2025-02-13 16:00:06 +08:00
ire
a094c7b290 Merge remote-tracking branch 'origin/master' 2025-02-13 14:40:12 +08:00
ire
aff9e403a6 知识库上传文件 2025-02-13 14:40:04 +08:00
limin
68ed93bfc9 增加日志输出 2025-02-13 14:39:20 +08:00
limin
53e7f47065 模型部署 修改 2025-02-13 14:01:23 +08:00
limin
5b089fb404 模型部署 修改 2025-02-13 13:36:21 +08:00
limin
465694a3ff 模型部署 修改 2025-02-13 13:36:03 +08:00
limin
9287973dc8 修改 2025-02-12 17:37:50 +08:00
1de6a87303 refactor(module-llm):重构文件上传逻辑
- 移除了不必要的重试机制
-简化了上传流程,提高了代码可读性
- 优化了异常处理,确保上传失败时能够正确抛出异常
2025-02-12 17:34:40 +08:00
2f2e1257cc refactor(module-llm):重构知识库向量嵌入功能
- 优化了知识库向量嵌入的请求和响应处理逻辑
- 引入了重试机制和更详细的错误处理- 提高了代码的可读性和可维护性
2025-02-12 17:27:04 +08:00
764c9455f2 fix(llm): 修复向量库返回结果解析异常
- 在解析向量库返回结果时增加异常捕获处理
- 当解析 JSON 格式出错时,记录错误日志并抛出 RuntimeException
- 优化了错误处理逻辑
2025-02-12 17:21:10 +08:00
671766700e refactor(module-llm):优化日志打印和异常处理- 修改了 AsyncKnowledgeBase 类中的日志打印格式
- 移除了 RagHttpService 类中不必要的 Unirest.shutDown()调用
- 增加了 JSON 解析前的字符串响应体日志打印
- 优化了异常处理,移除了多余的 finally 块
2025-02-12 17:16:00 +08:00
b23daaa314 refactor(yudao-module-llm): 修改 RagHttpService 中构建请求参数的 Content-Type
-将 Content-Type 从 "multipart/form-data" 修改为 "application/vnd.openxmlformats-officedocument.wordprocessingml
2025-02-12 17:07:09 +08:00
limin
f845bada70 恢复 2025-02-12 17:05:01 +08:00
cdfac14a4a refactor(module-llm):移除 KnowledgeBaseServiceImpl 中的事务注解
移除了 KnowledgeBaseServiceImpl 类中的 updateKnowledgeBase 方法上的 @Transactional 注解。这个改动可能是为了重新考虑和设计该方法的事务处理策略。
2025-02-12 16:48:55 +08:00
limin
f42692981e Merge remote-tracking branch 'origin/master' 2025-02-12 16:32:48 +08:00
9cc54c78d6 fix(llm): 在 RagHttpService 中添加 Content-Type 头
- 在发送 POST 请求时,添加了 "Content-Type: multipart/form-data" 头
- 这个修改确保了请求以正确的格式发送,避免了服务器端的解析错误
2025-02-12 16:32:36 +08:00
limin
64ed26c6fd 增加header 向量知识库 2025-02-12 16:32:14 +08:00
1a0e6ebe20 feat(llm): 优化知识库文件上传稳定性
- 在 KnowledgeBaseServiceImpl 中注释掉 Unirest 配置代码
- 在 RagHttpService 中增加文件上传重试机制
- 添加最大重试次数常量 MAX_RETRIES
- 在文件上传方法中加入异常捕获和重试逻辑
-增加日志记录和异常处理
2025-02-12 16:19:19 +08:00
7013594161 refactor(yudao-module-llm): 调整上传文件的 socket 超时时间- 将 Unirest 配置中的 socketTimeout 从 60000 毫秒(1分钟)增加到 86400000毫秒(24小时)- 此修改可能是为了适应大文件上传或网络条件较差的场景,给予上传过程更多的时间完成 2025-02-12 15:56:04 +08:00
223966c285 refactor(llm): 优化知识库服务实现
- 添加日志记录
- 优化代码结构- 增加注释说明
2025-02-12 15:43:29 +08:00
739ae3ea7d Merge remote-tracking branch 'origin/master' 2025-02-12 15:08:15 +08:00
cac9605b57 fix(llm): 修复知识库创建异常未被捕获的问题
- 移除了多余的空行
- 在捕获异常并记录日志后,添加了异常抛出,确保异常不会被静默处理
2025-02-12 15:08:00 +08:00
limin
e5ee402e7d 修复知识库上传报错 2025-02-12 14:59:27 +08:00
71dab5dd28 feat(llm): 文件上传失败时抛出异常
- 在文件上传失败时,添加异常抛出
2025-02-12 14:55:00 +08:00
b91c09d991 refactor(module-llm):优化知识库更新逻辑
- 在 updateKnowledgeBase 方法上添加 rollbackFor = Exception.class 参数
-确保在方法抛出任何异常时,事务都能正确回滚
2025-02-12 14:53:29 +08:00
85f3825ae7 refactor(llm): 重构知识库异步处理逻辑
-移除了 Async 注解,改为在服务层使用 @Transactional 注解- 优化了知识库嵌入逻辑,改为单个文件处理- 删除了未使用的代码片段- 调整了日志输出位置
2025-02-12 14:50:11 +08:00
acfa7524e0 feat(llm): 添加知识库信息更新功能
- 新增 KnowledgeBaseController 中的 updateKnowledgeBaseInfo 方法
- 在 KnowledgeBaseService 接口中添加 updateKnowledgeBaseInfo 方法- 实现 KnowledgeBaseServiceImpl 中的 updateKnowledgeBaseInfo 方法
- 添加相关验证方法以确保知识库存在和名称不重复
2025-02-12 13:53:48 +08:00
7bd527e444 refactor(llm): 优化知识库文件上传状态枚举类- 添加 Lombok 注解,简化代码结构
- 删除冗余的 get 方法,利用 Lombok 自动生成
2025-02-12 11:16:46 +08:00
aae2c064cb feat(llm): 优化知识库文档上传功能
- 新增知识库文档状态枚举,用于记录文档上传状态
- 在文档上传过程中更新状态,包括未上传、上传中、上传成功和上传失败
- 优化了 embedUploadFile 和 knowledgeEmbed 方法,增加了状态更新逻辑
- 新增 getKnowledgeDocuments 方法获取知识库文档对象
2025-02-12 11:12:21 +08:00
1f9603fc65 refactor(llm): 更新文件状态字典引用
- 将文件状态字典从 'llm_file_status' 修改为 'knowledge_file_state'
- 保持其他代码结构不变,仅更新字典引用
2025-02-12 10:47:04 +08:00
7b19c298ee refactor(yudao-module-llm): 优化知识库服务实现和 HTTP 服务逻辑
-移除了 KnowledgeBaseServiceImpl 中的多余空行
- 删除了 RagHttpService 中的冗余代码,包括不必要的变量赋值和日志记录
2025-02-12 10:46:44 +08:00
limin
f889a78295 模型服务修改 2025-02-11 18:12:15 +08:00
limin
ec94703d01 修改知识库上传 2025-02-11 17:13:20 +08:00
limin
be2de1ecc8 修复 2025-02-11 16:40:27 +08:00
limin
30481f9080 修复 2025-02-11 16:33:49 +08:00
limin
c5e7c2c1a4 test 知识库 2025-02-11 15:32:26 +08:00
limin
6bce527568 修改模型推理 内容 2025-02-11 15:30:42 +08:00
limin
f53e18dbae Merge remote-tracking branch 'origin/master' 2025-02-11 11:34:40 +08:00
limin
268be90315 微调训练完成 时长获取 修改 2025-02-11 11:34:30 +08:00
ire
58f273e7a5 检查点 2025-02-11 11:29:55 +08:00
limin
bd152b3f60 微调训练完成 时长获取 2025-02-11 11:25:58 +08:00