9301 Commits

Author SHA1 Message Date
limin
31046aa934 feat(llm): 添加服务器主机名称管理功能
- 新增服务器主机名称相关实体、控制器、服务、映射等类
- 实现服务器主机名称的增、删、改、查及分页查询功能
- 添加服务器主机名称列表导出 Excel 功能
- 校验服务器主机名称存在性和 URL
2025-02-18 10:23:54 +08:00
limin
b8f8361ab1 fix(llm): 过滤模型文件下载时的无后缀文件
- 在 ModelServiceServiceImpl 类中添加了对文件名进行过滤的逻辑
- 使用正则表达式匹配文件名,只保留包含后缀的文件
- 这个改动可以防止下载没有后缀的文件,提高文件下载的安全性
2025-02-15 10:45:42 +08:00
limin
f7a501cc7d refactor(module-llm):优化数据集处理和定时任务执行频率
- 重构 AsyncDataSetService 中的 JsonFileWrite 方法,提高数据集处理效率
- 修改 DatasetTaskSyncService 中的定时任务执行频率,从每 30秒调整为每 15秒
2025-02-14 12:47:03 +08:00
b5195e1113 refactor(llm): 更新模型微调任务的后缀命名规则- 在 AsyncFineTuningTaskService 中修改了 fineTuningCreate 请求的 suffix 参数
- 为微调任务的后缀添加了 "T-" 前缀,以区分其他类型的处理
- 此修改有助于更好地管理和识别微调任务
2025-02-14 12:18:41 +08:00
6d46498b5d refactor(llm): 将学习率字段类型从 Integer 改为 BigDecimal
- 修改了 FineTuningTaskPageReqVO、FineTuningTaskRespVO 和 FineTuningTaskSaveReqVO 中的 learningRate 字段类型
- 优化了学习率的表示精度,提高了数据准确性
2025-02-14 11:47:00 +08:00
limin
134473af14 refactor(llm): 注释掉基模型同步任务定时器
减少维护,先注释掉基模型同步任务的定时器配置。
2025-02-14 11:42:07 +08:00
limin
353857d859 修改定时任务 2025-02-14 11:09:22 +08:00
ea1f6ed8e6 refactor(llm): 调整数据集同步任务的执行频率
- 将 DatasetTaskSyncService 类中的 syncDatasetAigcTask 方法的执行频率从每 15 秒一次改为每 30 秒一次
- 通过修改 Scheduled 注解的 cron 表达式实现
2025-02-14 10:36:17 +08:00
e452203b4a refactor(llm): 调整定时任务执行频率
-将 FineTuningTaskSyncService 的定时任务频率从每分钟执行一次改为每三分钟执行一次
- 将 ModelServiceTaskSyncService 的定时任务频率从每小时执行一次改为每两分钟执行一次
2025-02-14 10:34:52 +08:00
limin
99685d3605 修改配置 2025-02-14 10:05:43 +08:00
1f20747f9c refactor(llm): 重构模型微调相关代码
- 将 AigcFineTuningCreateReqVO 和 FineTuningTaskDO 中的 learningRate 字段类型从 double/Integer 改为 BigDecimal,以提高精度
- 优化 ModelService 中的 createFineTuningTask 方法,异常处理改为抛出 RuntimeException
2025-02-14 10:03:20 +08:00
08c82dbb83 fix(llm): 修复模型训练调用返回值解析
- 修改了错误信息的判断逻辑,从 contains 改为 containsKey
- 添加了日志输出,便于调试和排查问题
2025-02-13 19:15:48 +08:00
0a1b8dcf0a fix(llm): 修复模型部署失败时的状态更新问题
- 在 AsyncModelServiceService 和 BaseModelTaskService 中添加对部署失败的处理逻辑
- 修改 TrainHttpService 中的 modelDeploy 方法,增加错误处理和状态码检查
- 优化日志记录,便于排查问题
2025-02-13 19:00:36 +08:00
4b6fa46354 refactor(yudao-server): 更新 RAG 服务和知识库嵌入的 API 地址
- 将 RAG 服务的 API 地址从 http://36.103.199.104:8123/ 更改为 http://rag.xhllm.xinnuojinzhi.com/
- 更新知识库嵌入和查询的 API 地址
- 此更改影响 application-dev.yaml 文件中的多个配置项
2025-02-13 18:24:15 +08:00
cee050c56a fix(llm): 修复知识库文件上传成功后异常处理
- 修复了文件上传成功后,解析响应数据时可能出现的空指针异常
- 优化了错误处理逻辑,当响应中不包含 "status" 字段时,直接抛出异常
- 移除了 handleFailure 方法中冗余的异常信息
2025-02-13 17:17:59 +08:00
ire
14a5e3fd3a 基础模型维护 2025-02-13 16:35:44 +08:00
0edd7e3d11 refactor(module-llm):优化日志打印和异常处理- 移除多余的异常信息输出,简化日志格式
- 在三个文件中调整了异常处理逻辑,避免冗余的异常包装
2025-02-13 16:20:51 +08:00
b29ed67f92 refactor(yudao-module-llm): 移除不必要的 HTTP状态码检查
- 删除了对 HTTP 状态码的检查逻辑- 移除了不必要的日志记录
2025-02-13 16:00:06 +08:00
limin
81877b686c 修改华为服务器配置文件 2025-02-13 15:43:10 +08:00
ire
a094c7b290 Merge remote-tracking branch 'origin/master' 2025-02-13 14:40:12 +08:00
ire
aff9e403a6 知识库上传文件 2025-02-13 14:40:04 +08:00
limin
68ed93bfc9 增加日志输出 2025-02-13 14:39:20 +08:00
limin
53e7f47065 模型部署 修改 2025-02-13 14:01:23 +08:00
limin
5b089fb404 模型部署 修改 2025-02-13 13:36:21 +08:00
limin
465694a3ff 模型部署 修改 2025-02-13 13:36:03 +08:00
limin
9287973dc8 修改 2025-02-12 17:37:50 +08:00
1de6a87303 refactor(module-llm):重构文件上传逻辑
- 移除了不必要的重试机制
-简化了上传流程,提高了代码可读性
- 优化了异常处理,确保上传失败时能够正确抛出异常
2025-02-12 17:34:40 +08:00
2f2e1257cc refactor(module-llm):重构知识库向量嵌入功能
- 优化了知识库向量嵌入的请求和响应处理逻辑
- 引入了重试机制和更详细的错误处理- 提高了代码的可读性和可维护性
2025-02-12 17:27:04 +08:00
764c9455f2 fix(llm): 修复向量库返回结果解析异常
- 在解析向量库返回结果时增加异常捕获处理
- 当解析 JSON 格式出错时,记录错误日志并抛出 RuntimeException
- 优化了错误处理逻辑
2025-02-12 17:21:10 +08:00
671766700e refactor(module-llm):优化日志打印和异常处理- 修改了 AsyncKnowledgeBase 类中的日志打印格式
- 移除了 RagHttpService 类中不必要的 Unirest.shutDown()调用
- 增加了 JSON 解析前的字符串响应体日志打印
- 优化了异常处理,移除了多余的 finally 块
2025-02-12 17:16:00 +08:00
b23daaa314 refactor(yudao-module-llm): 修改 RagHttpService 中构建请求参数的 Content-Type
-将 Content-Type 从 "multipart/form-data" 修改为 "application/vnd.openxmlformats-officedocument.wordprocessingml
2025-02-12 17:07:09 +08:00
limin
f845bada70 恢复 2025-02-12 17:05:01 +08:00
cdfac14a4a refactor(module-llm):移除 KnowledgeBaseServiceImpl 中的事务注解
移除了 KnowledgeBaseServiceImpl 类中的 updateKnowledgeBase 方法上的 @Transactional 注解。这个改动可能是为了重新考虑和设计该方法的事务处理策略。
2025-02-12 16:48:55 +08:00
limin
f42692981e Merge remote-tracking branch 'origin/master' 2025-02-12 16:32:48 +08:00
9cc54c78d6 fix(llm): 在 RagHttpService 中添加 Content-Type 头
- 在发送 POST 请求时,添加了 "Content-Type: multipart/form-data" 头
- 这个修改确保了请求以正确的格式发送,避免了服务器端的解析错误
2025-02-12 16:32:36 +08:00
limin
64ed26c6fd 增加header 向量知识库 2025-02-12 16:32:14 +08:00
1a0e6ebe20 feat(llm): 优化知识库文件上传稳定性
- 在 KnowledgeBaseServiceImpl 中注释掉 Unirest 配置代码
- 在 RagHttpService 中增加文件上传重试机制
- 添加最大重试次数常量 MAX_RETRIES
- 在文件上传方法中加入异常捕获和重试逻辑
-增加日志记录和异常处理
2025-02-12 16:19:19 +08:00
c5f65c9787 Merge remote-tracking branch 'origin/master' 2025-02-12 15:56:16 +08:00
7013594161 refactor(yudao-module-llm): 调整上传文件的 socket 超时时间- 将 Unirest 配置中的 socketTimeout 从 60000 毫秒(1分钟)增加到 86400000毫秒(24小时)- 此修改可能是为了适应大文件上传或网络条件较差的场景,给予上传过程更多的时间完成 2025-02-12 15:56:04 +08:00
1ab14004fb fix(llm): 修复文件上传接口异常处理
- 优化异常信息格式,提高错误消息的可读性
- 增加对响应体中 status 字段的检查
2025-02-12 15:46:10 +08:00
223966c285 refactor(llm): 优化知识库服务实现
- 添加日志记录
- 优化代码结构- 增加注释说明
2025-02-12 15:43:29 +08:00
limin
90eef88e89 修复知识库上传地址 2025-02-12 15:25:33 +08:00
739ae3ea7d Merge remote-tracking branch 'origin/master' 2025-02-12 15:08:15 +08:00
cac9605b57 fix(llm): 修复知识库创建异常未被捕获的问题
- 移除了多余的空行
- 在捕获异常并记录日志后,添加了异常抛出,确保异常不会被静默处理
2025-02-12 15:08:00 +08:00
limin
e5ee402e7d 修复知识库上传报错 2025-02-12 14:59:27 +08:00
71dab5dd28 feat(llm): 文件上传失败时抛出异常
- 在文件上传失败时,添加异常抛出
2025-02-12 14:55:00 +08:00
b91c09d991 refactor(module-llm):优化知识库更新逻辑
- 在 updateKnowledgeBase 方法上添加 rollbackFor = Exception.class 参数
-确保在方法抛出任何异常时,事务都能正确回滚
2025-02-12 14:53:29 +08:00
85f3825ae7 refactor(llm): 重构知识库异步处理逻辑
-移除了 Async 注解,改为在服务层使用 @Transactional 注解- 优化了知识库嵌入逻辑,改为单个文件处理- 删除了未使用的代码片段- 调整了日志输出位置
2025-02-12 14:50:11 +08:00
acfa7524e0 feat(llm): 添加知识库信息更新功能
- 新增 KnowledgeBaseController 中的 updateKnowledgeBaseInfo 方法
- 在 KnowledgeBaseService 接口中添加 updateKnowledgeBaseInfo 方法- 实现 KnowledgeBaseServiceImpl 中的 updateKnowledgeBaseInfo 方法
- 添加相关验证方法以确保知识库存在和名称不重复
2025-02-12 13:53:48 +08:00
7bd527e444 refactor(llm): 优化知识库文件上传状态枚举类- 添加 Lombok 注解,简化代码结构
- 删除冗余的 get 方法,利用 Lombok 自动生成
2025-02-12 11:16:46 +08:00