785 Commits

Author SHA1 Message Date
3b237f2241 日志修改 2025-02-25 14:52:19 +08:00
67d85799c5 refactor(llm): 基础模型同步任务
- 添加日志记录
2025-02-25 14:42:20 +08:00
1fed32672e perf(llm): 优化 FineTuningTaskService.listFineTuningTaskRespVOS 方法
- 在获取服务器名称列表之前,增加了对 GPU 类型 ID 列表的空值检查
- 如果 GPU 类型 ID 列表为空,则直接返回空的结果列表,避免不必要的数据库查询
2025-02-25 14:35:45 +08:00
36802463b8 feat(llm): 优化微调任务创建流程
- 增加日志记录
2025-02-25 11:17:17 +08:00
ed4e61cf26 refactor(module-llm):调整日志打印内容- 修改 modelCompletions 和 textToImage 方法中的日志输出- 为不同请求和响应添加更具体的日志标识
-优化日志格式,提高可读性和调试效率
2025-02-24 18:38:31 +08:00
limin
f56c7a7f18 修复 2025-02-24 18:34:24 +08:00
limin
414ab3039f 修改思考出现问题 2025-02-24 17:36:23 +08:00
limin
8a9db64ab1 修改基座模型定时启动问题 2025-02-24 17:16:12 +08:00
b046efa65b refactor(module-llm):重构知识库文档上传流程
- 优化了 createKnowledgeBase 方法的逻辑,增加了日志记录和错误处理
- 重构了 embedUploadFile 方法,使用 HttpClient 替代 Unirest
- 改进了 knowledgeEmbed 方法,使用 OkHttpClient 替代 Unirest
- 优化了 getFileByte 方法,增加了日志记录和错误处理
- 移除了未使用的代码和冗余的注释
2025-02-21 17:28:41 +08:00
758b00fefb refactor(module-llm):优化 HTTP 请求和响应的日志记录
- 移除重复的日志记录代码
- 添加请求耗时的记录
- 优化日志输出格式
- 封装日志打印逻辑到单独的方法中
2025-02-21 17:05:39 +08:00
6247b788e6 refactor(yudao-module-llm): 暂时移除知识库创建文件的异步处理
- 注释掉 AsyncKnowledgeBase 类中的 createKnowledgeBase 方法的 @Async 注解
- 此修改可能是为了调试或测试目的,暂时将该方法改为同步执行
2025-02-21 15:34:03 +08:00
ire
d1d2bbd90b bug 2025-02-21 14:54:41 +08:00
bc37d687cf refactor(module-llm):增加响应成功日志- 在 RagHttpService 类中的两个不同方法中添加了多个日志输出语句
- 用于标记和记录响应成功的状态
2025-02-21 13:18:30 +08:00
c1a5833bec refactor(yudao-module-llm): 恢复文档嵌入逻辑
- 重新启用了对上传文件进行嵌入的逻辑
- 根据文件扩展名决定使用不同的嵌入方法
2025-02-21 11:20:11 +08:00
df92cc9ef4 Merge remote-tracking branch 'origin/master' 2025-02-21 11:12:47 +08:00
c4d8b68d91 refactor(module-llm):优化知识库创建文件方法
- 添加 @Async 注解实现异步处理
- 简化文件嵌入逻辑,暂时注释掉非 txt 文件的处理
-优化代码结构,提高可读性和性能
2025-02-21 11:12:31 +08:00
limin
9e2582d762 Merge remote-tracking branch 'origin/master' 2025-02-21 11:04:49 +08:00
limin
ce6b890133 修复 2025-02-21 11:04:37 +08:00
ire
2f9b1c32ac bug 2025-02-21 10:57:38 +08:00
503f031683 refactor(module-llm):优化知识库嵌入请求的超时设置
- 在 OkHttpClient 实例中添加了连接、读取和写入的超时时间设置- 将 knowledgeEmbed 方法中的 OkHttpClient 实例化过程进行了优化
2025-02-21 10:46:09 +08:00
limin
93e4f44bf5 修复 2025-02-21 10:29:49 +08:00
limin
c552063dea 修复 2025-02-21 10:17:32 +08:00
limin
1b25d0f767 修改 2025-02-21 10:08:25 +08:00
3a41fb9100 refactor(yudao-module-llm): 重构文件上传功能- 优化了文件上传的实现方式,使用 OkHttpClient 替代原有的 CloseableHttpClient
- 新增 getFileByte 方法获取文件字节数组
- 增加了对文件类型的处理,支持pdf
2025-02-21 10:03:14 +08:00
limin
53305996f6 修改 2025-02-21 09:18:51 +08:00
limin
8b4a56488f 修改 2025-02-20 14:52:41 +08:00
limin
7d1fd72db1 日志 2025-02-20 14:42:33 +08:00
681c12206e refactor(module-llm):重构知识库向量嵌入功能
- 移除 Async 注解和不必要的导入
- 优化 knowledgeEmbed 方法,使用 HTTP 客户端替代 Unirest
- 添加 fileUrl 字段到 KnowledgeRagEmbedReqVO
- 重构 ragHttpService.knowledgeEmbed 方法,支持文件 URL 上传
2025-02-20 14:26:37 +08:00
limin
06c832fa3f fix(llm): 修复模型训练过程中因服务不可达导致的空指针异常
- 在 AsyncModelAccessManualService 类中,对 trainHttpService.autoEvaluation 方法调用添加了异常处理
- 捕获 Exception 类型的异常,并将结果设置为 "bad",避免空指针异常
2025-02-20 14:24:53 +08:00
limin
dda11d401c Merge remote-tracking branch 'origin/master' 2025-02-20 14:04:36 +08:00
limin
f232d2a536 chore(llm): 添加 autoEvaluation 接口请求体的日志输出
- 在调用 autoEvaluation接口前,增加对请求体的 log.info 日志输出
- 有助于调试和排查接口调用问题
2025-02-20 14:04:28 +08:00
c7e4e71e48 refactor(module-llm):重构知识库向量嵌入功能并添加日志记录
-移除了 try-catch 块,简化了错误处理逻辑
- 在 KnowledgeRagEmbedReqVO 中添加了 fileBytes 字段
- 引入了 okhttp3 和 ok2curl 依赖,用于生成 curl 命令
- 在 RagHttpService 中添加了详细的日志记录,包括请求参数、生成的 curl 命令和响应内容
- 优化了代码结构,提高了可读性和可维护性
2025-02-20 14:02:56 +08:00
limin
05841ce69c fix(llm): 修复模型评估任务中的空指针异常
- 在自动评估过程中,增加了对模型回答为空的处理
-避免了因空回答导致的后续处理异常
2025-02-20 13:52:34 +08:00
limin
e49bc929e0 refactor(yudao-module-llm): 重构自动评估功能以支持多模型
- 修改 AsyncModelAccessManualService 中的 autoEvaluation 方法,增加 modelUrl 参数
- 更新 TrainHttpService 中的 autoEvaluation 方法,添加 url 参数
- 优化日志输出,增加自动响应内容的打印
2025-02-20 13:39:32 +08:00
ire
313aaf37d6 基础模型api 2025-02-19 17:58:01 +08:00
f776becf00 refactor(llm): 修改 CSV 数据集答案字段名称
- 将 CsvDataSetVO 类中的 answer 字段重命名为 answers
- 更新 DatasetServiceImpl 中相关代码,使用新的 answers 字段
2025-02-19 17:17:26 +08:00
limin
c230296d18 修复模型部署 2025-02-19 16:44:37 +08:00
96d65952a3 refactor(llm): 调整细调任务同步服务执行频率
- 将 FineTuningTaskSync 定时任务的执行频率从每 3 分钟调整为每 1 分钟
2025-02-19 15:35:05 +08:00
limin
c6e1d57299 Merge remote-tracking branch 'origin/master' 2025-02-19 15:34:26 +08:00
ire
b14e76b763 基础模型api 2025-02-19 15:32:50 +08:00
limin
3be18ff084 修改模型调优 数据集 deepseek模型 2025-02-19 15:28:17 +08:00
956742141b 人工评估备份查看时数据集问题不存在报错 2025-02-19 11:10:47 +08:00
limin
c261768e9b 修改自动评估 2025-02-19 10:26:15 +08:00
limin
3dece4950a 修改模型调优 2025-02-18 15:07:18 +08:00
limin
1ca41b7cf6 修改模型调优 2025-02-18 14:52:25 +08:00
limin
263199466c Merge remote-tracking branch 'origin/master' 2025-02-18 13:37:04 +08:00
limin
707d3981db 重新调试 修改日志返回接口 2025-02-18 13:36:58 +08:00
9f66f93c06 refactor(module-llm):重构模型文件下载 URL 拼接逻辑
- 新增通过 GPU 类型获取主机地址的方法
- 修改文件下载 URL 拼接逻辑,加入主机地址
2025-02-18 13:19:17 +08:00
6b6b9f8b9d refactor(yudao-module-llm): 重构模型下载列表功能
- 增加参数校验,提高代码健壮性
- 优化日志记录,增加请求和响应的详细日志
- 改进异常处理,确保在请求失败时返回空列表
- 重构方法结构,提高代码可读性和维护性
2025-02-18 11:34:55 +08:00
9bbe8fa8ff feat(module-llm):增加根据 GPU 类型获取模型下载列表功能
- 新增 getHostByType 方法,通过 GPU 类型获取对应的主机地址
- 修改 getFileList 方法,增加 GPU 类型参数,使用 getHostByType 获取主机地址
- 更新 getDownLoadList 方法,传入 GPU 类型到 getFileList 方法
2025-02-18 11:22:04 +08:00