limin
|
ce6b890133
|
修复
|
2025-02-21 11:04:37 +08:00 |
|
ire
|
2f9b1c32ac
|
bug
|
2025-02-21 10:57:38 +08:00 |
|
|
|
503f031683
|
refactor(module-llm):优化知识库嵌入请求的超时设置
- 在 OkHttpClient 实例中添加了连接、读取和写入的超时时间设置- 将 knowledgeEmbed 方法中的 OkHttpClient 实例化过程进行了优化
|
2025-02-21 10:46:09 +08:00 |
|
limin
|
93e4f44bf5
|
修复
|
2025-02-21 10:29:49 +08:00 |
|
limin
|
c552063dea
|
修复
|
2025-02-21 10:17:32 +08:00 |
|
limin
|
1b25d0f767
|
修改
|
2025-02-21 10:08:25 +08:00 |
|
|
|
3a41fb9100
|
refactor(yudao-module-llm): 重构文件上传功能- 优化了文件上传的实现方式，使用 OkHttpClient 替代原有的 CloseableHttpClient
- 新增 getFileByte 方法获取文件字节数组
- 增加了对文件类型的处理,支持pdf
|
2025-02-21 10:03:14 +08:00 |
|
limin
|
53305996f6
|
修改
|
2025-02-21 09:18:51 +08:00 |
|
limin
|
8b4a56488f
|
修改
|
2025-02-20 14:52:41 +08:00 |
|
limin
|
7d1fd72db1
|
日志
|
2025-02-20 14:42:33 +08:00 |
|
|
|
681c12206e
|
refactor(module-llm):重构知识库向量嵌入功能
- 移除 Async 注解和不必要的导入
- 优化 knowledgeEmbed 方法，使用 HTTP 客户端替代 Unirest
- 添加 fileUrl 字段到 KnowledgeRagEmbedReqVO
- 重构 ragHttpService.knowledgeEmbed 方法，支持文件 URL 上传
|
2025-02-20 14:26:37 +08:00 |
|
limin
|
06c832fa3f
|
fix(llm): 修复模型训练过程中因服务不可达导致的空指针异常
- 在 AsyncModelAccessManualService 类中，对 trainHttpService.autoEvaluation 方法调用添加了异常处理
- 捕获 Exception 类型的异常，并将结果设置为 "bad"，避免空指针异常
|
2025-02-20 14:24:53 +08:00 |
|
limin
|
dda11d401c
|
Merge remote-tracking branch 'origin/master'
|
2025-02-20 14:04:36 +08:00 |
|
limin
|
f232d2a536
|
chore(llm): 添加 autoEvaluation 接口请求体的日志输出
- 在调用 autoEvaluation接口前，增加对请求体的 log.info 日志输出
- 有助于调试和排查接口调用问题
|
2025-02-20 14:04:28 +08:00 |
|
|
|
c7e4e71e48
|
refactor(module-llm):重构知识库向量嵌入功能并添加日志记录
-移除了 try-catch 块，简化了错误处理逻辑
- 在 KnowledgeRagEmbedReqVO 中添加了 fileBytes 字段
- 引入了 okhttp3 和 ok2curl 依赖，用于生成 curl 命令
- 在 RagHttpService 中添加了详细的日志记录，包括请求参数、生成的 curl 命令和响应内容
- 优化了代码结构，提高了可读性和可维护性
|
2025-02-20 14:02:56 +08:00 |
|
limin
|
05841ce69c
|
fix(llm): 修复模型评估任务中的空指针异常
- 在自动评估过程中，增加了对模型回答为空的处理
-避免了因空回答导致的后续处理异常
|
2025-02-20 13:52:34 +08:00 |
|
limin
|
e49bc929e0
|
refactor(yudao-module-llm): 重构自动评估功能以支持多模型
- 修改 AsyncModelAccessManualService 中的 autoEvaluation 方法，增加 modelUrl 参数
- 更新 TrainHttpService 中的 autoEvaluation 方法，添加 url 参数
- 优化日志输出，增加自动响应内容的打印
|
2025-02-20 13:39:32 +08:00 |
|
ire
|
313aaf37d6
|
基础模型api
|
2025-02-19 17:58:01 +08:00 |
|
|
|
f776becf00
|
refactor(llm): 修改 CSV 数据集答案字段名称
- 将 CsvDataSetVO 类中的 answer 字段重命名为 answers
- 更新 DatasetServiceImpl 中相关代码，使用新的 answers 字段
|
2025-02-19 17:17:26 +08:00 |
|
limin
|
c230296d18
|
修复模型部署
|
2025-02-19 16:44:37 +08:00 |
|
|
|
96d65952a3
|
refactor(llm): 调整细调任务同步服务执行频率
- 将 FineTuningTaskSync 定时任务的执行频率从每 3 分钟调整为每 1 分钟
|
2025-02-19 15:35:05 +08:00 |
|
limin
|
c6e1d57299
|
Merge remote-tracking branch 'origin/master'
|
2025-02-19 15:34:26 +08:00 |
|
ire
|
b14e76b763
|
基础模型api
|
2025-02-19 15:32:50 +08:00 |
|
limin
|
3be18ff084
|
修改模型调优 数据集 deepseek模型
|
2025-02-19 15:28:17 +08:00 |
|
|
|
956742141b
|
人工评估备份查看时数据集问题不存在报错
|
2025-02-19 11:10:47 +08:00 |
|
limin
|
c261768e9b
|
修改自动评估
|
2025-02-19 10:26:15 +08:00 |
|
limin
|
3dece4950a
|
修改模型调优
|
2025-02-18 15:07:18 +08:00 |
|
limin
|
1ca41b7cf6
|
修改模型调优
|
2025-02-18 14:52:25 +08:00 |
|
limin
|
263199466c
|
Merge remote-tracking branch 'origin/master'
|
2025-02-18 13:37:04 +08:00 |
|
limin
|
707d3981db
|
重新调试 修改日志返回接口
|
2025-02-18 13:36:58 +08:00 |
|
|
|
9f66f93c06
|
refactor(module-llm):重构模型文件下载 URL 拼接逻辑
- 新增通过 GPU 类型获取主机地址的方法
- 修改文件下载 URL 拼接逻辑，加入主机地址
|
2025-02-18 13:19:17 +08:00 |
|
|
|
6b6b9f8b9d
|
refactor(yudao-module-llm): 重构模型下载列表功能
- 增加参数校验，提高代码健壮性
- 优化日志记录，增加请求和响应的详细日志
- 改进异常处理，确保在请求失败时返回空列表
- 重构方法结构，提高代码可读性和维护性
|
2025-02-18 11:34:55 +08:00 |
|
|
|
9bbe8fa8ff
|
feat(module-llm):增加根据 GPU 类型获取模型下载列表功能
- 新增 getHostByType 方法，通过 GPU 类型获取对应的主机地址
- 修改 getFileList 方法，增加 GPU 类型参数，使用 getHostByType 获取主机地址
- 更新 getDownLoadList 方法，传入 GPU 类型到 getFileList 方法
|
2025-02-18 11:22:04 +08:00 |
|
|
|
2766385bcb
|
feat(module-llm): 添加获取模型服务管理 GPU 类型的功能- 新增 getGpuTypeById 方法，根据 ID 获取 GPU 类型
- 优化了代码格式，调整了部分缩进和空格
- 移除了未使用的导入信息
|
2025-02-18 11:18:52 +08:00 |
|
limin
|
a3f7074d9d
|
修改返回名称
|
2025-02-18 10:50:29 +08:00 |
|
limin
|
b4c53ad546
|
refactor(llm): 将 FineTuningTask 中的 gpuType 字段类型从 Integer 改为 Long
- 修改了 FineTuningTaskDO、FineTuningTaskPageReqVO、FineTuningTaskRespVO 和 FineTuningTaskSaveReqVO 中的 gpuType 字段类型- 此修改可能与字典类型相关，需要确保字典类型与新字段类型兼容
|
2025-02-18 10:27:24 +08:00 |
|
limin
|
31046aa934
|
feat(llm): 添加服务器主机名称管理功能
- 新增服务器主机名称相关实体、控制器、服务、映射等类
- 实现服务器主机名称的增、删、改、查及分页查询功能
- 添加服务器主机名称列表导出 Excel 功能
- 校验服务器主机名称存在性和 URL
|
2025-02-18 10:23:54 +08:00 |
|
limin
|
b8f8361ab1
|
fix(llm): 过滤模型文件下载时的无后缀文件
- 在 ModelServiceServiceImpl 类中添加了对文件名进行过滤的逻辑
- 使用正则表达式匹配文件名，只保留包含后缀的文件
- 这个改动可以防止下载没有后缀的文件，提高文件下载的安全性
|
2025-02-15 10:45:42 +08:00 |
|
limin
|
f7a501cc7d
|
refactor(module-llm):优化数据集处理和定时任务执行频率
- 重构 AsyncDataSetService 中的 JsonFileWrite 方法，提高数据集处理效率
- 修改 DatasetTaskSyncService 中的定时任务执行频率，从每 30秒调整为每 15秒
|
2025-02-14 12:47:03 +08:00 |
|
|
|
b5195e1113
|
refactor(llm): 更新模型微调任务的后缀命名规则- 在 AsyncFineTuningTaskService 中修改了 fineTuningCreate 请求的 suffix 参数
- 为微调任务的后缀添加了 "T-" 前缀，以区分其他类型的处理
- 此修改有助于更好地管理和识别微调任务
|
2025-02-14 12:18:41 +08:00 |
|
|
|
6d46498b5d
|
refactor(llm): 将学习率字段类型从 Integer 改为 BigDecimal
- 修改了 FineTuningTaskPageReqVO、FineTuningTaskRespVO 和 FineTuningTaskSaveReqVO 中的 learningRate 字段类型
- 优化了学习率的表示精度，提高了数据准确性
|
2025-02-14 11:47:00 +08:00 |
|
limin
|
134473af14
|
refactor(llm): 注释掉基模型同步任务定时器
减少维护，先注释掉基模型同步任务的定时器配置。
|
2025-02-14 11:42:07 +08:00 |
|
limin
|
353857d859
|
修改定时任务
|
2025-02-14 11:09:22 +08:00 |
|
|
|
ea1f6ed8e6
|
refactor(llm): 调整数据集同步任务的执行频率
- 将 DatasetTaskSyncService 类中的 syncDatasetAigcTask 方法的执行频率从每 15 秒一次改为每 30 秒一次
- 通过修改 Scheduled 注解的 cron 表达式实现
|
2025-02-14 10:36:17 +08:00 |
|
|
|
e452203b4a
|
refactor(llm): 调整定时任务执行频率
-将 FineTuningTaskSyncService 的定时任务频率从每分钟执行一次改为每三分钟执行一次
- 将 ModelServiceTaskSyncService 的定时任务频率从每小时执行一次改为每两分钟执行一次
|
2025-02-14 10:34:52 +08:00 |
|
limin
|
99685d3605
|
修改配置
|
2025-02-14 10:05:43 +08:00 |
|
|
|
1f20747f9c
|
refactor(llm): 重构模型微调相关代码
- 将 AigcFineTuningCreateReqVO 和 FineTuningTaskDO 中的 learningRate 字段类型从 double/Integer 改为 BigDecimal，以提高精度
- 优化 ModelService 中的 createFineTuningTask 方法，异常处理改为抛出 RuntimeException
|
2025-02-14 10:03:20 +08:00 |
|
|
|
08c82dbb83
|
fix(llm): 修复模型训练调用返回值解析
- 修改了错误信息的判断逻辑，从 contains 改为 containsKey
- 添加了日志输出，便于调试和排查问题
|
2025-02-13 19:15:48 +08:00 |
|
|
|
0a1b8dcf0a
|
fix(llm): 修复模型部署失败时的状态更新问题
- 在 AsyncModelServiceService 和 BaseModelTaskService 中添加对部署失败的处理逻辑
- 修改 TrainHttpService 中的 modelDeploy 方法，增加错误处理和状态码检查
- 优化日志记录，便于排查问题
|
2025-02-13 19:00:36 +08:00 |
|
|
|
cee050c56a
|
fix(llm): 修复知识库文件上传成功后异常处理
- 修复了文件上传成功后，解析响应数据时可能出现的空指针异常
- 优化了错误处理逻辑，当响应中不包含 "status" 字段时，直接抛出异常
- 移除了 handleFailure 方法中冗余的异常信息
|
2025-02-13 17:17:59 +08:00 |
|
