9301 Commits

Author SHA1 Message Date
c1a5833bec refactor(yudao-module-llm): 恢复文档嵌入逻辑
- 重新启用了对上传文件进行嵌入的逻辑
- 根据文件扩展名决定使用不同的嵌入方法
2025-02-21 11:20:11 +08:00
df92cc9ef4 Merge remote-tracking branch 'origin/master' 2025-02-21 11:12:47 +08:00
c4d8b68d91 refactor(module-llm):优化知识库创建文件方法
- 添加 @Async 注解实现异步处理
- 简化文件嵌入逻辑,暂时注释掉非 txt 文件的处理
-优化代码结构,提高可读性和性能
2025-02-21 11:12:31 +08:00
limin
9e2582d762 Merge remote-tracking branch 'origin/master' 2025-02-21 11:04:49 +08:00
limin
ce6b890133 修复 2025-02-21 11:04:37 +08:00
ire
2f9b1c32ac bug 2025-02-21 10:57:38 +08:00
503f031683 refactor(module-llm):优化知识库嵌入请求的超时设置
- 在 OkHttpClient 实例中添加了连接、读取和写入的超时时间设置- 将 knowledgeEmbed 方法中的 OkHttpClient 实例化过程进行了优化
2025-02-21 10:46:09 +08:00
limin
93e4f44bf5 修复 2025-02-21 10:29:49 +08:00
limin
b16c1c9957 Merge remote-tracking branch 'origin/master' 2025-02-21 10:17:42 +08:00
limin
c552063dea 修复 2025-02-21 10:17:32 +08:00
ire
9c0c7402cd bug 2025-02-21 10:17:02 +08:00
limin
1b25d0f767 修改 2025-02-21 10:08:25 +08:00
a4e5213a8e Merge remote-tracking branch 'origin/master' 2025-02-21 10:06:01 +08:00
886bcf85cf feat: 添加 application-ymx.yaml 配置文件
- 新增 YAML 配置文件,包含服务器、数据库、定时任务、消息队列等配置
- 添加微信公众号和小程序配置
- 配置大模型训练相关 API
-包含 IoT 相关配置
2025-02-21 10:05:40 +08:00
3a41fb9100 refactor(yudao-module-llm): 重构文件上传功能- 优化了文件上传的实现方式,使用 OkHttpClient 替代原有的 CloseableHttpClient
- 新增 getFileByte 方法获取文件字节数组
- 增加了对文件类型的处理,支持pdf
2025-02-21 10:03:14 +08:00
limin
53305996f6 修改 2025-02-21 09:18:51 +08:00
limin
8b4a56488f 修改 2025-02-20 14:52:41 +08:00
limin
7d1fd72db1 日志 2025-02-20 14:42:33 +08:00
681c12206e refactor(module-llm):重构知识库向量嵌入功能
- 移除 Async 注解和不必要的导入
- 优化 knowledgeEmbed 方法,使用 HTTP 客户端替代 Unirest
- 添加 fileUrl 字段到 KnowledgeRagEmbedReqVO
- 重构 ragHttpService.knowledgeEmbed 方法,支持文件 URL 上传
2025-02-20 14:26:37 +08:00
limin
06c832fa3f fix(llm): 修复模型训练过程中因服务不可达导致的空指针异常
- 在 AsyncModelAccessManualService 类中,对 trainHttpService.autoEvaluation 方法调用添加了异常处理
- 捕获 Exception 类型的异常,并将结果设置为 "bad",避免空指针异常
2025-02-20 14:24:53 +08:00
limin
dda11d401c Merge remote-tracking branch 'origin/master' 2025-02-20 14:04:36 +08:00
limin
f232d2a536 chore(llm): 添加 autoEvaluation 接口请求体的日志输出
- 在调用 autoEvaluation接口前,增加对请求体的 log.info 日志输出
- 有助于调试和排查接口调用问题
2025-02-20 14:04:28 +08:00
c7e4e71e48 refactor(module-llm):重构知识库向量嵌入功能并添加日志记录
-移除了 try-catch 块,简化了错误处理逻辑
- 在 KnowledgeRagEmbedReqVO 中添加了 fileBytes 字段
- 引入了 okhttp3 和 ok2curl 依赖,用于生成 curl 命令
- 在 RagHttpService 中添加了详细的日志记录,包括请求参数、生成的 curl 命令和响应内容
- 优化了代码结构,提高了可读性和可维护性
2025-02-20 14:02:56 +08:00
limin
05841ce69c fix(llm): 修复模型评估任务中的空指针异常
- 在自动评估过程中,增加了对模型回答为空的处理
-避免了因空回答导致的后续处理异常
2025-02-20 13:52:34 +08:00
limin
e49bc929e0 refactor(yudao-module-llm): 重构自动评估功能以支持多模型
- 修改 AsyncModelAccessManualService 中的 autoEvaluation 方法,增加 modelUrl 参数
- 更新 TrainHttpService 中的 autoEvaluation 方法,添加 url 参数
- 优化日志输出,增加自动响应内容的打印
2025-02-20 13:39:32 +08:00
11daa4436d refactor(yudao-server): 更新 API 服务地址
- 修改了 application-dev.yaml 和 application-local.yaml 文件中的多个 API 服务地址
- 将 IP 地址从36.103.199.278 更改为 36.103.
2025-02-20 09:52:14 +08:00
da1ad5a640 refactor(yudao-server): 更新 API 服务地址
- 修改了 application-dev.yaml 和 application-local.yaml 文件中的多个 API 服务地址
- 将 IP 地址从36.103.199.104 更改为 36.103.199.278
2025-02-20 09:48:21 +08:00
ire
313aaf37d6 基础模型api 2025-02-19 17:58:01 +08:00
f776becf00 refactor(llm): 修改 CSV 数据集答案字段名称
- 将 CsvDataSetVO 类中的 answer 字段重命名为 answers
- 更新 DatasetServiceImpl 中相关代码,使用新的 answers 字段
2025-02-19 17:17:26 +08:00
limin
c230296d18 修复模型部署 2025-02-19 16:44:37 +08:00
96d65952a3 refactor(llm): 调整细调任务同步服务执行频率
- 将 FineTuningTaskSync 定时任务的执行频率从每 3 分钟调整为每 1 分钟
2025-02-19 15:35:05 +08:00
limin
c6e1d57299 Merge remote-tracking branch 'origin/master' 2025-02-19 15:34:26 +08:00
ire
b14e76b763 基础模型api 2025-02-19 15:32:50 +08:00
limin
3be18ff084 修改模型调优 数据集 deepseek模型 2025-02-19 15:28:17 +08:00
956742141b 人工评估备份查看时数据集问题不存在报错 2025-02-19 11:10:47 +08:00
limin
c261768e9b 修改自动评估 2025-02-19 10:26:15 +08:00
limin
12f5e250bd 修改华为数据集接口 2025-02-19 09:26:28 +08:00
limin
2ddd8a0034 修改华为数据集接口 2025-02-19 09:23:16 +08:00
limin
3dece4950a 修改模型调优 2025-02-18 15:07:18 +08:00
limin
1ca41b7cf6 修改模型调优 2025-02-18 14:52:25 +08:00
limin
fded71ba43 refactor(yudao-server): 更新大模型训练相关配置
- 修改 RAG 服务相关 API 地址
- 更新 LLM 训练和服务 API 地址
- 新增部分 API 调用路径
- 调整部分 API 调用路径格式- 更新 IP 地址和端口号
2025-02-18 14:43:48 +08:00
limin
263199466c Merge remote-tracking branch 'origin/master' 2025-02-18 13:37:04 +08:00
limin
707d3981db 重新调试 修改日志返回接口 2025-02-18 13:36:58 +08:00
9f66f93c06 refactor(module-llm):重构模型文件下载 URL 拼接逻辑
- 新增通过 GPU 类型获取主机地址的方法
- 修改文件下载 URL 拼接逻辑,加入主机地址
2025-02-18 13:19:17 +08:00
6b6b9f8b9d refactor(yudao-module-llm): 重构模型下载列表功能
- 增加参数校验,提高代码健壮性
- 优化日志记录,增加请求和响应的详细日志
- 改进异常处理,确保在请求失败时返回空列表
- 重构方法结构,提高代码可读性和维护性
2025-02-18 11:34:55 +08:00
da2d548009 feat(module-llm):增加根据 GPU 类型获取模型下载列表功能
- 新增 getHostByType 方法,通过 GPU 类型获取对应的主机地址
- 修改 getFileList 方法,增加 GPU 类型参数,使用 getHostByType 获取主机地址
- 更新 getDownLoadList 方法,传入 GPU 类型到 getFileList 方法
2025-02-18 11:28:23 +08:00
9bbe8fa8ff feat(module-llm):增加根据 GPU 类型获取模型下载列表功能
- 新增 getHostByType 方法,通过 GPU 类型获取对应的主机地址
- 修改 getFileList 方法,增加 GPU 类型参数,使用 getHostByType 获取主机地址
- 更新 getDownLoadList 方法,传入 GPU 类型到 getFileList 方法
2025-02-18 11:22:04 +08:00
2766385bcb feat(module-llm): 添加获取模型服务管理 GPU 类型的功能- 新增 getGpuTypeById 方法,根据 ID 获取 GPU 类型
- 优化了代码格式,调整了部分缩进和空格
- 移除了未使用的导入信息
2025-02-18 11:18:52 +08:00
limin
a3f7074d9d 修改返回名称 2025-02-18 10:50:29 +08:00
limin
b4c53ad546 refactor(llm): 将 FineTuningTask 中的 gpuType 字段类型从 Integer 改为 Long
- 修改了 FineTuningTaskDO、FineTuningTaskPageReqVO、FineTuningTaskRespVO 和 FineTuningTaskSaveReqVO 中的 gpuType 字段类型- 此修改可能与字典类型相关,需要确保字典类型与新字段类型兼容
2025-02-18 10:27:24 +08:00