9049 Commits

Author SHA1 Message Date
3a6362bab1 refactor(llm): 知识库文档嵌入逻辑
- 注释掉了原有的针对 txt 文件的特殊处理逻辑
2025-02-26 13:44:55 +08:00
3be8b1e869 fix(llm): 修复微调保存步数默认值逻辑
- 使用 Optional.ofNullable() 处理 fineTuningTask.getSaveSteps() 的值
- 在原值基础上加 1,确保保存步数至少为 1
- 优化了代码的可读性和健壮性
2025-02-26 11:48:08 +08:00
012a04b860 refactor(module-llm):调整日志级别以提高可读性
- 将 debug 日志级别改为 info 级别,以提供更有用的信息- 优化日志输出,更好地
2025-02-26 11:36:01 +08:00
ee52e777d6 refactor(module-llm):优化模型卸载和删除逻辑- 在 ModelServiceServiceImpl 中增加日志记录,详细记录模型卸载和删除过程
- 优化 TrainHttpService 中的 modelUndeploy 方法,添加异常处理并记录日志
2025-02-26 11:25:26 +08:00
49e5068089 Merge remote-tracking branch 'origin/master' 2025-02-26 11:18:01 +08:00
1944365db7 新增saveSteps 2025-02-26 11:17:40 +08:00
89becc01f1 refactor(yudao-module-llm): 优化日志输出信息
- 在微调任务创建成功时,增加任务模型名称的日志输出
- 在开始微调任务时,使用新的模型名称格式- 优化异常日志输出,包含更多详细信息
2025-02-26 10:17:38 +08:00
1f98a9d4c6 refactor(yudao-module-llm): 移除重复的代码行
- 删除了 AsyncFineTuningTaskService 中的重复代码
2025-02-26 10:02:35 +08:00
91a3e03143 feat(llm): 增加微调任务部署次数记录
- 在 FineTuningTaskDO 中添加 deployCount 字段,用于记录部署次数
- 在创建微调任务时,增加部署次数并更新任务信息
2025-02-26 10:01:57 +08:00
c0f597f81c feat(llm): 添加 GPU 名称字段并实现相关逻辑
- 在 FineTuningTaskRespVO 中添加 gpuName 字段,用于展示 GPU 名称
- 在 FineTuningTaskServiceImpl 中实现 GPU 名称的获取逻辑
- 通过 ServerNameService 获取 GPU 类型对应的 ServerNameDO,并设置 GPU 名称
2025-02-25 18:19:33 +08:00
a8cca3b52e refactor(module-llm):重构停止微调任务接口
- 使用 OkHttpClient 替代 HttpRequest 发送 HTTP 请求
- 设置连接、读取和写入的超时时间为 2 分钟
- 构建带有查询参数的 URL
- 添加空的请求体
-优化异常处理,使用 IOException 替代 Exception
2025-02-25 18:14:19 +08:00
1cb2ad25e7 feat(llm): 添加模型调优停止接口
- 在 application-dev.yaml、application-local.yaml 和 application-prod.yaml 中添加了模型调优停止接口的配置
- 新增的 stop_finetuning 配置项
2025-02-25 17:38:31 +08:00
7e56753435 refactor(llm): 重构异步微调任务服务
- 提取 getServerNameDO 方法,优化服务器信息查询逻辑
- 修改 stopFinetuning 方法,增加服务器信息校验
- 更新 FineTuningTaskHttpService 接口,明确停止微调任务的主机
2025-02-25 17:35:33 +08:00
3d70b004ab refactor(module-llm):重构微调任务创建逻辑
- 将 finetuningCreate 方法从 TrainHttpService 移动到 FineTuningTaskHttpService
-优化 AsyncFineTuningTaskService 中的调用逻辑
-增加 FineTuningTaskServiceImpl 中的任务存在性校验和状态更新
- 删除 TrainHttpService 中的冗余方法
2025-02-25 17:30:07 +08:00
8dffa602fb feat(llm): 添加停止微调任务功能
- 在 application-ymx.yaml 中添加停止微调任务的 API 路径
- 新增 FineTuningTaskHttpService 类,实现停止微调任务的 HTTP 请求
- 修改 AsyncFineTuningTaskService 类,增加停止微调任务的方法
- 更新 FineTuningTaskServiceImpl 类,实现停止微调任务的业务逻辑
2025-02-25 17:23:11 +08:00
af0f47c2c7 refactor(llm): 优化 FineTuningTaskController 中的日志获取接口路径
- 将 @GetMapping("finetuning-log") 修改为 @GetMapping("/finetuning-log")- 添加了缺失的斜杠,使接口路径更加规范
2025-02-25 16:42:46 +08:00
5cb4c8a6e6 refactor(module-llm):优化 LLM 模块相关服务
- 修改 AsyncDataSetService 中的 URL 处理逻辑,返回处理后的 result
- 更新 AsyncFineTuningTaskService 中的日志级别,从 debug 改为 info
- 在 TrainHttpService 中添加 base URL,确保 HTTP 请求的 URL 完整性
2025-02-25 15:10:08 +08:00
30be835063 Merge branch 'master' of https://codeup.aliyun.com/63736f52e9565f4348a4cd42/xnjz-ai/xhllm 2025-02-25 14:55:41 +08:00
c14b3b0641 删除http路径 2025-02-25 14:55:27 +08:00
3b237f2241 日志修改 2025-02-25 14:52:19 +08:00
67d85799c5 refactor(llm): 基础模型同步任务
- 添加日志记录
2025-02-25 14:42:20 +08:00
1fed32672e perf(llm): 优化 FineTuningTaskService.listFineTuningTaskRespVOS 方法
- 在获取服务器名称列表之前,增加了对 GPU 类型 ID 列表的空值检查
- 如果 GPU 类型 ID 列表为空,则直接返回空的结果列表,避免不必要的数据库查询
2025-02-25 14:35:45 +08:00
36802463b8 feat(llm): 优化微调任务创建流程
- 增加日志记录
2025-02-25 11:17:17 +08:00
8984abcb3b fix(server): 更新文生图接口地址
- 在 application-prod.yaml 和 application-ymx.yaml 文件中,将文生图接口地址从相对路径改为绝对路径
- 新地址为 http://127.0.0.1:5123/generate-image
2025-02-25 09:56:28 +08:00
28edd140a4 refactor(yudao-server): 更新文生图服务地址
-将 text_to_image 字段的值从相对路径改为绝对 URL
- 新地址为 http://36.103.199.248:5123/generate-image
2025-02-25 09:55:23 +08:00
59f8fe1e03 fix(server): 更新文生图接口地址
- 将文生图接口地址从相对路径改为绝对路径
- 新地址为: http://36.103.199.248:5123/generate-image
2025-02-25 09:52:54 +08:00
ed4e61cf26 refactor(module-llm):调整日志打印内容- 修改 modelCompletions 和 textToImage 方法中的日志输出- 为不同请求和响应添加更具体的日志标识
-优化日志格式,提高可读性和调试效率
2025-02-24 18:38:31 +08:00
limin
f56c7a7f18 修复 2025-02-24 18:34:24 +08:00
7bb3c75b3d 修改model_service_api配置 解决页面显示问题 2025-02-24 18:16:07 +08:00
c9aa95ea4a 修改model_service_api配置 解决页面显示问题 2025-02-24 18:08:11 +08:00
limin
414ab3039f 修改思考出现问题 2025-02-24 17:36:23 +08:00
limin
8a9db64ab1 修改基座模型定时启动问题 2025-02-24 17:16:12 +08:00
limin
8bc34b0163 修改yaml配置 2025-02-24 11:03:36 +08:00
7b1c35c8ee Merge remote-tracking branch 'origin/master' 2025-02-21 17:47:06 +08:00
d4deff119a refactor(yudao-server): 更新 RAG 服务和训练集相关 API 的端口
- 将 RAG 服务相关 API 的端口从 8000 修改为 8123
- 更新了健康检查、向量化、文档获取和查询等 API 的 URL
2025-02-21 17:46:51 +08:00
5a5342873b Merge remote-tracking branch 'origin/master' 2025-02-21 17:35:25 +08:00
7e8f5ca3df refactor(yudao-server): 更新 RAG 相关 API 的主机地址
- 将 rag_embed 和 embed 的主机地址从 36.103.199.248 改为127.0.0.1
- 此修改确保了所有 RAG 相关的 API 调用都指向本地服务
2025-02-21 17:35:14 +08:00
708a79c8dd refactor(yudao-server): 更新 API 服务地址 2025-02-21 17:34:50 +08:00
b046efa65b refactor(module-llm):重构知识库文档上传流程
- 优化了 createKnowledgeBase 方法的逻辑,增加了日志记录和错误处理
- 重构了 embedUploadFile 方法,使用 HttpClient 替代 Unirest
- 改进了 knowledgeEmbed 方法,使用 OkHttpClient 替代 Unirest
- 优化了 getFileByte 方法,增加了日志记录和错误处理
- 移除了未使用的代码和冗余的注释
2025-02-21 17:28:41 +08:00
758b00fefb refactor(module-llm):优化 HTTP 请求和响应的日志记录
- 移除重复的日志记录代码
- 添加请求耗时的记录
- 优化日志输出格式
- 封装日志打印逻辑到单独的方法中
2025-02-21 17:05:39 +08:00
limin
241cefdac9 修改华为服务器配置 2025-02-21 15:41:33 +08:00
6247b788e6 refactor(yudao-module-llm): 暂时移除知识库创建文件的异步处理
- 注释掉 AsyncKnowledgeBase 类中的 createKnowledgeBase 方法的 @Async 注解
- 此修改可能是为了调试或测试目的,暂时将该方法改为同步执行
2025-02-21 15:34:03 +08:00
ire
d1d2bbd90b bug 2025-02-21 14:54:41 +08:00
limin
0accab34ad 修改华为服务器配置 2025-02-21 14:46:12 +08:00
adebc2952a env(ymx): 更新 API地址并调整日志级别- 将 RAG 服务、大模型管理、微调任务、文件上传和模型部署等 API地址从远程服务器改为本地地址
- 在 logback-spring.xml 中将 ymx 环境添加到使用 INFO 日志级别的配置中
2025-02-21 14:20:21 +08:00
8a0733ec70 refactor(yudao-server): 更新 API 接口地址
-将本地地址 (127.0.0.1) 替换为远程地址 (36.103.199.248)
- 更新了多个端口的 API 接口地址,包括 8123、9000、5123、30000等
- 此修改统一了 API 接口的服务器地址,确保所有请求都指向同一台远程服务器
2025-02-21 14:12:11 +08:00
4e9c83a19a refactor(yudao-server): 更新 RAG 服务接口地址调试使用
- 将本地地址 127.0.0.1 更改为远程地址 36.103.199.248
- 修改涉及 rag_embed 和 embed 两个接口的地址
2025-02-21 13:51:46 +08:00
bc37d687cf refactor(module-llm):增加响应成功日志- 在 RagHttpService 类中的两个不同方法中添加了多个日志输出语句
- 用于标记和记录响应成功的状态
2025-02-21 13:18:30 +08:00
c1a5833bec refactor(yudao-module-llm): 恢复文档嵌入逻辑
- 重新启用了对上传文件进行嵌入的逻辑
- 根据文件扩展名决定使用不同的嵌入方法
2025-02-21 11:20:11 +08:00
df92cc9ef4 Merge remote-tracking branch 'origin/master' 2025-02-21 11:12:47 +08:00