DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
9,222 Commits 1 Branch 0 Tags
Commit Graph

9222 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Liuyang
6d09621d24 Merge remote-tracking branch 'origin/master' 2025-03-14 20:19:10 +08:00
Liuyang
6fa848dc42 fix(llm): 修复删除微调任务的接口请求方式 
- 将查询参数改为路径段参数，以符合接口设计要求
- 确保正确构建请求 URL，提高接口调用的准确性
 2025-03-14 20:18:55 +08:00
sunxiqing
5f284813fc Merge remote-tracking branch 'origin/master' 2025-03-14 20:16:16 +08:00
sunxiqing
c444e2ebe3 fix(llm): 修复删除微调任务的接口请求方式 
- 将查询参数改为路径段方式发送请求
- 提高了请求的准确性和可靠性
 2025-03-14 20:16:00 +08:00
Liuyang
da8dd791e8 fix(llm): 修复删除微调任务的接口请求方式 
- 将查询参数改为路径段参数，以符合接口设计要求
- 确保正确构建请求 URL，提高接口调用的准确性
 2025-03-14 20:09:23 +08:00
sunxiqing
ac52fccc5e Merge remote-tracking branch 'origin/master' 2025-03-14 20:04:26 +08:00
sunxiqing
8f134e820e refactor(yudao-server): 修改模型删除相关 API 路径 
- 将 delete_the_model路径从 /delete-model改为 /delete_model
- 更新 delete_the_model_full URL 以匹配新的路径
 2025-03-14 20:04:16 +08:00
Liuyang
201075b94e fix(llm): 修正删除微调任务的接口参数 
-将查询参数名从 "fine_tuned_model" 修改为 "model_name"
- 这个修改是根据 OpenAI 官方文档进行的，以确保接口调用的正确性
 2025-03-14 20:03:14 +08:00
sunxiqing
097ffc0d5d fix(llm): 修复删除微调任务接口参数错误 
-将查询参数名从 "fine_t
 2025-03-14 19:58:34 +08:00
sunxiqing
02b6da900c refactor(llm): 修改删除基座模型接口 
- 将删除模型接口的参数从 BaseModelPageReqVO 改为 Long 类型的 id
- 更新了 BaseModelService接口和 BaseModelServiceImpl 实现类中的方法签名
- 优化了删除模型的逻辑，直接使用 id 进行查询和删除操作
 2025-03-14 19:54:26 +08:00
Liuyang
8caf82845c refactor(module-llm):优化微调任务删除日志信息 
- 修改 BASE URL 日志信息，提高可读性
- 新增 FULL URL 日志信息，便于调试和追踪请求
 2025-03-14 19:51:48 +08:00
sunxiqing
ba26af27cc refactor(llm): 重构模型删除功能并添加完整 URL 配置 
- 修改了 BaseModelServiceImpl 中的 deleteTheModel 方法，使用 OkHttpClient 发送 HTTP DELETE 请求
- 在 LLMBackendProperties 中添加了 deleteTheModelFull 字段，用于配置完整的删除模型 URL
- 更新了 FineTuningTaskHttpService 中的删除模型逻辑，使用新的完整 URL 配置
- 修改了 Docker Compose 配置，增加了8123 和 5123 端口的映射
- 更新了 application-ymx.yaml 配置，修改了删除模型的 API 路径
 2025-03-14 19:45:43 +08:00
Liuyang
b426e158d0 feat(llm): 添加删除微调任务功能 
- 在 AsyncFineTuningTaskService 中添加 deleteFinetuning 方法
- 在 FineTuningTaskHttpService 中实现 deletedFinetuning 方法
- 在 FineTuningTaskServiceImpl 中调用 deleteFinetuning 方法
- 在 LLMBackendProperties 中添加删除微调任务的 API 路径
 2025-03-14 19:28:05 +08:00
Liuyang
544b4db400 refactor(llm): 关于删除微调任务的代码调整 
- 注释掉了删除微调任务前的使用校验方法调用- 注释掉了删除前在校验微调任务是否在模型服务管理中使用的调用
- 在删除微调任务后添加了一个空行，提高代码可读性
 2025-03-14 19:21:16 +08:00
sunxiqing
404beed57c feat(llm): 更新模型训练任务状态 
- 在更新 localModel 的同时，增加了对 baseModel 相关信息的更新
- 更新 baseModel 的 jobId、chatUrl 和 apiUrl
- 优化了日志信息，增加了模型状态为 running 时的提示
 2025-03-14 19:19:54 +08:00
sunxiqing
eb7fb66dfa fix(llm): 修复模型禁用时状态未重置的问题- 将模型服务的禁用状态从 3 修改为 0，以确保状态正确重置- 优化了 ModelServiceServiceImpl 中的 unActive 方法，修复了状态更新逻辑 2025-03-14 19:05:13 +08:00
sunxiqing
5e51861052 refactor(llm): 优化删除基础模型的接口调用 
- 将 HttpUtils.post 方法替换为 HttpUtils.del 方法，适配后端接口变更
- 调整 URL 参数的传递方式，符合新的接口要求
 2025-03-14 18:58:32 +08:00
sunxiqing
1d1f959f26 Merge remote-tracking branch 'origin/master' 
# Conflicts:
#	yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/basemodel/BaseModelTaskService.java
 2025-03-14 18:47:59 +08:00
sunxiqing
04dd579d8b fix(llm): 修复模型状态刷新逻辑并优化定时任务执行频率 
- 修复模型状态刷新逻辑，增加对 "stop" 状态的处理
- 将定时任务执行频率从每 5 分钟调整为每分钟
- 优化代码格式，去除多余的空格和换行
 2025-03-14 18:45:53 +08:00
sunxiqing
507ea2551c refactor(llm): 调整模型服务状态和刷新逻辑- 修改 refreshTheModelService 方法的定时调度时间，从每分钟执行改为每 5 分钟执行- 更新模型服务状态判断逻辑，本地模型状态，从"启动中"改为"运行中" 2025-03-14 18:12:09 +08:00
Liuyang
3a919f884a Merge remote-tracking branch 'origin/master' 
# Conflicts:
#	yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/basemodel/BaseModelTaskService.java
 2025-03-14 18:06:48 +08:00
Liuyang
24ddfe0264 feat(llm): 添加模型名称与微调状态更新功能 
- 新增 replaceActiveGroups 方法，用于处理模型名称中的 active 分组
- 在定时任务中调用该方法，更新基础模型的微调状态
- 优化了代码结构，提高了可读性和可维护性
 2025-03-14 18:06:19 +08:00
sunxiqing
3f3c6d0bb1 refactor(llm): 调整模型服务状态和刷新逻辑- 修改 refreshTheModelService 方法的定时调度时间，从每分钟执行改为每 5 分钟执行- 更新模型服务状态判断逻辑， 2025-03-14 18:01:52 +08:00
sunxiqing
60ff7ace82 refactor(llm): 重构基座模型删除逻辑 
- 修改了 BaseModelController 中删除模型的方法，增加更新模型状态的逻辑
-重命名了 BaseModelService 接口中的方法，提高代码可读性
- 更新了 BaseModelServiceImpl 中的实现，使用更合适的方法
- 简化了 BaseModelTaskService 中的删除逻辑
- 注释掉了定时任务，可能需要根据实际情况重新启用
 2025-03-14 17:53:38 +08:00
sunxiqing
5700df8687 feat(llm): 添加删除基座模型功能并优化模型服务相关逻辑 
- 在 BaseModelController 中添加删除基座模型的接口
- 在 BaseModelService 中实现删除基座模型的方法
- 更新 ModelServiceTaskService 中的模型状态刷新逻辑
- 在 ModelServiceRespVO 中添加基座模型的 API 地址和密钥字段
- 更新 ModelServiceServiceImpl 中的模型服务创建和状态更新逻辑
 2025-03-14 17:43:37 +08:00
Liuyang
7b99cc41a5 refactor(llm): 优化应用创建和更新逻辑，增加系统提示和知识库支持 
- 在创建和更新应用时，增加了对系统提示的非空校验和空值处理
- 在获取应用信息时，增加了对 prompt、modelServiceId 和 promptId 的非空赋值
- 在会话创建和聊天请求中，增加了对知识库 ID 和系统提示的处理逻辑- 优化了日志输出，增加了对系统提示更新的记录
 2025-03-14 16:58:35 +08:00
sunxiqing
0e6e306b2e Merge remote-tracking branch 'origin/master' 2025-03-14 16:24:26 +08:00
sunxiqing
dfcc93cece feat(llm): 添加模型列表和状态更新功能 
- 新增模型列表获取接口和相关服务
- 实现模型状态更新逻辑，包括启动和禁用模型
-优化模型数据同步，保持本地与远程模型状态一致
- 重构部分代码，提高可维护性
 2025-03-14 16:24:18 +08:00
Liuyang
63ef71fab3 refactor(llm): 优化知识库服务和文档映射 
- 修改 KnowledgeBaseServiceImpl 中的文档更新逻辑
- 更新 KnowledgeDocumentsMapper 中的 SQL 查询
- 调整 KnowledgeEmbeddingReqVO 中的字段名称
 2025-03-14 15:23:57 +08:00
Liuyang
5f49c0094c fix(llm): 修复知识库查询相关参数错误 
- 将 QueryMultipleReqVO 对象中的 setK 方法调用改为 setTopK
 2025-03-14 14:22:19 +08:00
Liuyang
18f4aeeda1 refactor(llm): 重构知识库更新流程并添加 Embedding功能 
- 新增 KnowledgeEmbeddingReqVO 类用于知识库 Embedding 请求参数
- 在 KnowledgeBaseController 中添加 embeddingKnowledge 方法处理 Embedding 请求
- 在 KnowledgeBaseService接口中新增 embeddingKnowledge 方法
- 在 KnowledgeBaseServiceImpl 中实现 embeddingKnowledge 方法，重构知识库更新流程- 修改 AsyncKnowledgeBase 类，分离创建和删除知识库的方法
- 更新 KnowledgeDocumentsMapper，调整删除文档的查询逻辑
- 移除 KnowledgeDocumentsSaveReqVO 中的冗余注释
 2025-03-14 14:21:26 +08:00
Liuyang
31a13cdfd0 refactor(llm): 注释掉模型重新部署的代码 
- 在 BaseModelTaskService 类中，注释掉了处理模型状态为 "stop" 时的重新部署逻辑
- 保留了原有的日志输出和错误处理逻辑
- 此修改可能是为了暂时禁用模型自动重新部署的功能，或者准备替换为新的部署策略
 2025-03-14 11:20:20 +08:00
Liuyang
0a79f153ef refactor(module-llm):优化知识库文档保存逻辑 
- 移除了对文档 ID 的非空过滤，因为 KnowledgeDocumentsSaveReqVO 已确保 ID 不为 null
 2025-03-14 11:02:13 +08:00
Liuyang
d5c789bea1 fix(llm): 修复删除知识库时未删除对应文档的问题- 更新 KnowledgeBaseServiceImpl 中删除知识库的逻辑 
- 修改 KnowledgeDocumentsMapper 中获取已删除文档 ID 的 SQL 查询
- 修正 RagHttpService 中获取知识文档的方法
 2025-03-14 10:14:21 +08:00
Liuyang
216378d20d fix(llm): 修复知识库文档嵌入错误并优化相关逻辑 
- 移除了 AsyncKnowledgeBase 类中的 RegUploadReqVO 相关代码
- 修复了知识库文档嵌入时知识库 ID 传递错误的问题
- 优化了文档扩展名处理逻辑
- 在 KnowledgeBaseServiceImpl 中添加了 @Transactional 注解，确保数据一致性- 修复了 score 和 topK 的判断逻辑错误
 2025-03-14 09:32:21 +08:00
Liuyang
e14b54a7f8 fix(llm): 修复知识库文档重复生成向量问题 
- 将 knowledge.getId() 替换为 knowledge.getFileId()，确保正确使用文件 ID
- 修改 knowledgeEmbed 方法调用，使用 fileID替代 knowledgeBaseId
- 更新 KnowledgeRagEmbedReqVO 中的 fileId 设置
 2025-03-14 09:14:08 +08:00
Liuyang
e303b6f78c refactor(llm): 将知识库中的 score 字段类型从 Integer 改为 Double 
- 修改了 KnowledgeBasePageReqVO、KnowledgeBaseRespVO 和 KnowledgeBaseSaveReqVO 中的 score 字段类型
- 这个改动可以提供更高的精度，更好地处理分数阈值
 2025-03-13 18:22:00 +08:00
Liuyang
e50e3117ef refactor(llm): 优化知识库命中率显示格式 
-移除注释代码，使用 DecimalFormat
 2025-03-13 17:39:33 +08:00
leon
e513685b87 Merge remote-tracking branch 'origin/master' 2025-03-13 17:07:06 +08:00
leon
9df062b972 我改了点东西 2025-03-13 17:06:59 +08:00
Liuyang
dff7904e39 feat(llm): 优化知识库命中率测试功能 
- 修改 executeHitRateTest 方法签名，使用 KnowledgeHitRateTestReqVO 作为参数
- 优化命中率测试逻辑，增加对 score 阈值的处理
- 调整 KnowledgeBaseDO 中 score 字段类型，从 Integer 改为 Double- 优化 hit rate 测试结果解析逻辑，增加错误处理
- 移除不必要的 DecimalFormat 使用，简化代码
 2025-03-13 16:56:27 +08:00
Liuyang
b29d9c5b0c refactor(llm): 重构知识库处理逻辑 
- 新增 KnowledgeBaseService 接口并注入到 ConversationServiceImpl
- 优化知识库字符串处理逻辑，增加空字符串处理
- 重构系统提示和知识库字符串的组合方式
- 新增知识库命中率测试相关功能
- 优化知识库数据结构，支持段落命中率计算
 2025-03-13 15:51:10 +08:00
Liuyang
9e82ebdf5a refactor(llm): 优化知识库命中率测试功能 
- 添加文件名字段并格式化命中率显示
- 增加知识库存在性检查和默认 topK 值设置
- 优化日志输出，记录请求参数和结果
- 统一数据类型：将命中率从 Double 改为 String
 2025-03-13 15:23:40 +08:00
Liuyang
8cb60e82a8 feat(module-llm): 为 KnowledgeBaseRespVO 类增加分块大小和重叠字段 
- 在 KnowledgeBaseRespVO 类中添加 chunkSize 和 chunkOverlap 字段
- 为新字段添加 @Schema 注解以描述其用途
 2025-03-13 14:47:32 +08:00
Liuyang
52f0a6a463 feat(llm): 增加知识库命中率测试功能 
- 新增 KnowledgeHitRateTestReqVO 和 KnowledgeHitRateTestResultVO 类用于命中率测试请求和响应- 在 KnowledgeBaseController 中添加 executeHitRateTest 方法处理命中率测试请求
- 在 KnowledgeBaseService接口中定义 executeHitRateTest 方法
- 在 KnowledgeBaseServiceImpl 中实现 executeHitRateTest 方法，包括查询知识库文档、调用 RAG 查询接口和解析结果
- 新增 DocumentInfoVO、MetadataVO、QueryMultipleReqVO 和 QueryResultPairVO 类用于 RAG 查询请求和响应
- 修改 AsyncKnowledgeBase 和 RagHttpService 以支持命中率测试功能
 2025-03-13 14:46:22 +08:00
Liuyang
0018c535a7 feat(llm): 知识库增加分块重叠参数并优化相关逻辑 
- 在 KnowledgeBaseDO、KnowledgeBaseSaveReqVO 和 KnowledgeRagEmbedReqVO 中添加分块重叠字段
- 优化知识库更新逻辑，增加参数校验和错误处理
- 调整文档处理流程，支持分块大小和重叠参数
- 新增错误码常量，用于处理分块参数相关的错误
 2025-03-13 13:41:39 +08:00
Liuyang
8923987afb refactor(yudao-module-llm): 优化流式聊天接口的异步处理逻辑 
-移除了未使用的代码块，简化了代码结构
- 保留了 SseEmitter 的创建和异步处理逻辑
- 删除了冗余的注释和未使用的 ExecutorService 相关代码
 2025-03-13 11:01:43 +08:00
sunxiqing
864b25e919 refactor(yudao-module-llm): 重构 ModelService 中的响应处理逻辑 
- 注释掉了一部分响应处理代码，暂时禁用了错误处理和特定标签的处理逻辑
- 优化了代码结构，提高了可读性和可维护性
- 保留了原有的功能逻辑，未进行功能上的修改
 2025-03-13 10:09:29 +08:00
Liuyang
0e308a7f13 feat(module-llm):增加 topP 参数并调整相关逻辑 
- 在 ChatReqVO 中添加 topP 字段
- 在 ConversationServiceImpl 中处理 topP 参数- 更新 ModelCompletionsReqVO，将 top_p 设为可配置项
- 调整 ModelService 中的默认参数设置
 2025-03-12 19:51:36 +08:00
Liuyang
5bbc4931d9 refactor(yudao-server):重命名配置文件并更新相关设置 
- 将 application-ymx-docker.yaml 重命名为 application-docker-dev.yaml
- 更新数据库连接字符串、用户名和密码
- 修改 Spring Boot Admin Server 地址- 更新日志文件路径
- 调整部分配置项格式
- 更新微服务 API 地址
- 修改 logback-spring.xml 中的 springProfile 名称
 2025-03-12 09:49:54 +08:00