DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
9,205 Commits 1 Branch 0 Tags
Commit Graph

9205 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
sunxiqing
1d1f959f26 Merge remote-tracking branch 'origin/master' 
# Conflicts:
#	yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/basemodel/BaseModelTaskService.java
 2025-03-14 18:47:59 +08:00
sunxiqing
04dd579d8b fix(llm): 修复模型状态刷新逻辑并优化定时任务执行频率 
- 修复模型状态刷新逻辑，增加对 "stop" 状态的处理
- 将定时任务执行频率从每 5 分钟调整为每分钟
- 优化代码格式，去除多余的空格和换行
 2025-03-14 18:45:53 +08:00
sunxiqing
507ea2551c refactor(llm): 调整模型服务状态和刷新逻辑- 修改 refreshTheModelService 方法的定时调度时间，从每分钟执行改为每 5 分钟执行- 更新模型服务状态判断逻辑，本地模型状态，从"启动中"改为"运行中" 2025-03-14 18:12:09 +08:00
Liuyang
3a919f884a Merge remote-tracking branch 'origin/master' 
# Conflicts:
#	yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/basemodel/BaseModelTaskService.java
 2025-03-14 18:06:48 +08:00
Liuyang
24ddfe0264 feat(llm): 添加模型名称与微调状态更新功能 
- 新增 replaceActiveGroups 方法，用于处理模型名称中的 active 分组
- 在定时任务中调用该方法，更新基础模型的微调状态
- 优化了代码结构，提高了可读性和可维护性
 2025-03-14 18:06:19 +08:00
sunxiqing
3f3c6d0bb1 refactor(llm): 调整模型服务状态和刷新逻辑- 修改 refreshTheModelService 方法的定时调度时间，从每分钟执行改为每 5 分钟执行- 更新模型服务状态判断逻辑， 2025-03-14 18:01:52 +08:00
sunxiqing
60ff7ace82 refactor(llm): 重构基座模型删除逻辑 
- 修改了 BaseModelController 中删除模型的方法，增加更新模型状态的逻辑
-重命名了 BaseModelService 接口中的方法，提高代码可读性
- 更新了 BaseModelServiceImpl 中的实现，使用更合适的方法
- 简化了 BaseModelTaskService 中的删除逻辑
- 注释掉了定时任务，可能需要根据实际情况重新启用
 2025-03-14 17:53:38 +08:00
sunxiqing
5700df8687 feat(llm): 添加删除基座模型功能并优化模型服务相关逻辑 
- 在 BaseModelController 中添加删除基座模型的接口
- 在 BaseModelService 中实现删除基座模型的方法
- 更新 ModelServiceTaskService 中的模型状态刷新逻辑
- 在 ModelServiceRespVO 中添加基座模型的 API 地址和密钥字段
- 更新 ModelServiceServiceImpl 中的模型服务创建和状态更新逻辑
 2025-03-14 17:43:37 +08:00
Liuyang
7b99cc41a5 refactor(llm): 优化应用创建和更新逻辑，增加系统提示和知识库支持 
- 在创建和更新应用时，增加了对系统提示的非空校验和空值处理
- 在获取应用信息时，增加了对 prompt、modelServiceId 和 promptId 的非空赋值
- 在会话创建和聊天请求中，增加了对知识库 ID 和系统提示的处理逻辑- 优化了日志输出，增加了对系统提示更新的记录
 2025-03-14 16:58:35 +08:00
sunxiqing
0e6e306b2e Merge remote-tracking branch 'origin/master' 2025-03-14 16:24:26 +08:00
sunxiqing
dfcc93cece feat(llm): 添加模型列表和状态更新功能 
- 新增模型列表获取接口和相关服务
- 实现模型状态更新逻辑，包括启动和禁用模型
-优化模型数据同步，保持本地与远程模型状态一致
- 重构部分代码，提高可维护性
 2025-03-14 16:24:18 +08:00
Liuyang
63ef71fab3 refactor(llm): 优化知识库服务和文档映射 
- 修改 KnowledgeBaseServiceImpl 中的文档更新逻辑
- 更新 KnowledgeDocumentsMapper 中的 SQL 查询
- 调整 KnowledgeEmbeddingReqVO 中的字段名称
 2025-03-14 15:23:57 +08:00
Liuyang
5f49c0094c fix(llm): 修复知识库查询相关参数错误 
- 将 QueryMultipleReqVO 对象中的 setK 方法调用改为 setTopK
 2025-03-14 14:22:19 +08:00
Liuyang
18f4aeeda1 refactor(llm): 重构知识库更新流程并添加 Embedding功能 
- 新增 KnowledgeEmbeddingReqVO 类用于知识库 Embedding 请求参数
- 在 KnowledgeBaseController 中添加 embeddingKnowledge 方法处理 Embedding 请求
- 在 KnowledgeBaseService接口中新增 embeddingKnowledge 方法
- 在 KnowledgeBaseServiceImpl 中实现 embeddingKnowledge 方法，重构知识库更新流程- 修改 AsyncKnowledgeBase 类，分离创建和删除知识库的方法
- 更新 KnowledgeDocumentsMapper，调整删除文档的查询逻辑
- 移除 KnowledgeDocumentsSaveReqVO 中的冗余注释
 2025-03-14 14:21:26 +08:00
Liuyang
31a13cdfd0 refactor(llm): 注释掉模型重新部署的代码 
- 在 BaseModelTaskService 类中，注释掉了处理模型状态为 "stop" 时的重新部署逻辑
- 保留了原有的日志输出和错误处理逻辑
- 此修改可能是为了暂时禁用模型自动重新部署的功能，或者准备替换为新的部署策略
 2025-03-14 11:20:20 +08:00
Liuyang
0a79f153ef refactor(module-llm):优化知识库文档保存逻辑 
- 移除了对文档 ID 的非空过滤，因为 KnowledgeDocumentsSaveReqVO 已确保 ID 不为 null
 2025-03-14 11:02:13 +08:00
Liuyang
d5c789bea1 fix(llm): 修复删除知识库时未删除对应文档的问题- 更新 KnowledgeBaseServiceImpl 中删除知识库的逻辑 
- 修改 KnowledgeDocumentsMapper 中获取已删除文档 ID 的 SQL 查询
- 修正 RagHttpService 中获取知识文档的方法
 2025-03-14 10:14:21 +08:00
Liuyang
216378d20d fix(llm): 修复知识库文档嵌入错误并优化相关逻辑 
- 移除了 AsyncKnowledgeBase 类中的 RegUploadReqVO 相关代码
- 修复了知识库文档嵌入时知识库 ID 传递错误的问题
- 优化了文档扩展名处理逻辑
- 在 KnowledgeBaseServiceImpl 中添加了 @Transactional 注解，确保数据一致性- 修复了 score 和 topK 的判断逻辑错误
 2025-03-14 09:32:21 +08:00
Liuyang
e14b54a7f8 fix(llm): 修复知识库文档重复生成向量问题 
- 将 knowledge.getId() 替换为 knowledge.getFileId()，确保正确使用文件 ID
- 修改 knowledgeEmbed 方法调用，使用 fileID替代 knowledgeBaseId
- 更新 KnowledgeRagEmbedReqVO 中的 fileId 设置
 2025-03-14 09:14:08 +08:00
Liuyang
e303b6f78c refactor(llm): 将知识库中的 score 字段类型从 Integer 改为 Double 
- 修改了 KnowledgeBasePageReqVO、KnowledgeBaseRespVO 和 KnowledgeBaseSaveReqVO 中的 score 字段类型
- 这个改动可以提供更高的精度，更好地处理分数阈值
 2025-03-13 18:22:00 +08:00
Liuyang
e50e3117ef refactor(llm): 优化知识库命中率显示格式 
-移除注释代码，使用 DecimalFormat
 2025-03-13 17:39:33 +08:00
leon
e513685b87 Merge remote-tracking branch 'origin/master' 2025-03-13 17:07:06 +08:00
leon
9df062b972 我改了点东西 2025-03-13 17:06:59 +08:00
Liuyang
dff7904e39 feat(llm): 优化知识库命中率测试功能 
- 修改 executeHitRateTest 方法签名，使用 KnowledgeHitRateTestReqVO 作为参数
- 优化命中率测试逻辑，增加对 score 阈值的处理
- 调整 KnowledgeBaseDO 中 score 字段类型，从 Integer 改为 Double- 优化 hit rate 测试结果解析逻辑，增加错误处理
- 移除不必要的 DecimalFormat 使用，简化代码
 2025-03-13 16:56:27 +08:00
Liuyang
b29d9c5b0c refactor(llm): 重构知识库处理逻辑 
- 新增 KnowledgeBaseService 接口并注入到 ConversationServiceImpl
- 优化知识库字符串处理逻辑，增加空字符串处理
- 重构系统提示和知识库字符串的组合方式
- 新增知识库命中率测试相关功能
- 优化知识库数据结构，支持段落命中率计算
 2025-03-13 15:51:10 +08:00
Liuyang
9e82ebdf5a refactor(llm): 优化知识库命中率测试功能 
- 添加文件名字段并格式化命中率显示
- 增加知识库存在性检查和默认 topK 值设置
- 优化日志输出，记录请求参数和结果
- 统一数据类型：将命中率从 Double 改为 String
 2025-03-13 15:23:40 +08:00
Liuyang
8cb60e82a8 feat(module-llm): 为 KnowledgeBaseRespVO 类增加分块大小和重叠字段 
- 在 KnowledgeBaseRespVO 类中添加 chunkSize 和 chunkOverlap 字段
- 为新字段添加 @Schema 注解以描述其用途
 2025-03-13 14:47:32 +08:00
Liuyang
52f0a6a463 feat(llm): 增加知识库命中率测试功能 
- 新增 KnowledgeHitRateTestReqVO 和 KnowledgeHitRateTestResultVO 类用于命中率测试请求和响应- 在 KnowledgeBaseController 中添加 executeHitRateTest 方法处理命中率测试请求
- 在 KnowledgeBaseService接口中定义 executeHitRateTest 方法
- 在 KnowledgeBaseServiceImpl 中实现 executeHitRateTest 方法，包括查询知识库文档、调用 RAG 查询接口和解析结果
- 新增 DocumentInfoVO、MetadataVO、QueryMultipleReqVO 和 QueryResultPairVO 类用于 RAG 查询请求和响应
- 修改 AsyncKnowledgeBase 和 RagHttpService 以支持命中率测试功能
 2025-03-13 14:46:22 +08:00
Liuyang
0018c535a7 feat(llm): 知识库增加分块重叠参数并优化相关逻辑 
- 在 KnowledgeBaseDO、KnowledgeBaseSaveReqVO 和 KnowledgeRagEmbedReqVO 中添加分块重叠字段
- 优化知识库更新逻辑，增加参数校验和错误处理
- 调整文档处理流程，支持分块大小和重叠参数
- 新增错误码常量，用于处理分块参数相关的错误
 2025-03-13 13:41:39 +08:00
Liuyang
8923987afb refactor(yudao-module-llm): 优化流式聊天接口的异步处理逻辑 
-移除了未使用的代码块，简化了代码结构
- 保留了 SseEmitter 的创建和异步处理逻辑
- 删除了冗余的注释和未使用的 ExecutorService 相关代码
 2025-03-13 11:01:43 +08:00
sunxiqing
864b25e919 refactor(yudao-module-llm): 重构 ModelService 中的响应处理逻辑 
- 注释掉了一部分响应处理代码，暂时禁用了错误处理和特定标签的处理逻辑
- 优化了代码结构，提高了可读性和可维护性
- 保留了原有的功能逻辑，未进行功能上的修改
 2025-03-13 10:09:29 +08:00
Liuyang
0e308a7f13 feat(module-llm):增加 topP 参数并调整相关逻辑 
- 在 ChatReqVO 中添加 topP 字段
- 在 ConversationServiceImpl 中处理 topP 参数- 更新 ModelCompletionsReqVO，将 top_p 设为可配置项
- 调整 ModelService 中的默认参数设置
 2025-03-12 19:51:36 +08:00
Liuyang
5bbc4931d9 refactor(yudao-server):重命名配置文件并更新相关设置 
- 将 application-ymx-docker.yaml 重命名为 application-docker-dev.yaml
- 更新数据库连接字符串、用户名和密码
- 修改 Spring Boot Admin Server 地址- 更新日志文件路径
- 调整部分配置项格式
- 更新微服务 API 地址
- 修改 logback-spring.xml 中的 springProfile 名称
 2025-03-12 09:49:54 +08:00
Liuyang
57f25eb254 build(docker): 更新 Docker Compose 配置 
- 添加时区设置环境变量
- 修改 Spring配置文件路径
-增加多个服务 URL 环境变量
- 更新 Spring 配置文件路径
- 新增数据卷挂载
 2025-03-12 09:48:31 +08:00
Liuyang
068aaecdbc feat(k8s-deployment): 添加 Kubernetes 部署文件 
- 新增 MySQL、Redis、Server 和 Nginx 的 Deployment、Service 和 ConfigMap 文件
- 添加初始化 SQL 文件和 Nginx 配置文件
- 设置环境变量和持久化存储
 2025-03-12 09:47:00 +08:00
Liuyang
49d11cce34 refactor(llm): 将 debug 日志级别改为 info 日志级别 
- 将多个 debug 日志级别修改为 info 日志级别，以减少日志输出
-优化了日志记录策略，提高了系统性能和可读性
 2025-03-12 09:44:58 +08:00
Liuyang
8ef14cd75b Merge remote-tracking branch 'origin/master' 2025-03-11 18:04:39 +08:00
Liuyang
e5169be28a refactor(llm): 暂时注释掉聊天历史记录的处理代码 
- 注释掉了查询和处理聊天历史记录的相关代码- 保留了创建新系统消息的逻辑
- 此修改可能是为了调试或测试目的，暂时移除聊天历史记录的影响
 2025-03-11 18:04:29 +08:00
Liuyang
42cf973145 refactor(module-llm):优化知识库字符串处理逻辑 
- 移除了不必要的空字符串赋值操作
- 添加了对 knowledgeBase
 2025-03-11 17:55:19 +08:00
Liuyang
254ea1c477 refactor(module-llm):优化聊天模型提示和知识库内容添加 
- 简化聊天模型提示文本，移除多余的换行符
- 修改知识库内容添加方式，移除多余的格式化
 2025-03-11 17:51:06 +08:00
Liuyang
25ece52385 refactor(llm): 重构对话服务以提升知识库利用效率- 更新了系统角色定义，明确了基于限定知识库的问答助手角色 
- 简化了输入规范和响应规则，提高了对话处理的灵活性
- 优化了知识库为空时的处理逻辑，避免了不必要的错误信息
-调整了消息格式，使用 XML 标签包裹知识库内容，提高了数据传递的准确性
 2025-03-11 17:37:33 +08:00
Liuyang
85bc6935b3 refactor(module-llm):优化知识库内容为空的处理逻辑 
- 修改知识库内容为空时的处理方式，使用中括号标记空内容
- 更新系统提示语，使其更加清晰和标准化- 调整内容过滤机制的描述，简化相关说明
 2025-03-11 17:17:00 +08:00
Liuyang
c235b2eed4 feat(llm): 优化知识库为空时的处理逻辑 
- 在知识库内容为空时，添加特定的处理逻辑
- 返回明确的提示信息，提高用户体验
-保持代码风格和命名规范
 2025-03-11 17:06:54 +08:00
Liuyang
2fcfb86f87 refactor(module-llm):重构聊天功能处理逻辑 
-优化了知识库处理逻辑，提取为单独的字符串变量
-重构了系统提示的处理方式，支持自定义系统提示
-简化了消息历史记录的处理流程
- 删除了冗余代码，提高了代码可读性和维护性
 2025-03-11 16:51:30 +08:00
Liuyang
b056abf513 feat(module-llm):增加知识库文档分块大小功能 
- 在 KnowledgeBaseSaveReqVO 中添加 chunkSize 字段，用于设置分块大小
- 在 KnowledgeDocumentsDO 中添加 chunkSize 字段，用于存储分块大小- 修改 KnowledgeBaseServiceImpl，将 chunkSize 设置为知识文档的分块大小
- 在 KnowledgeRagEmbedReqVO 中添加 chunkSize 字段，用于传递分块大小
- 修改 RagHttpService，将 chunkSize 添加到请求体中
 2025-03-10 16:39:09 +08:00
Liuyang
3c32819345 feat(llm): 添加知识库问答模式 
- 在 ConversationServiceImpl 中增加了知识库处理逻辑
- 当 chatReqVO 的 knowledge 字段不为空时，添加特定的 prompt 作为知识库问答规则
- 如果 chatReqVO 的 prompt 字段为空，
 2025-03-10 15:45:13 +08:00
sunxiqing
335793247f refactor(llm): 优化禁用基础模型逻辑 
- 修改了禁用基础模型时的更新方式，直接操作 DO 对象而不是使用 updateReqVO
- 将 updateBaseModel 方法替换为直接调用 baseModelMapper.updateById 方法
 2025-03-10 14:00:35 +08:00
Liuyang
336f645637 refactor(yudao-module-llm): 优化 AigcModelDeployVO 类 
- 移除了未使用的导入语句
- 注释掉了 JsonDeserialize 注解
- 添加了 logPath 字段
- 调整了类的结构和格式
 2025-03-10 12:27:57 +08:00
Liuyang
eb98f039be refactor(module-llm):优化知识库问答逻辑 
-将 rateResult 的比较改为直接比较原始值 rate，提高代码可读性和性能
- 删除不必要的字符串转换和格式化操作，简化代码逻辑
 2025-03-10 11:21:00 +08:00
Liuyang
6baa2c49b2 fix(llm): 修复文档为空时的段落命中率判断逻辑 
- 将判断条件从 CollectionUtils.isNotEmpty(rateVOS) 修改为 CollectionUtils.isEmpty(rateVOS)
- 修复了当 rateVOS为空时应该返回 null 的逻辑错误
 2025-03-10 10:57:00 +08:00