DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
9,176 Commits 1 Branch 0 Tags
Commit Graph

707 Commits

Author SHA1 Message Date
Liuyang
8923987afb refactor(yudao-module-llm): 优化流式聊天接口的异步处理逻辑 
-移除了未使用的代码块，简化了代码结构
- 保留了 SseEmitter 的创建和异步处理逻辑
- 删除了冗余的注释和未使用的 ExecutorService 相关代码
 2025-03-13 11:01:43 +08:00
sunxiqing
864b25e919 refactor(yudao-module-llm): 重构 ModelService 中的响应处理逻辑 
- 注释掉了一部分响应处理代码，暂时禁用了错误处理和特定标签的处理逻辑
- 优化了代码结构，提高了可读性和可维护性
- 保留了原有的功能逻辑，未进行功能上的修改
 2025-03-13 10:09:29 +08:00
Liuyang
0e308a7f13 feat(module-llm):增加 topP 参数并调整相关逻辑 
- 在 ChatReqVO 中添加 topP 字段
- 在 ConversationServiceImpl 中处理 topP 参数- 更新 ModelCompletionsReqVO，将 top_p 设为可配置项
- 调整 ModelService 中的默认参数设置
 2025-03-12 19:51:36 +08:00
Liuyang
49d11cce34 refactor(llm): 将 debug 日志级别改为 info 日志级别 
- 将多个 debug 日志级别修改为 info 日志级别，以减少日志输出
-优化了日志记录策略，提高了系统性能和可读性
 2025-03-12 09:44:58 +08:00
Liuyang
e5169be28a refactor(llm): 暂时注释掉聊天历史记录的处理代码 
- 注释掉了查询和处理聊天历史记录的相关代码- 保留了创建新系统消息的逻辑
- 此修改可能是为了调试或测试目的，暂时移除聊天历史记录的影响
 2025-03-11 18:04:29 +08:00
Liuyang
254ea1c477 refactor(module-llm):优化聊天模型提示和知识库内容添加 
- 简化聊天模型提示文本，移除多余的换行符
- 修改知识库内容添加方式，移除多余的格式化
 2025-03-11 17:51:06 +08:00
Liuyang
25ece52385 refactor(llm): 重构对话服务以提升知识库利用效率- 更新了系统角色定义，明确了基于限定知识库的问答助手角色 
- 简化了输入规范和响应规则，提高了对话处理的灵活性
- 优化了知识库为空时的处理逻辑，避免了不必要的错误信息
-调整了消息格式，使用 XML 标签包裹知识库内容，提高了数据传递的准确性
 2025-03-11 17:37:33 +08:00
Liuyang
85bc6935b3 refactor(module-llm):优化知识库内容为空的处理逻辑 
- 修改知识库内容为空时的处理方式，使用中括号标记空内容
- 更新系统提示语，使其更加清晰和标准化- 调整内容过滤机制的描述，简化相关说明
 2025-03-11 17:17:00 +08:00
Liuyang
c235b2eed4 feat(llm): 优化知识库为空时的处理逻辑 
- 在知识库内容为空时，添加特定的处理逻辑
- 返回明确的提示信息，提高用户体验
-保持代码风格和命名规范
 2025-03-11 17:06:54 +08:00
Liuyang
2fcfb86f87 refactor(module-llm):重构聊天功能处理逻辑 
-优化了知识库处理逻辑，提取为单独的字符串变量
-重构了系统提示的处理方式，支持自定义系统提示
-简化了消息历史记录的处理流程
- 删除了冗余代码，提高了代码可读性和维护性
 2025-03-11 16:51:30 +08:00
Liuyang
b056abf513 feat(module-llm):增加知识库文档分块大小功能 
- 在 KnowledgeBaseSaveReqVO 中添加 chunkSize 字段，用于设置分块大小
- 在 KnowledgeDocumentsDO 中添加 chunkSize 字段，用于存储分块大小- 修改 KnowledgeBaseServiceImpl，将 chunkSize 设置为知识文档的分块大小
- 在 KnowledgeRagEmbedReqVO 中添加 chunkSize 字段，用于传递分块大小
- 修改 RagHttpService，将 chunkSize 添加到请求体中
 2025-03-10 16:39:09 +08:00
Liuyang
3c32819345 feat(llm): 添加知识库问答模式 
- 在 ConversationServiceImpl 中增加了知识库处理逻辑
- 当 chatReqVO 的 knowledge 字段不为空时，添加特定的 prompt 作为知识库问答规则
- 如果 chatReqVO 的 prompt 字段为空，
 2025-03-10 15:45:13 +08:00
sunxiqing
335793247f refactor(llm): 优化禁用基础模型逻辑 
- 修改了禁用基础模型时的更新方式，直接操作 DO 对象而不是使用 updateReqVO
- 将 updateBaseModel 方法替换为直接调用 baseModelMapper.updateById 方法
 2025-03-10 14:00:35 +08:00
Liuyang
336f645637 refactor(yudao-module-llm): 优化 AigcModelDeployVO 类 
- 移除了未使用的导入语句
- 注释掉了 JsonDeserialize 注解
- 添加了 logPath 字段
- 调整了类的结构和格式
 2025-03-10 12:27:57 +08:00
Liuyang
eb98f039be refactor(module-llm):优化知识库问答逻辑 
-将 rateResult 的比较改为直接比较原始值 rate，提高代码可读性和性能
- 删除不必要的字符串转换和格式化操作，简化代码逻辑
 2025-03-10 11:21:00 +08:00
Liuyang
6baa2c49b2 fix(llm): 修复文档为空时的段落命中率判断逻辑 
- 将判断条件从 CollectionUtils.isNotEmpty(rateVOS) 修改为 CollectionUtils.isEmpty(rateVOS)
- 修复了当 rateVOS为空时应该返回 null 的逻辑错误
 2025-03-10 10:57:00 +08:00
sunxiqing
1ed9351fba fix(llm): 修复删除知识库文档时可能出现的空指针异常 
- 在删除知识库文档的代码中添加了异常捕获处理
- 当删除操作失败时，记录错误日志并抛出自定义异常
- 优化了代码的健壮性，提高了系统稳定性
 2025-03-10 09:48:17 +08:00
Liuyang
2d6d0bffe3 refactor(yudao-module-llm): 优化知识库文档处理逻辑 
- 增加对 rateWordVO 和 words 列表的空值检查，避免空指针异常
- 在文档列表为空时，设置空的 wordList 和 groupId
- 优化 parseEmbeddingResponse 返回值处理，增加空值检查
- 添加对命中率结果的验证，避免无效值
 2025-03-08 10:13:21 +08:00
leon
95814e1f2b delete \n 2025-03-07 17:22:57 +08:00
sunxiqing
342e89da16 refactor(llm): 重新启用禁用基础模型逻辑 
-恢复了之前被注释掉的禁用模型代码
- 更新了日志信息，使用 info 级别记录未激活模型的结果
- 优化了异常日志的输出格式，增加了异常信息和堆栈跟踪
 2025-03-06 16:48:05 +08:00
sunxiqing
35dc0d4ce2 refactor(llm): 优化禁用大模型功能 
- 移除了不必要的 Map 对象创建
- 使用查询参数直接传递 deploy_id- 添加了日志记录禁用操作的结果
- 删除了冗余的注释代码
 2025-03-06 16:46:09 +08:00
sunxiqing
55d11a8b38 fix(llm): 修复删除模型功能 
- 将 JSON 参数从单个 Long 类型改为 Map 类型
- 更新 API 调用以匹配新的参数格式
 2025-03-06 16:12:38 +08:00
Liuyang
8b23760075 refactor(module-llm):优化日志打印异常信息并规范代码格式 
- 在 catch块中，将异常日志改为打印异常消息，提高日志可读性
- 在 getParagraphHitRate 方法中，调整参数间的空格，保持代码整洁
 2025-03-06 14:55:36 +08:00
Liuyang
9a31e48b0a fix(llm): 处理 OpenAI 错误响应 
- 在 ModelService 中添加对 OpenAI错误响应的处理逻辑
- 当响应数据包含 "object" 和 "message" 字段，且 "object" 值为 "error" 时，抛出运行时异常
- 优化了错误处理机制，提高了系统的稳定性和可靠性
 2025-03-06 14:42:03 +08:00
sunxiqing
fd3e8fd23f feat(llm): 为 localModel 添加 API URL 设置 
在 BaseModelTaskService 中，为 localModel 添加了 API URL 的设置。这个改动使得 localModel 能够正确地配置 API 访问地址，进一步完善了模型的初始化过程。

- 在设置 chatUrl 的同时，新增了 apiUrl 的设置
- 确保模型状态为 running 时，能够正确处理和更新模型信息
 2025-03-06 14:13:06 +08:00
sunxiqing
c18bedcb68 refactor(llm): 移除基础模型启动和禁用相关代码 
- 注释掉 BaseModelController 中的 active 方法内的 updateReqVO.setIsActive(1)
- 注释掉 BaseModelServiceImpl 中的 updateBaseModel 方法内的更新操作
- 注释掉禁用模型时的 updateReqVO.setIsActive(0) 和 updateBaseModel 调用
 2025-03-06 11:33:16 +08:00
sunxiqing
38ec339230 refactor(yudao-module-llm): 调整模型服务日志输出顺序 
- 将行数初始化移至循环开始前 保持代码结构清晰，提高可读性和维护性
 2025-03-06 11:00:47 +08:00
sunxiqing
a3944bdf77 refactor(yudao-module-llm): 调整模型服务日志输出顺序 
- 将行数初始化移至循环开始前
 2025-03-06 10:29:52 +08:00
sunxiqing
16338b56d6 refactor(llm): 优化模型部署和删除的代码逻辑 
- 修改模型部署接口的请求参数格式，使用 Map 封装模型名称
- 修改模型删除接口的请求参数格式，使用 Map 封装部署 ID
- 优化代码结构，提高可读性和可维护性
 2025-03-06 10:07:11 +08:00
sunxiqing
031135c5ca refactor(llm): 优化模型状态更新逻辑 
- 移除了对 chatUrl 是否变化的判断，统一进行模型信息更新
-简化了代码结构，提高了可读性和维护性
 2025-03-05 19:19:01 +08:00
sunxiqing
8288280a9d refactor(module-llm):优化数据处理逻辑 
-增加对 "[DONE]" 响应的处理
- 改进 JSON 数据解析方式
- 添加对 <think> 标签的特殊处理
- 优化日志输出内容
 2025-03-05 18:57:06 +08:00
sunxiqing
6006f3050d feat(llm): 增加模型删除功能并优化模型禁用逻辑 
- 在 LLMBackendProperties 中添加 deleteModel 配置项
- 在 BaseModelServiceImpl 中实现模型禁用时调用删除接口- 更新 application-local.yaml，添加模型删除相关配置
 2025-03-05 18:52:38 +08:00
sunxiqing
b5329b5323 refactor(llm): 更新模型状态逻辑 
- 在更新模型状态时，增加了设置 modelId 的操作- 优化了模型状态为 running 时的处理逻辑
 2025-03-05 18:37:44 +08:00
sunxiqing
1135d3b1b9 refactor(llm): 调整基础模型状态更新任务的执行频率 
- 将 updateTheBaseModelState 方法的执行频率从每分钟一次改为每五分钟一次
-通过修改 @Scheduled 注解的 cron 表达式实现
 2025-03-05 18:30:15 +08:00
sunxiqing
3b9f00cb58 Merge remote-tracking branch 'origin/master' 2025-03-05 18:14:53 +08:00
sunxiqing
61917ce7d5 feat(llm): 添加模型部署接口并优化模型状态更新逻辑 
- 在 application-local.yaml 中添加模型部署接口地址
- 在 BaseModelServiceImpl 中实现模型部署功能
- 优化 BaseModelTaskService 中的模型状态更新逻辑
- 调整模型状态更新的定时任务执行频率
 2025-03-05 18:14:41 +08:00
Liuyang
768c67f898 refactor(yudao-module-llm): 修复知识文档匹配率查询逻辑 
- 将 rightPushIfPresent 方法替换为 rightPush 方法，确保段落匹配率信息总是被添加到 Redis 列表中
- 优化了知识文档匹配率的查询流程，提高了数据的准确性和可靠性
 2025-03-05 17:43:20 +08:00
Liuyang
1138058d74 feat(llm): 为模型补全请求添加分组 ID 参数- 在 modelCompletionsStream 方法中添加 groupId 参数 
- 将 groupId 参数传递给 sendPostRequest 和 handleResponseEntity 方法
- 在 parseStreamLine 方法中为 ChatReqVO 对象添加 groupId 字段
- 优化了代码格式，调整了部分缩进和空格
 2025-03-05 17:23:41 +08:00
Liuyang
35e19396e1 fix(llm): 修复知识库问答中页面内容换行符问题 
- 在提取页面内容后，添加了替换换行符的代码
- 将 pageContent 中的 \n 和 \r 替换为空字符串，避免在返回结果中显示换行符
 2025-03-05 17:15:46 +08:00
Liuyang
511b99fe62 feat(llm): 增加知识库文档查询和段落命中率统计功能 
- 在 ChatReqVO 中添加 groupId 字段，用于区分不同的对话分组
- 新增 getParagraphHitRate 方法，用于获取段落命中率信息
- 优化 chatStream 方法，增加知识库文档查询逻辑
- 新增 ParagraphHitRateListVO、ParagraphHitRateVO 和 ParagraphHitRateWordVO 类，用于段落命中率统计
 2025-03-05 17:11:44 +08:00
sunxiqing
ebe7fced35 feat(llm): 更新基座模型状态并优化相关功能 
- 在 BaseModelController 中添加刷新基座模型状态的接口
- 在 BaseModelService 中新增相关方法以支持模型状态更新
- 在 BaseModelTaskService 中实现定时任务以同步远程模型状态
- 更新 BaseModelDO 和相关 VO 类以适应新的模型状态逻辑- 在 LLMBackendProperties 中添加 baseModelStatus 属性以配置模型状态接口 URL
 2025-03-05 16:41:23 +08:00
sunxiqing
7a8eabe745 refactor(module-llm):优化知识库查询代码 
-将 jsonArray1 的类型从 JSONArray改为 com.alibaba.fastjson.JSONArray，避免类型转换错误
- 优化代码格式，提高可读性
 2025-03-05 10:51:09 +08:00
leon
129aa3a366 delete prompt <content> 2025-03-04 17:11:17 +08:00
sunxiqing
6e6303ac96 refactor(llm): 将模型服务中的检查点字段类型从 Long 修改为 String 
- 在 ModelServicePageReqVO 和 ModelServiceRespVO 中，将 checkPoint 字段的类型从 Long 改为 String- 这个改动可能是为了更好地处理检查点数据，避免潜在的数值溢出问题
 2025-03-04 13:08:35 +08:00
sunxiqing
80c736e9b8 refactor(llm): 将模型服务的检查点字段类型从 Long 改为 String 
- 修改了 ModelServiceDO 和 ModelServiceSaveReqVO 中的 checkPoint 字段类型
- 这个改动是为了更好地处理检查点数据，可能是因为检查点不再仅限于数字类型
 2025-03-04 13:02:14 +08:00
Liuyang
0340b24f78 refactor(yudao-module-llm): 调整模型补全请求的默认参数并优化数据处理 
- 将 max_tokens 参数从 4000调整为 4096
- 将 temperature 参数从0.7 调整为 0.2
- 新增 top_p 参数，默认值为0.9
- 优化了数据处理逻辑，移除了不必要的注释代码
- 调整了 SseEmitter 的心跳检测机制
- 优化了数据解析过程，移除了多余的换行符
 2025-03-03 18:38:00 +08:00
Liuyang
e0851f472a refactor(llm): 优化对话控制器中的流式聊天方法 
- 将 void 返回类型改为 SseEmitter，以正确表示流式响应
- 添加返回值，确保客户端
 2025-03-03 17:46:04 +08:00
Liuyang
9e593db115 refactor(yudao-module-llm): 重构流式聊天接口的异步处理逻辑 
-移除了 ExecutorService 的创建和手动管理
- 使用 CompletableFuture.runAsync() 替代手动线程管理，简化异步处理逻辑
-优化了异常处理和 SseEmitter 的完成处理
- 注释掉了
 2025-03-03 17:38:05 +08:00
sunxiqing
0bd503f11d Merge remote-tracking branch 'origin/master' 2025-03-03 17:20:45 +08:00
sunxiqing
f5276dc2c6 feat(llm): 添加查询模型服务接口 
- 在 ModelServiceController 中新增 queryCheckpoints 接口- 在 ModelServiceService 接口中添加 queryCheckpoints 方法
- 在 ModelServiceServiceImpl 中实现 queryCheckpoints 方法
- 使用 JSONUtil 解析 FineTuningTaskDO 中的 checkPointData
- 返回解析后的 checkpoint 列表
 2025-03-03 17:20:34 +08:00