DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity
9,217 Commits 1 Branch 0 Tags
Commit Graph

9217 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Liuyang
42cf973145 refactor(module-llm):优化知识库字符串处理逻辑 
- 移除了不必要的空字符串赋值操作
- 添加了对 knowledgeBase
 2025-03-11 17:55:19 +08:00
Liuyang
254ea1c477 refactor(module-llm):优化聊天模型提示和知识库内容添加 
- 简化聊天模型提示文本，移除多余的换行符
- 修改知识库内容添加方式，移除多余的格式化
 2025-03-11 17:51:06 +08:00
Liuyang
25ece52385 refactor(llm): 重构对话服务以提升知识库利用效率- 更新了系统角色定义，明确了基于限定知识库的问答助手角色 
- 简化了输入规范和响应规则，提高了对话处理的灵活性
- 优化了知识库为空时的处理逻辑，避免了不必要的错误信息
-调整了消息格式，使用 XML 标签包裹知识库内容，提高了数据传递的准确性
 2025-03-11 17:37:33 +08:00
Liuyang
85bc6935b3 refactor(module-llm):优化知识库内容为空的处理逻辑 
- 修改知识库内容为空时的处理方式，使用中括号标记空内容
- 更新系统提示语，使其更加清晰和标准化- 调整内容过滤机制的描述，简化相关说明
 2025-03-11 17:17:00 +08:00
Liuyang
c235b2eed4 feat(llm): 优化知识库为空时的处理逻辑 
- 在知识库内容为空时，添加特定的处理逻辑
- 返回明确的提示信息，提高用户体验
-保持代码风格和命名规范
 2025-03-11 17:06:54 +08:00
Liuyang
2fcfb86f87 refactor(module-llm):重构聊天功能处理逻辑 
-优化了知识库处理逻辑，提取为单独的字符串变量
-重构了系统提示的处理方式，支持自定义系统提示
-简化了消息历史记录的处理流程
- 删除了冗余代码，提高了代码可读性和维护性
 2025-03-11 16:51:30 +08:00
Liuyang
b056abf513 feat(module-llm):增加知识库文档分块大小功能 
- 在 KnowledgeBaseSaveReqVO 中添加 chunkSize 字段，用于设置分块大小
- 在 KnowledgeDocumentsDO 中添加 chunkSize 字段，用于存储分块大小- 修改 KnowledgeBaseServiceImpl，将 chunkSize 设置为知识文档的分块大小
- 在 KnowledgeRagEmbedReqVO 中添加 chunkSize 字段，用于传递分块大小
- 修改 RagHttpService，将 chunkSize 添加到请求体中
 2025-03-10 16:39:09 +08:00
Liuyang
3c32819345 feat(llm): 添加知识库问答模式 
- 在 ConversationServiceImpl 中增加了知识库处理逻辑
- 当 chatReqVO 的 knowledge 字段不为空时，添加特定的 prompt 作为知识库问答规则
- 如果 chatReqVO 的 prompt 字段为空，
 2025-03-10 15:45:13 +08:00
sunxiqing
335793247f refactor(llm): 优化禁用基础模型逻辑 
- 修改了禁用基础模型时的更新方式，直接操作 DO 对象而不是使用 updateReqVO
- 将 updateBaseModel 方法替换为直接调用 baseModelMapper.updateById 方法
 2025-03-10 14:00:35 +08:00
Liuyang
336f645637 refactor(yudao-module-llm): 优化 AigcModelDeployVO 类 
- 移除了未使用的导入语句
- 注释掉了 JsonDeserialize 注解
- 添加了 logPath 字段
- 调整了类的结构和格式
 2025-03-10 12:27:57 +08:00
Liuyang
eb98f039be refactor(module-llm):优化知识库问答逻辑 
-将 rateResult 的比较改为直接比较原始值 rate，提高代码可读性和性能
- 删除不必要的字符串转换和格式化操作，简化代码逻辑
 2025-03-10 11:21:00 +08:00
Liuyang
6baa2c49b2 fix(llm): 修复文档为空时的段落命中率判断逻辑 
- 将判断条件从 CollectionUtils.isNotEmpty(rateVOS) 修改为 CollectionUtils.isEmpty(rateVOS)
- 修复了当 rateVOS为空时应该返回 null 的逻辑错误
 2025-03-10 10:57:00 +08:00
sunxiqing
1ed9351fba fix(llm): 修复删除知识库文档时可能出现的空指针异常 
- 在删除知识库文档的代码中添加了异常捕获处理
- 当删除操作失败时，记录错误日志并抛出自定义异常
- 优化了代码的健壮性，提高了系统稳定性
 2025-03-10 09:48:17 +08:00
Liuyang
2d6d0bffe3 refactor(yudao-module-llm): 优化知识库文档处理逻辑 
- 增加对 rateWordVO 和 words 列表的空值检查，避免空指针异常
- 在文档列表为空时，设置空的 wordList 和 groupId
- 优化 parseEmbeddingResponse 返回值处理，增加空值检查
- 添加对命中率结果的验证，避免无效值
 2025-03-08 10:13:21 +08:00
leon
95814e1f2b delete \n 2025-03-07 17:22:57 +08:00
Liuyang
5290a6f6f1 refactor(docker): 重构 Docker 配置以适应新项目需求 
- 更新 MySQL 配置，使用新数据库名和密码
- 添加时区和字符集配置- 修改 Redis 和服务器配置
- 移除 admin 服务，添加 nginx 服务
- 更新数据源 URL 参数以优化数据库连接
 2025-03-07 10:32:40 +08:00
sunxiqing
adbbb3dad5 refactor(yudao-server): 更新应用和管理服务 API 地址 
- 将 application_api 和 model_service_api 的地址从 localhost 更改为 18.210.203.44
- 保留了原有的端口和路径
 2025-03-06 18:04:09 +08:00
sunxiqing
342e89da16 refactor(llm): 重新启用禁用基础模型逻辑 
-恢复了之前被注释掉的禁用模型代码
- 更新了日志信息，使用 info 级别记录未激活模型的结果
- 优化了异常日志的输出格式，增加了异常信息和堆栈跟踪
 2025-03-06 16:48:05 +08:00
sunxiqing
35dc0d4ce2 refactor(llm): 优化禁用大模型功能 
- 移除了不必要的 Map 对象创建
- 使用查询参数直接传递 deploy_id- 添加了日志记录禁用操作的结果
- 删除了冗余的注释代码
 2025-03-06 16:46:09 +08:00
sunxiqing
55d11a8b38 fix(llm): 修复删除模型功能 
- 将 JSON 参数从单个 Long 类型改为 Map 类型
- 更新 API 调用以匹配新的参数格式
 2025-03-06 16:12:38 +08:00
Liuyang
b29936bcfb refactor(docker): 更新 Redis 主机名称 
- 将 Redis 主机名称从 yudao-redis 改为 redis
- 相应地更新了 docker.env 和 docker-compose.yml 文件中的相关配置
 2025-03-06 16:07:59 +08:00
Liuyang
97ac010c44 refactor(system): 优化菜单权限树的构建逻辑 
- 重构了菜单权限树的构建过程，提高了代码可读性和维护性- 增加了对父节点 child 列表的初始化逻辑，避免了空指针异常- 优化了子节点 parentPath 的设置逻辑，确保树结构的正确性
 2025-03-06 16:05:19 +08:00
Liuyang
fb433414a9 build(docker): 更新 Docker 配置和镜像 
- 修改 application-ymx-docker.yaml 中的数据库和 API 地址
- 更新 docker.env 中的数据库配置- 调整 docker-compose.yml 中的服务定义和网络配置
- 修改 Dockerfile 中的工作目录和启动命令
- 更新 logback-spring.xml 中的日志配置
 2025-03-06 15:44:55 +08:00
Liuyang
21cb3684c3 fix(module-system): 修复菜单 parentPath 错误 
-针对菜单的父路径处理逻辑进行修正
- 当菜单的父 ID 不是根时，追加当前菜单路径到父路径末尾
 2025-03-06 15:39:17 +08:00
Liuyang
8b23760075 refactor(module-llm):优化日志打印异常信息并规范代码格式 
- 在 catch块中，将异常日志改为打印异常消息，提高日志可读性
- 在 getParagraphHitRate 方法中，调整参数间的空格，保持代码整洁
 2025-03-06 14:55:36 +08:00
Liuyang
9a31e48b0a fix(llm): 处理 OpenAI 错误响应 
- 在 ModelService 中添加对 OpenAI错误响应的处理逻辑
- 当响应数据包含 "object" 和 "message" 字段，且 "object" 值为 "error" 时，抛出运行时异常
- 优化了错误处理机制，提高了系统的稳定性和可靠性
 2025-03-06 14:42:03 +08:00
Liuyang
23bab6a228 feat(menu): 添加菜单的父路径信息 
- 在 MenuDO 和 AuthPermissionInfoRespVO.MenuVO 中添加 parentPath 字段
- 在构建菜单树时，为每个菜单设置父菜单路径
- 优化菜单查询逻辑，批量获取父菜单信息
 2025-03-06 14:29:41 +08:00
sunxiqing
fd3e8fd23f feat(llm): 为 localModel 添加 API URL 设置 
在 BaseModelTaskService 中，为 localModel 添加了 API URL 的设置。这个改动使得 localModel 能够正确地配置 API 访问地址，进一步完善了模型的初始化过程。

- 在设置 chatUrl 的同时，新增了 apiUrl 的设置
- 确保模型状态为 running 时，能够正确处理和更新模型信息
 2025-03-06 14:13:06 +08:00
sunxiqing
c18bedcb68 refactor(llm): 移除基础模型启动和禁用相关代码 
- 注释掉 BaseModelController 中的 active 方法内的 updateReqVO.setIsActive(1)
- 注释掉 BaseModelServiceImpl 中的 updateBaseModel 方法内的更新操作
- 注释掉禁用模型时的 updateReqVO.setIsActive(0) 和 updateBaseModel 调用
 2025-03-06 11:33:16 +08:00
sunxiqing
d95f612dc5 Merge remote-tracking branch 'origin/master' 2025-03-06 11:18:34 +08:00
sunxiqing
75c7b7dca1 feat(server): 添加模型部署相关 API 接口 
- 在 application-dev.yaml、application-local-la.yaml、application-local-ly.yaml 和 application-prod.yaml 中添加了模型部署相关的 API 接口配置
- 新增的接口包括基座模型状态、模型部署和模型删除
- 更新了优化提示词和文生图接口的地址
 2025-03-06 11:17:43 +08:00
Liuyang
7fb6899e14 Merge remote-tracking branch 'origin/master' 2025-03-06 11:01:36 +08:00
sunxiqing
38ec339230 refactor(yudao-module-llm): 调整模型服务日志输出顺序 
- 将行数初始化移至循环开始前 保持代码结构清晰，提高可读性和维护性
 2025-03-06 11:00:47 +08:00
Liuyang
51f008a6a7 Merge remote-tracking branch 'origin/master' 2025-03-06 10:35:09 +08:00
Liuyang
264096beff feat: 添加应用配置文件 
- 新增 application-ymx-docker.yaml 配置文件
-包含服务器、数据库、定时任务、消息队列、监控等配置
- 配置微信公众号、小程序、芋道、大模型训练等相关参数
- 添加 IoT 配置
 2025-03-06 10:34:55 +08:00
sunxiqing
a3944bdf77 refactor(yudao-module-llm): 调整模型服务日志输出顺序 
- 将行数初始化移至循环开始前
 2025-03-06 10:29:52 +08:00
sunxiqing
16338b56d6 refactor(llm): 优化模型部署和删除的代码逻辑 
- 修改模型部署接口的请求参数格式，使用 Map 封装模型名称
- 修改模型删除接口的请求参数格式，使用 Map 封装部署 ID
- 优化代码结构，提高可读性和可维护性
 2025-03-06 10:07:11 +08:00
sunxiqing
031135c5ca refactor(llm): 优化模型状态更新逻辑 
- 移除了对 chatUrl 是否变化的判断，统一进行模型信息更新
-简化了代码结构，提高了可读性和维护性
 2025-03-05 19:19:01 +08:00
sunxiqing
9a47fbef96 feat(llm): 添加模型部署和删除的 API 接口 
- 在 application-ymx.yaml 文件中添加了两个新的 API 接口：
  - 模型部署 (deploy_model)
  - 模型删除 (delete_model)
- 这些接口将用于管理和操作大语言模型的部署状态
 2025-03-05 18:58:56 +08:00
sunxiqing
8288280a9d refactor(module-llm):优化数据处理逻辑 
-增加对 "[DONE]" 响应的处理
- 改进 JSON 数据解析方式
- 添加对 <think> 标签的特殊处理
- 优化日志输出内容
 2025-03-05 18:57:06 +08:00
sunxiqing
6006f3050d feat(llm): 增加模型删除功能并优化模型禁用逻辑 
- 在 LLMBackendProperties 中添加 deleteModel 配置项
- 在 BaseModelServiceImpl 中实现模型禁用时调用删除接口- 更新 application-local.yaml，添加模型删除相关配置
 2025-03-05 18:52:38 +08:00
sunxiqing
b5329b5323 refactor(llm): 更新模型状态逻辑 
- 在更新模型状态时，增加了设置 modelId 的操作- 优化了模型状态为 running 时的处理逻辑
 2025-03-05 18:37:44 +08:00
sunxiqing
1135d3b1b9 refactor(llm): 调整基础模型状态更新任务的执行频率 
- 将 updateTheBaseModelState 方法的执行频率从每分钟一次改为每五分钟一次
-通过修改 @Scheduled 注解的 cron 表达式实现
 2025-03-05 18:30:15 +08:00
sunxiqing
3b9f00cb58 Merge remote-tracking branch 'origin/master' 2025-03-05 18:14:53 +08:00
sunxiqing
61917ce7d5 feat(llm): 添加模型部署接口并优化模型状态更新逻辑 
- 在 application-local.yaml 中添加模型部署接口地址
- 在 BaseModelServiceImpl 中实现模型部署功能
- 优化 BaseModelTaskService 中的模型状态更新逻辑
- 调整模型状态更新的定时任务执行频率
 2025-03-05 18:14:41 +08:00
Liuyang
768c67f898 refactor(yudao-module-llm): 修复知识文档匹配率查询逻辑 
- 将 rightPushIfPresent 方法替换为 rightPush 方法，确保段落匹配率信息总是被添加到 Redis 列表中
- 优化了知识文档匹配率的查询流程，提高了数据的准确性和可靠性
 2025-03-05 17:43:20 +08:00
Liuyang
1138058d74 feat(llm): 为模型补全请求添加分组 ID 参数- 在 modelCompletionsStream 方法中添加 groupId 参数 
- 将 groupId 参数传递给 sendPostRequest 和 handleResponseEntity 方法
- 在 parseStreamLine 方法中为 ChatReqVO 对象添加 groupId 字段
- 优化了代码格式，调整了部分缩进和空格
 2025-03-05 17:23:41 +08:00
Liuyang
35e19396e1 fix(llm): 修复知识库问答中页面内容换行符问题 
- 在提取页面内容后，添加了替换换行符的代码
- 将 pageContent 中的 \n 和 \r 替换为空字符串，避免在返回结果中显示换行符
 2025-03-05 17:15:46 +08:00
Liuyang
511b99fe62 feat(llm): 增加知识库文档查询和段落命中率统计功能 
- 在 ChatReqVO 中添加 groupId 字段，用于区分不同的对话分组
- 新增 getParagraphHitRate 方法，用于获取段落命中率信息
- 优化 chatStream 方法，增加知识库文档查询逻辑
- 新增 ParagraphHitRateListVO、ParagraphHitRateVO 和 ParagraphHitRateWordVO 类，用于段落命中率统计
 2025-03-05 17:11:44 +08:00
sunxiqing
840f8003b7 feat(server): 添加基座模型状态接口 
在 application-ymx.yaml 文件中添加了基座模型状态的 API 接口配置，用于获取基座模型的部署列表信息。
 2025-03-05 16:45:46 +08:00