|
|
31983fea91
|
refactor(yudao-module-llm): 优化数据集问题列表接口
- 移除了对每个问题单独查询答案的逻辑，减少数据库查询次数
- 使用批量查询方式获取所有问题的答案，提高效率
- 通过流操作对答案进行分组，简化代码结构- 保留了原有逻辑的功能，仅对实现方式进行优化
|
2025-09-17 10:00:13 +08:00 |
|
|
|
b762f11ebe
|
feat(llm): 增加微调任务日志功能
- 在 FineTuningTaskDO 中添加 mergeLogPath 字段，用于存储数据处理日志路径
- 修改 AsyncFineTuningTaskService，增加对 mergeLogPath 的处理
- 更新 FineTuningTaskController 和 FineTuningTaskService 接口，将日志返回类型改为 Map<String, String>
- 实现 FineTuningTaskServiceImpl 中的 getFineTuningLog 方法，支持获取训练日志和数据处理日志
|
2025-08-20 16:59:23 +08:00 |
|
|
|
bf05fbda28
|
feat(llm): 添加模型合并日志路径字段
在 AigcFineTuningCreateRespVO 和 AigcFineTuningDetailRespVO 类中添加 mergeLogPath 字段，用于获取模型合并的日志路径。
|
2025-08-20 16:58:31 +08:00 |
|
|
|
e2f6967e48
|
fix(llm): 优化模型评估维度删除逻辑
- 新增自动评估维度正在使用中不可删除的错误码
- 在删除模型评估维度时增加使用中的维度检查- 优化本地文件客户端的上传方法，使用切片上传
|
2025-08-19 17:56:43 +08:00 |
|
|
|
4d40eac3af
|
feat(llm): 添加删除数据集时删除问题和答案的功能
- 在 DatasetAnswerMapper 和 DatasetQuestionMapper 中添加删除方法
- 在 DatasetServiceImpl 中调用这些方法以删除数据集的问题和答案
-优化数据集删除逻辑，确保相关问题和答案也被正确删除
|
2025-08-16 09:53:18 +08:00 |
|
|
|
4c0ad24006
|
refactor(llm): 优化应用与模板关联逻辑
- 提取增加和减少模板使用量的方法，避免代码重复
- 在更新应用时，处理关联模板的使用量变化
- 删除应用时，减少关联模板的使用量
-移除未使用的 LambdaUpdateWrapper
|
2025-08-12 13:40:16 +08:00 |
|
|
|
f460ddc38b
|
refactor(llm): 重构数据集服务实现类
- 优化了文件读取和解析逻辑，支持 JSON、TXT、CSV 和 XLSX 文件格式
- 新增通用的 JSON 解析方法，提高代码复用性
- 改进了错误处理和异常提示，提升用户体验
- 重构了部分方法，提高了代码的可读性和可维护性
|
2025-08-12 13:39:31 +08:00 |
|
|
|
0d9ea7c3c3
|
feat(llm): 自动删除未使用的微调模型
- 新增 deleteTheModel 方法，用于删除未使用的微调模型
- 在 refreshTheModelService 方法中增加逻辑，判断模型是否未使用并进行删除
- 优化了模型信息的处理逻辑，提高了代码可读性和维护性
|
2025-08-12 11:17:58 +08:00 |
|
|
|
435bbee4dc
|
refactor(llm): 优化 FineTuningTaskSyncService 中处理检查点逻辑
- 在处理已成功但未获取到检查点的错误时，增加了对检查点文件路径的判断
- 仅当检查点文件路径为空时，才执行获取检查点的操作
- 优化了代码结构，提高了可读性和性能
|
2025-08-12 09:52:50 +08:00 |
|
|
|
aa0328a1cb
|
refactor(yudao-server): 更新数据库配置和 AIGC 服务地址
- 修改 Docker 开发环境和生产环境的数据库配置
- 更新 AIGC 服务地址为可配置的变量
-调整 RAG 服务相关配置
|
2025-08-12 08:55:07 +08:00 |
|
|
|
1339697bd4
|
refactor(llm): 调整数据集同步任务频率并添加日志输出
- 将数据集同步任务的执行频率从每分钟改为每 30 秒
- 在文件上传过程中添加日志输出，便于监控和调试
|
2025-08-11 19:31:56 +08:00 |
|
|
|
f2e02db09b
|
refactor(llm): 重构基础模型激活逻辑
- 将激活模型的逻辑从 updateBaseModel 方法中分离，新增 startTheModel 方法
- 优化了模型激活的错误处理和日志记录
- 移除了更新模型时不必要的远程调用逻辑
|
2025-08-11 14:01:08 +08:00 |
|
|
|
af72c50150
|
refactor(yudao-module-llm): 重构数据集导出 Excel 功能
- 修改表格列标题，增加 "system" 列，调整 "question" 和 "answer" 列的位置
- 更新单元格合并逻辑，确保 "system" 列和 "question" 列正确合并
- 优化代码结构，提高可读性和可维护性
|
2025-08-11 11:21:56 +08:00 |
|
|
|
64f5c3fe93
|
refactor(llm): 将参数量字段类型从 Integer 改为 Double
- 修改了 BaseModelDO、BaseModelPageReqVO、BaseModelRespVO、BaseModelSaveReqVO 中的 parameterCount 字段类型- 更新了 BaseModelTaskService 中的相关代码，以适应新的 Double 类型参数量
- 这个改动可以更精确地表示模型的参数量，特别是对于参数量较大的模型
|
2025-08-11 10:34:39 +08:00 |
|
|
|
56c67cc89f
|
refactor(llm): 调整数据集同步任务执行周期并优化日志输出
- 将数据集同步任务的执行周期从每 20 秒调整为每 60 秒
- 在同步任务开始时增加数据集数量的日志输出，以便更好地监控任务处理情况
|
2025-08-08 16:52:11 +08:00 |
|
|
|
6871b9d1dd
|
feat(llm): 添加数据集相关查询功能
- 在 DatasetAnswerMapper 中添加 getAnswersToYourQuestions 方法，用于查询指定问题的解答- 在 DatasetQuestionMapper 中添加 getAListOfIssues 方法，用于查询指定数据集的问题列表
- 相应地在 XML 文件中添加了对应的 SQL 查询语句
|
2025-08-08 16:51:35 +08:00 |
|
|
|
627e031fcb
|
refactor(llm): 优化模型服务相关逻辑
- 移除了不必要的日志输出
- 修改了模型状态更新逻辑
- 优化了模型 URL 的构建方式
- 调整了模型状态码的处理方式
|
2025-08-08 16:49:27 +08:00 |
|
|
|
5b889eec3c
|
refactor(llm): 重构模型服务和数据集同步功能
- 更新了 RAG 服务的请求地址配置
- 优化了数据集上传的逻辑，使用配置的请求地址
- 调整了数据集同步任务的执行频率
- 修复了模型服务相关的一些小问题
|
2025-08-08 09:26:08 +08:00 |
|
|
|
ddde5e5925
|
refactor(llm): 移除基模型保存接口中的模型类型非空校验
- 注释掉了 BaseModelSaveReqVO 类中的 modelType 字段的 @NotEmpty 注解- 此修改可能是为了支持模型类型的可选性或在后端进行默认值设置
|
2025-07-31 13:28:57 +08:00 |
|
|
|
576c393262
|
refactor(module-llm):优化 HammingUtils 类
-重构了 getHash、getSimHash、getHammingDistance 和 getSimilarity 方法
- 优化了短文本处理逻辑，使用 handleShortText 方法处理短文本
-简化了代码结构，提高了可读性和可维护性
-修复了一些潜在的 bug，如海明距离计算错误等问题
|
2025-07-07 15:54:01 +08:00 |
|
|
|
ce64bd451c
|
feat(llm): 优化数据备份和去重功能
- 完善数据备份逻辑，更新数据集长度
- 重构去重功能，使用 SimHash 算法实现高效去重
- 优化日志输出，提高可读性和性能
|
2025-07-07 15:37:10 +08:00 |
|
|
|
7d48924be6
|
refactor(llm): 优化文本过滤功能和日志输出
- 修复字重复率计算逻辑，提高准确性
- 增加对词重复率、特殊字符率等过滤条件的日志输出
- 优化特殊字符率计算方法，考虑非中文字符
-调整日志输出格式，提高可读性
|
2025-07-07 15:15:57 +08:00 |
|
|
|
2a3bc9c0a9
|
fix(llm): 修复模型训练任务完成后的状态更新问题
- 在更新模型信息时增加空值检查，避免空指针异常- 如果基础模型信息不存在，将本地模型状态标记为失败并更新
- 优化了日志输出，仅在模型状态为 running时打印相关信息
|
2025-04-21 18:45:47 +08:00 |
|
|
|
062bed0584
|
chore(llm): 增加请求远程模型状态的日志- 在获取基础模型列表后，添加了请求远程模型状态的日志
- 这个改动有助于监控和调试与远程 LLM 后端的交互过程
|
2025-03-26 13:41:36 +08:00 |
|
|
|
e36cb1adcc
|
refactor(config): 重构应用配置以支持环境变量
- 将服务器端口配置改为使用环境变量 SERVER_PORT
- 应用 API 和模型服务 API 的 URL 改为使用环境变量 APP_Service_URL- 删除了不必要的硬编码地址，提高配置的灵活性和可维护性
|
2025-03-26 11:53:27 +08:00 |
|
|
|
224ff36343
|
refactor(llm): 重构数据集示例文件下载功能
- 修改下载示例文件接口路径，将 "/download-example-excel"改为 "/download-example"
- 优化下载逻辑，使用 ResponseEntity<InputStreamResource> 作为返回类型
- 删除冗余的 Base64 编码下载方法
|
2025-03-24 15:35:24 +08:00 |
|
|
|
3ef7b8e8c7
|
feat(llm): 添加数据集示例文件下载功能
- 新增 downloadExampleExcelFile 方法，用于下载示例 Excel 文件
- 修复了文件未找到时的异常处理
- 优化了文件下载的 HTTP 响应头设置
|
2025-03-24 15:33:21 +08:00 |
|
|
|
cbb97fc055
|
fix(llm): 修改数据集模板文件的 MIME 类型
修改 Excel 文件（.xlsx）的 MIME 类型，从 "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet" 更改为 "application/vnd.ms-excel"，以确保更好的兼容性。
|
2025-03-24 14:47:32 +08:00 |
|
|
|
2ad50be399
|
fix(llm): 修改数据集模板文件的 MIME 类型
修改 Excel 文件（.xlsx）的 MIME 类型，从 "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet" 更改为 "application/vnd.ms-excel"，以确保更好的兼容性。
|
2025-03-24 14:36:02 +08:00 |
|
|
|
44609a674d
|
refactor(llm): 重构数据集示例文件下载接口
- 将下载示例文件接口的返回类型从 ResponseEntity<InputStreamResource> 改为 CommonResult<String>
- 使用 Base64 编码文件内容后返回，以适应前端需求
- 保留原始逻辑的注释代码，便于未来参考
|
2025-03-24 13:45:36 +08:00 |
|
|
|
479c4f56a2
|
refactor(module-llm):优化 DatasetController 中的文件下载逻辑
- 更新导入语句，增加必要的异常处理
- 修改 downloadExampleFile 方法，优化代码格式
- 调整 getFileInfo 方法，统一代码风格
|
2025-03-24 13:34:47 +08:00 |
|
|
|
d4f84a5c6b
|
refactor(yudao-module-llm): 移除 DatasetController 中未使用的导入
- 删除了未使用的 import 语句，包括 IOUtils、FileInfo、HttpStatus、ServletOutputStream、StandardCharsets、Files、Base64
- 优化了代码结构，提高了代码的可读性和维护性
|
2025-03-24 13:34:36 +08:00 |
|
|
|
16af6eca8e
|
refactor(llm): 重构数据集示例文件下载功能
- 使用 ResponseEntity 返回文件，提高代码可读性和可维护性
-引入 FileInfoVO 类封装文件信息，简化代码结构
- 优化文件路径和 Content-Type 的处理逻辑
- 增加对文件不存在情况的异常处理
-代码风格统一，提高整体代码质量
|
2025-03-24 13:32:34 +08:00 |
|
|
|
8feccb1da1
|
Merge remote-tracking branch 'origin/master'
|
2025-03-24 13:19:24 +08:00 |
|
|
|
9053d398ba
|
build(yudao-module-llm-biz): 添加 Apache POI依赖
- 添加 poi 和 poi-ooxml 依赖，版本均为5.2.3
-这些依赖可能用于处理 Microsoft Office 文档，如 Excel 文件
|
2025-03-24 13:19:16 +08:00 |
|
|
|
03c073e1c4
|
feat(llm): 添加数据集示例文件下载功能
- 新增 DatasetController 中的 downloadExampleFile 方法
- 支持下载 txt、xlsx、csv 和 json 四种格式的示例文件
- 示例文件存放在 resources/file/dataset_example 目录下
- 根据 type 参数确定文件类型和 Content-Type
- 使用 ClassPathResource 加载文件并写入响应输出流
|
2025-03-24 11:11:35 +08:00 |
|
|
|
8f18b119ae
|
fix(llm): 修复删除模型时可能存在的空指针异常- 在 FineTuningTaskServiceImpl 中添加删除微调任务时删除基模型的逻辑
- 在 ModelServiceServiceImpl 中移除删除模型服务时删除基模型的代码
|
2025-03-21 15:56:32 +08:00 |
|
|
|
d5c2fc3c24
|
fix(llm): 修复模型服务删除时未删除基础模型的问题- 在 ModelServiceServiceImpl 类中添加了 BaseModelController 和 BaseModelMapper 的引用
- 在删除模型服务时，增加了删除对应基础模型的逻辑- 通过查询基础模型名称来获取基础模型 ID，并调用删除方法
|
2025-03-21 15:33:59 +08:00 |
|
|
|
fbca4192f0
|
refactor(llm): 重构获取基座模型列表接口
- 在 BaseModelService 中添加 listBaseModels 方法
- 实现 listBaseModels 方法，查询基座模型及其关联的微调任务名称
- 优化 ModelServiceController 中的 getAllPedestalModels 接口调用
|
2025-03-21 15:17:03 +08:00 |
|
|
|
645244a2cb
|
feat(module-llm):增加热线电话格式脱敏- 新增热线电话正则表达式 HOTLINE_REGEX
- 在文本脱敏处理中增加热线电话格式的匹配和替换
|
2025-03-21 10:06:48 +08:00 |
|
|
|
a5071fd2c0
|
refactor(llm): 优化数据回流列表展示
- 在数据回流列表的查询中添加创建时间的降序排序
-使得最新创建的数据回流记录优先展示
|
2025-03-20 15:30:45 +08:00 |
|
|
|
fe8fb45afe
|
feat(llm): 仅获取未微调的基础模型
- 在获取基础模型列表时，添加了只获取未微调（is_finetuned=0）的模型的条件
|
2025-03-17 18:05:42 +08:00 |
|
|
|
dd0f65ccaf
|
fix(llm): 修复 base model 详情中 fine tuning name空指针异常
- 在设置 fine tuning name 时，增加了对 fineTuningTaskDO 是否为空的判断
- 避免在 fineTuningTaskService.selectName 返回 null 时发生空指针异常
|
2025-03-17 16:19:39 +08:00 |
|
|
|
5cff4c2c04
|
feat(llm): 增加模型调优名称字段并实现相关功能
- 在 BaseModelDO、BaseModelRespVO 中添加 theTuningName 字段
- 在 BaseModelTaskService 中实现获取模型调优名称的方法
- 在 FineTuningTaskService 中新增 selectName 方法
- 优化 BaseModelController 中的模型创建逻辑
|
2025-03-17 16:11:59 +08:00 |
|
|
|
d454971b8f
|
refactor(module-llm):优化 Prompt 模板使用次数更新逻辑
- 在 ConversationServiceImpl 中，将 PromptTemplatesSaveReqVO 的使用次数更新逻辑改为调用新的 updatePromptTemplatesUseCount 方法
- 在 PromptTemplatesApplicationsMapper 中添加 updatePromptTemplatesUseCount 方法，用于更新 Prompt 模板的使用次数
- 在 PromptTemplatesApplicationsMapper.xml 中添加对应的 SQL 语句，用于更新 Prompt 模板的使用次数- 在 PromptTemplatesService 中添加 updatePromptTemplatesUseCount 方法的接口定义
- 在 PromptTemplatesServiceImpl 中实现
|
2025-03-17 13:08:45 +08:00 |
|
|
|
720210d6b9
|
refactor(llm): 优化禁用模型功能
- 在 ModelServiceController 中添加模型禁用前的检查应用逻辑
- 在 ModelServiceService 接口中新增 inspectTheApplication 方法
- 在 ModelServiceServiceImpl 中实现 inspectTheApplication 方法，增加应用中心模型使用情况的校验
|
2025-03-17 12:51:24 +08:00 |
|
|
|
b0239d5884
|
feat(llm): 更新提示模板使用计数
- 在 ConversationServiceImpl 类中的处理逻辑中增加了对提示模板使用计数的更新
- 当应用的 promptId 存在时，获取对应的 PromptTemplatesRespVO 对象
- 将使用计数增加 1，并调用 updatePromptTemplates 方法更新提示模板
|
2025-03-17 12:44:38 +08:00 |
|
|
|
fe6bbbc633
|
refactor(yudao-module-llm): 优化数据回流 response 处理
- 使用 "(?s)" 标志使 "."匹配换行符，确保<think> 标签内的内容被正确替换
- 添加 trim() 方法去除回答两端的空白字符，提高数据准确性
|
2025-03-17 10:54:02 +08:00 |
|
|
|
4b02c472a1
|
fix(llm): 移除数据回流中的思考内容
- 在保存数据回流时，从模型的回答中移除了包含 <think> 标签的内容
- 这样可以避免将不应持久化或索引的思考过程数据保存到数据库中
|
2025-03-17 10:37:36 +08:00 |
|
|
|
631d712527
|
Merge remote-tracking branch 'origin/master'
|
2025-03-17 10:01:57 +08:00 |
|
