9311 Commits

This Branch

This Branch

All Branches

Author	SHA1	Message	Date
baggio19852005	9fc8da40ce	中台pom文件	2025-10-09 15:12:48 +08:00
baggio19852005	db07bcc870	中台pom文件	2025-10-09 15:12:40 +08:00
baggio19852005	23041a4547	中台pom文件	2025-10-09 15:06:32 +08:00
baggio19852005	7f374a7fc8	中台pom文件	2025-10-09 14:50:28 +08:00
baggio19852005	747edc81b2	中台	2025-10-09 14:25:15 +08:00
sunxiqing	67cfd58ca5	feat(llm): 添加数据集和微调模型API配置 ... - 新增数据集更多模态API地址配置 - 新增微调创建模型路径配置- 完善RAG服务相关注释说明	2025-09-29 09:00:41 +08:00
baggio19852005	0322cdfa8f	修改多模他请求参数	2025-09-28 19:50:56 +08:00
baggio19852005	77277b3797	修改多模他请求参数	2025-09-28 17:35:53 +08:00
baggio19852005	dbaa92bd8b	添加配置文件的配置	2025-09-28 17:21:10 +08:00
baggio19852005	5981928b40	添加多模态数据集相关功能	2025-09-28 16:40:31 +08:00
baggio19852005	6604a24e30	添加多模态数据集相关功能	2025-09-27 15:44:45 +08:00
baggio19852005	b1c3b28c3b	修改模型评估中的删除功能为物理删除，修改模型评估中的取消备份的功能为将备份数据物理删除	2025-09-19 17:01:28 +08:00
sunxiqing	b301244bd6	``` ... refactor(config): 更新数据库连接和API地址配置 将Druid连接池的最大连接数从20增加到50，并更新了主从数据库的URL、用户名和密码。同时，更新了多个后端服务的API地址，包括RAG服务、LLM训练和服务API、大模型管理API等，以指向新的服务器地址。```	2025-09-18 14:46:09 +08:00
sunxiqing	319a3164e3	refactor(yudao-module-llm): 优化模型评估人工标注数据查询 ... - 提取模型评估人工标注的模型回答 -批量获取数据集问题和答案，减少数据库查询次数 - 使用 Map 进行数据缓存，提高查询效率 - 重构代码结构，提高可读性和维护性	2025-09-17 14:16:06 +08:00
sunxiqing	31983fea91	refactor(yudao-module-llm): 优化数据集问题列表接口 ... - 移除了对每个问题单独查询答案的逻辑，减少数据库查询次数 - 使用批量查询方式获取所有问题的答案，提高效率 - 通过流操作对答案进行分组，简化代码结构- 保留了原有逻辑的功能，仅对实现方式进行优化	2025-09-17 10:00:13 +08:00
sunxiqing	b762f11ebe	feat(llm): 增加微调任务日志功能 ... - 在 FineTuningTaskDO 中添加 mergeLogPath 字段，用于存储数据处理日志路径 - 修改 AsyncFineTuningTaskService，增加对 mergeLogPath 的处理 - 更新 FineTuningTaskController 和 FineTuningTaskService 接口，将日志返回类型改为 Map<String, String> - 实现 FineTuningTaskServiceImpl 中的 getFineTuningLog 方法，支持获取训练日志和数据处理日志	2025-08-20 16:59:23 +08:00
sunxiqing	bf05fbda28	feat(llm): 添加模型合并日志路径字段 ... 在 AigcFineTuningCreateRespVO 和 AigcFineTuningDetailRespVO 类中添加 mergeLogPath 字段，用于获取模型合并的日志路径。	2025-08-20 16:58:31 +08:00
sunxiqing	e2f6967e48	fix(llm): 优化模型评估维度删除逻辑 ... - 新增自动评估维度正在使用中不可删除的错误码 - 在删除模型评估维度时增加使用中的维度检查- 优化本地文件客户端的上传方法，使用切片上传	2025-08-19 17:56:43 +08:00
sunxiqing	4d40eac3af	feat(llm): 添加删除数据集时删除问题和答案的功能 ... - 在 DatasetAnswerMapper 和 DatasetQuestionMapper 中添加删除方法 - 在 DatasetServiceImpl 中调用这些方法以删除数据集的问题和答案 -优化数据集删除逻辑，确保相关问题和答案也被正确删除	2025-08-16 09:53:18 +08:00
sunxiqing	4c0ad24006	refactor(llm): 优化应用与模板关联逻辑 ... - 提取增加和减少模板使用量的方法，避免代码重复 - 在更新应用时，处理关联模板的使用量变化 - 删除应用时，减少关联模板的使用量 -移除未使用的 LambdaUpdateWrapper	2025-08-12 13:40:16 +08:00
sunxiqing	f460ddc38b	refactor(llm): 重构数据集服务实现类 ... - 优化了文件读取和解析逻辑，支持 JSON、TXT、CSV 和 XLSX 文件格式 - 新增通用的 JSON 解析方法，提高代码复用性 - 改进了错误处理和异常提示，提升用户体验 - 重构了部分方法，提高了代码的可读性和可维护性	2025-08-12 13:39:31 +08:00
sunxiqing	0d9ea7c3c3	feat(llm): 自动删除未使用的微调模型 ... - 新增 deleteTheModel 方法，用于删除未使用的微调模型 - 在 refreshTheModelService 方法中增加逻辑，判断模型是否未使用并进行删除 - 优化了模型信息的处理逻辑，提高了代码可读性和维护性	2025-08-12 11:17:58 +08:00
sunxiqing	435bbee4dc	refactor(llm): 优化 FineTuningTaskSyncService 中处理检查点逻辑 ... - 在处理已成功但未获取到检查点的错误时，增加了对检查点文件路径的判断 - 仅当检查点文件路径为空时，才执行获取检查点的操作 - 优化了代码结构，提高了可读性和性能	2025-08-12 09:52:50 +08:00
sunxiqing	aa0328a1cb	refactor(yudao-server): 更新数据库配置和 AIGC 服务地址 ... - 修改 Docker 开发环境和生产环境的数据库配置 - 更新 AIGC 服务地址为可配置的变量 -调整 RAG 服务相关配置	2025-08-12 08:55:07 +08:00
sunxiqing	1339697bd4	refactor(llm): 调整数据集同步任务频率并添加日志输出 ... - 将数据集同步任务的执行频率从每分钟改为每 30 秒 - 在文件上传过程中添加日志输出，便于监控和调试	2025-08-11 19:31:56 +08:00
sunxiqing	f2e02db09b	refactor(llm): 重构基础模型激活逻辑 ... - 将激活模型的逻辑从 updateBaseModel 方法中分离，新增 startTheModel 方法 - 优化了模型激活的错误处理和日志记录 - 移除了更新模型时不必要的远程调用逻辑	2025-08-11 14:01:08 +08:00
sunxiqing	af72c50150	refactor(yudao-module-llm): 重构数据集导出 Excel 功能 ... - 修改表格列标题，增加 "system" 列，调整 "question" 和 "answer" 列的位置 - 更新单元格合并逻辑，确保 "system" 列和 "question" 列正确合并 - 优化代码结构，提高可读性和可维护性	2025-08-11 11:21:56 +08:00
sunxiqing	64f5c3fe93	refactor(llm): 将参数量字段类型从 Integer 改为 Double ... - 修改了 BaseModelDO、BaseModelPageReqVO、BaseModelRespVO、BaseModelSaveReqVO 中的 parameterCount 字段类型- 更新了 BaseModelTaskService 中的相关代码，以适应新的 Double 类型参数量 - 这个改动可以更精确地表示模型的参数量，特别是对于参数量较大的模型	2025-08-11 10:34:39 +08:00
sunxiqing	56c67cc89f	refactor(llm): 调整数据集同步任务执行周期并优化日志输出 ... - 将数据集同步任务的执行周期从每 20 秒调整为每 60 秒 - 在同步任务开始时增加数据集数量的日志输出，以便更好地监控任务处理情况	2025-08-08 16:52:11 +08:00
sunxiqing	6871b9d1dd	feat(llm): 添加数据集相关查询功能 ... - 在 DatasetAnswerMapper 中添加 getAnswersToYourQuestions 方法，用于查询指定问题的解答- 在 DatasetQuestionMapper 中添加 getAListOfIssues 方法，用于查询指定数据集的问题列表 - 相应地在 XML 文件中添加了对应的 SQL 查询语句	2025-08-08 16:51:35 +08:00
sunxiqing	627e031fcb	refactor(llm): 优化模型服务相关逻辑 ... - 移除了不必要的日志输出 - 修改了模型状态更新逻辑 - 优化了模型 URL 的构建方式 - 调整了模型状态码的处理方式	2025-08-08 16:49:27 +08:00
sunxiqing	5b889eec3c	refactor(llm): 重构模型服务和数据集同步功能 ... - 更新了 RAG 服务的请求地址配置 - 优化了数据集上传的逻辑，使用配置的请求地址 - 调整了数据集同步任务的执行频率 - 修复了模型服务相关的一些小问题	2025-08-08 09:26:08 +08:00
sunxiqing	ddde5e5925	refactor(llm): 移除基模型保存接口中的模型类型非空校验 ... - 注释掉了 BaseModelSaveReqVO 类中的 modelType 字段的 @NotEmpty 注解- 此修改可能是为了支持模型类型的可选性或在后端进行默认值设置	2025-07-31 13:28:57 +08:00
Liuyang	576c393262	refactor(module-llm):优化 HammingUtils 类 ... -重构了 getHash、getSimHash、getHammingDistance 和 getSimilarity 方法 - 优化了短文本处理逻辑，使用 handleShortText 方法处理短文本 -简化了代码结构，提高了可读性和可维护性 -修复了一些潜在的 bug，如海明距离计算错误等问题	2025-07-07 15:54:01 +08:00
Liuyang	ce64bd451c	feat(llm): 优化数据备份和去重功能 ... - 完善数据备份逻辑，更新数据集长度 - 重构去重功能，使用 SimHash 算法实现高效去重 - 优化日志输出，提高可读性和性能	2025-07-07 15:37:10 +08:00
Liuyang	7d48924be6	refactor(llm): 优化文本过滤功能和日志输出 ... - 修复字重复率计算逻辑，提高准确性 - 增加对词重复率、特殊字符率等过滤条件的日志输出 - 优化特殊字符率计算方法，考虑非中文字符 -调整日志输出格式，提高可读性	2025-07-07 15:15:57 +08:00
sunxiqing	2a3bc9c0a9	fix(llm): 修复模型训练任务完成后的状态更新问题 ... - 在更新模型信息时增加空值检查，避免空指针异常- 如果基础模型信息不存在，将本地模型状态标记为失败并更新 - 优化了日志输出，仅在模型状态为 running时打印相关信息	2025-04-21 18:45:47 +08:00
sunxiqing	062bed0584	chore(llm): 增加请求远程模型状态的日志- 在获取基础模型列表后，添加了请求远程模型状态的日志 ... - 这个改动有助于监控和调试与远程 LLM 后端的交互过程	2025-03-26 13:41:36 +08:00
Liuyang	e36cb1adcc	refactor(config): 重构应用配置以支持环境变量 ... - 将服务器端口配置改为使用环境变量 SERVER_PORT - 应用 API 和模型服务 API 的 URL 改为使用环境变量 APP_Service_URL- 删除了不必要的硬编码地址，提高配置的灵活性和可维护性	2025-03-26 11:53:27 +08:00
Liuyang	224ff36343	refactor(llm): 重构数据集示例文件下载功能 ... - 修改下载示例文件接口路径，将 "/download-example-excel"改为 "/download-example" - 优化下载逻辑，使用 ResponseEntity<InputStreamResource> 作为返回类型 - 删除冗余的 Base64 编码下载方法	2025-03-24 15:35:24 +08:00
Liuyang	3ef7b8e8c7	feat(llm): 添加数据集示例文件下载功能 ... - 新增 downloadExampleExcelFile 方法，用于下载示例 Excel 文件 - 修复了文件未找到时的异常处理 - 优化了文件下载的 HTTP 响应头设置	2025-03-24 15:33:21 +08:00
Liuyang	cbb97fc055	fix(llm): 修改数据集模板文件的 MIME 类型 ... 修改 Excel 文件（.xlsx）的 MIME 类型，从 "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet" 更改为 "application/vnd.ms-excel"，以确保更好的兼容性。	2025-03-24 14:47:32 +08:00
Liuyang	2ad50be399	fix(llm): 修改数据集模板文件的 MIME 类型 ... 修改 Excel 文件（.xlsx）的 MIME 类型，从 "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet" 更改为 "application/vnd.ms-excel"，以确保更好的兼容性。	2025-03-24 14:36:02 +08:00
Liuyang	44609a674d	refactor(llm): 重构数据集示例文件下载接口 ... - 将下载示例文件接口的返回类型从 ResponseEntity<InputStreamResource> 改为 CommonResult<String> - 使用 Base64 编码文件内容后返回，以适应前端需求 - 保留原始逻辑的注释代码，便于未来参考	2025-03-24 13:45:36 +08:00
Liuyang	479c4f56a2	refactor(module-llm):优化 DatasetController 中的文件下载逻辑 ... - 更新导入语句，增加必要的异常处理 - 修改 downloadExampleFile 方法，优化代码格式 - 调整 getFileInfo 方法，统一代码风格	2025-03-24 13:34:47 +08:00
Liuyang	d4f84a5c6b	refactor(yudao-module-llm): 移除 DatasetController 中未使用的导入 ... - 删除了未使用的 import 语句，包括 IOUtils、FileInfo、HttpStatus、ServletOutputStream、StandardCharsets、Files、Base64 - 优化了代码结构，提高了代码的可读性和维护性	2025-03-24 13:34:36 +08:00
Liuyang	16af6eca8e	refactor(llm): 重构数据集示例文件下载功能 ... - 使用 ResponseEntity 返回文件，提高代码可读性和可维护性 -引入 FileInfoVO 类封装文件信息，简化代码结构 - 优化文件路径和 Content-Type 的处理逻辑 - 增加对文件不存在情况的异常处理 -代码风格统一，提高整体代码质量	2025-03-24 13:32:34 +08:00
sunxiqing	8feccb1da1	Merge remote-tracking branch 'origin/master'	2025-03-24 13:19:24 +08:00
sunxiqing	9053d398ba	build(yudao-module-llm-biz): 添加 Apache POI依赖 ... - 添加 poi 和 poi-ooxml 依赖，版本均为5.2.3 -这些依赖可能用于处理 Microsoft Office 文档，如 Excel 文件	2025-03-24 13:19:16 +08:00
Liuyang	03c073e1c4	feat(llm): 添加数据集示例文件下载功能 ... - 新增 DatasetController 中的 downloadExampleFile 方法 - 支持下载 txt、xlsx、csv 和 json 四种格式的示例文件 - 示例文件存放在 resources/file/dataset_example 目录下 - 根据 type 参数确定文件类型和 Content-Type - 使用 ClassPathResource 加载文件并写入响应输出流	2025-03-24 11:11:35 +08:00