DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity

新增问题存储功能 读取文件内容存库

Browse Source
This commit is contained in:
limin 2024-12-29 11:17:23 +08:00
parent d3f8722f5a
commit cb3c903dad
20 changed files with 868 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

3
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/DatasetController.java
View File

@ -74,8 +74,7 @@ public class DatasetController {
@Parameter(name = "id", description = "编号", required = true, example = "1024")
@PreAuthorize("@ss.hasPermission('llm:dataset:query')")
public CommonResult<DatasetRespVO> getDataset(@RequestParam("id") Long id) {
DatasetDO dataset = datasetService.getDataset(id);
return success(BeanUtils.toBean(dataset, DatasetRespVO.class));
return success(datasetService.getDataset(id));
}
@GetMapping("/page")

98
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/DatasetFilesController.java Normal file
View File

@ -0,0 +1,98 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesRespVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetFilesDO;
import cn.iocoder.yudao.module.llm.service.dataset.DatasetFilesService;
import org.springframework.web.bind.annotation.*;
import javax.annotation.Resource;
import org.springframework.validation.annotation.Validated;
import org.springframework.security.access.prepost.PreAuthorize;
import io.swagger.v3.oas.annotations.tags.Tag;
import io.swagger.v3.oas.annotations.Parameter;
import io.swagger.v3.oas.annotations.Operation;
import javax.validation.constraints.*;
import javax.validation.*;
import javax.servlet.http.*;
import java.util.*;
import java.io.IOException;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.pojo.CommonResult;
import cn.iocoder.yudao.framework.common.util.object.BeanUtils;
import static cn.iocoder.yudao.framework.common.pojo.CommonResult.success;
import cn.iocoder.yudao.framework.excel.core.util.ExcelUtils;
import cn.iocoder.yudao.framework.apilog.core.annotation.ApiAccessLog;
import static cn.iocoder.yudao.framework.apilog.core.enums.OperateTypeEnum.*;
@Tag(name = "管理后台 - 数据集数据文件")
@RestController
@RequestMapping("/llm/dataset-files")
@Validated
public class DatasetFilesController {
@Resource
private DatasetFilesService datasetFilesService;
@PostMapping("/create")
@Operation(summary = "创建数据集数据文件")
@PreAuthorize("@ss.hasPermission('llm:dataset-files:create')")
public CommonResult<Long> createDatasetFiles(@Valid @RequestBody DatasetFilesSaveReqVO createReqVO) {
return success(datasetFilesService.createDatasetFiles(createReqVO));
}
@PutMapping("/update")
@Operation(summary = "更新数据集数据文件")
@PreAuthorize("@ss.hasPermission('llm:dataset-files:update')")
public CommonResult<Boolean> updateDatasetFiles(@Valid @RequestBody DatasetFilesSaveReqVO updateReqVO) {
datasetFilesService.updateDatasetFiles(updateReqVO);
return success(true);
}
@DeleteMapping("/delete")
@Operation(summary = "删除数据集数据文件")
@Parameter(name = "id", description = "编号", required = true)
@PreAuthorize("@ss.hasPermission('llm:dataset-files:delete')")
public CommonResult<Boolean> deleteDatasetFiles(@RequestParam("id") Long id) {
datasetFilesService.deleteDatasetFiles(id);
return success(true);
}
@GetMapping("/get")
@Operation(summary = "获得数据集数据文件")
@Parameter(name = "id", description = "编号", required = true, example = "1024")
@PreAuthorize("@ss.hasPermission('llm:dataset-files:query')")
public CommonResult<DatasetFilesRespVO> getDatasetFiles(@RequestParam("id") Long id) {
DatasetFilesDO datasetFiles = datasetFilesService.getDatasetFiles(id);
return success(BeanUtils.toBean(datasetFiles, DatasetFilesRespVO.class));
}
@GetMapping("/page")
@Operation(summary = "获得数据集数据文件分页")
@PreAuthorize("@ss.hasPermission('llm:dataset-files:query')")
public CommonResult<PageResult<DatasetFilesRespVO>> getDatasetFilesPage(@Valid DatasetFilesPageReqVO pageReqVO) {
PageResult<DatasetFilesDO> pageResult = datasetFilesService.getDatasetFilesPage(pageReqVO);
return success(BeanUtils.toBean(pageResult, DatasetFilesRespVO.class));
}
@GetMapping("/export-excel")
@Operation(summary = "导出数据集数据文件 Excel")
@PreAuthorize("@ss.hasPermission('llm:dataset-files:export')")
@ApiAccessLog(operateType = EXPORT)
public void exportDatasetFilesExcel(@Valid DatasetFilesPageReqVO pageReqVO,
HttpServletResponse response) throws IOException {
pageReqVO.setPageSize(PageParam.PAGE_SIZE_NONE);
List<DatasetFilesDO> list = datasetFilesService.getDatasetFilesPage(pageReqVO).getList();
// 导出 Excel
ExcelUtils.write(response, "数据集数据文件.xls", "数据", DatasetFilesRespVO.class,
BeanUtils.toBean(list, DatasetFilesRespVO.class));
}
}

97
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/DatasetQuestionController.java Normal file
View File

@ -0,0 +1,97 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionRespVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetQuestionDO;
import cn.iocoder.yudao.module.llm.service.dataset.DatasetQuestionService;
import org.springframework.web.bind.annotation.*;
import javax.annotation.Resource;
import org.springframework.validation.annotation.Validated;
import org.springframework.security.access.prepost.PreAuthorize;
import io.swagger.v3.oas.annotations.tags.Tag;
import io.swagger.v3.oas.annotations.Parameter;
import io.swagger.v3.oas.annotations.Operation;
import javax.validation.constraints.*;
import javax.validation.*;
import javax.servlet.http.*;
import java.util.*;
import java.io.IOException;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.pojo.CommonResult;
import cn.iocoder.yudao.framework.common.util.object.BeanUtils;
import static cn.iocoder.yudao.framework.common.pojo.CommonResult.success;
import cn.iocoder.yudao.framework.excel.core.util.ExcelUtils;
import cn.iocoder.yudao.framework.apilog.core.annotation.ApiAccessLog;
import static cn.iocoder.yudao.framework.apilog.core.enums.OperateTypeEnum.*;
@Tag(name = "管理后台 - 数据集数据问题")
@RestController
@RequestMapping("/llm/dataset-question")
@Validated
public class DatasetQuestionController {
@Resource
private DatasetQuestionService datasetQuestionService;
@PostMapping("/create")
@Operation(summary = "创建数据集数据问题")
@PreAuthorize("@ss.hasPermission('llm:dataset-question:create')")
public CommonResult<Long> createDatasetQuestion(@Valid @RequestBody DatasetQuestionSaveReqVO createReqVO) {
return success(datasetQuestionService.createDatasetQuestion(createReqVO));
}
@PutMapping("/update")
@Operation(summary = "更新数据集数据问题")
@PreAuthorize("@ss.hasPermission('llm:dataset-question:update')")
public CommonResult<Boolean> updateDatasetQuestion(@Valid @RequestBody DatasetQuestionSaveReqVO updateReqVO) {
datasetQuestionService.updateDatasetQuestion(updateReqVO);
return success(true);
}
@DeleteMapping("/delete")
@Operation(summary = "删除数据集数据问题")
@Parameter(name = "id", description = "编号", required = true)
@PreAuthorize("@ss.hasPermission('llm:dataset-question:delete')")
public CommonResult<Boolean> deleteDatasetQuestion(@RequestParam("id") Long id) {
datasetQuestionService.deleteDatasetQuestion(id);
return success(true);
}
@GetMapping("/get")
@Operation(summary = "获得数据集数据问题")
@Parameter(name = "id", description = "编号", required = true, example = "1024")
@PreAuthorize("@ss.hasPermission('llm:dataset-question:query')")
public CommonResult<DatasetQuestionRespVO> getDatasetQuestion(@RequestParam("id") Long id) {
DatasetQuestionDO datasetQuestion = datasetQuestionService.getDatasetQuestion(id);
return success(BeanUtils.toBean(datasetQuestion, DatasetQuestionRespVO.class));
}
@GetMapping("/page")
@Operation(summary = "获得数据集数据问题分页")
@PreAuthorize("@ss.hasPermission('llm:dataset-question:query')")
public CommonResult<PageResult<DatasetQuestionRespVO>> getDatasetQuestionPage(@Valid DatasetQuestionPageReqVO pageReqVO) {
PageResult<DatasetQuestionDO> pageResult = datasetQuestionService.getDatasetQuestionPage(pageReqVO);
return success(BeanUtils.toBean(pageResult, DatasetQuestionRespVO.class));
}
@GetMapping("/export-excel")
@Operation(summary = "导出数据集数据问题 Excel")
@PreAuthorize("@ss.hasPermission('llm:dataset-question:export')")
@ApiAccessLog(operateType = EXPORT)
public void exportDatasetQuestionExcel(@Valid DatasetQuestionPageReqVO pageReqVO,
HttpServletResponse response) throws IOException {
pageReqVO.setPageSize(PageParam.PAGE_SIZE_NONE);
List<DatasetQuestionDO> list = datasetQuestionService.getDatasetQuestionPage(pageReqVO).getList();
// 导出 Excel
ExcelUtils.write(response, "数据集数据问题.xls", "数据", DatasetQuestionRespVO.class,
BeanUtils.toBean(list, DatasetQuestionRespVO.class));
}
}

34
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetFilesPageReqVO.java Normal file
View File

@ -0,0 +1,34 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import lombok.*;
import java.util.*;
import io.swagger.v3.oas.annotations.media.Schema;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import org.springframework.format.annotation.DateTimeFormat;
import java.time.LocalDateTime;
import static cn.iocoder.yudao.framework.common.util.date.DateUtils.FORMAT_YEAR_MONTH_DAY_HOUR_MINUTE_SECOND;
@Schema(description = "管理后台 - 数据集数据文件分页 Request VO")
@Data
@EqualsAndHashCode(callSuper = true)
@ToString(callSuper = true)
public class DatasetFilesPageReqVO extends PageParam {
@Schema(description = "数据集ID", example = "8530")
private Long datasetId;
@Schema(description = "数据长度")
private Long dataLength;
@Schema(description = "数据文件（文件表的ID）")
private Long datasetFile;
@Schema(description = "文件URL地址", example = "https://www.iocoder.cn")
private String datasetFileUrl;
@Schema(description = "创建时间")
@DateTimeFormat(pattern = FORMAT_YEAR_MONTH_DAY_HOUR_MINUTE_SECOND)
private LocalDateTime[] createTime;
}

39
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetFilesRespVO.java Normal file
View File

@ -0,0 +1,39 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import io.swagger.v3.oas.annotations.media.Schema;
import lombok.*;
import java.util.*;
import org.springframework.format.annotation.DateTimeFormat;
import java.time.LocalDateTime;
import com.alibaba.excel.annotation.*;
@Schema(description = "管理后台 - 数据集数据文件 Response VO")
@Data
@ExcelIgnoreUnannotated
public class DatasetFilesRespVO {
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "31018")
@ExcelProperty("数据集ID")
private Long id;
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "8530")
@ExcelProperty("数据集ID")
private Long datasetId;
@Schema(description = "数据长度")
@ExcelProperty("数据长度")
private Long dataLength;
@Schema(description = "数据文件（文件表的ID）")
@ExcelProperty("数据文件（文件表的ID）")
private Long datasetFile;
@Schema(description = "文件URL地址", example = "https://www.iocoder.cn")
@ExcelProperty("文件URL地址")
private String datasetFileUrl;
@Schema(description = "创建时间", requiredMode = Schema.RequiredMode.REQUIRED)
@ExcelProperty("创建时间")
private LocalDateTime createTime;
}

28
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetFilesSaveReqVO.java Normal file
View File

@ -0,0 +1,28 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import io.swagger.v3.oas.annotations.media.Schema;
import lombok.*;
import java.util.*;
import javax.validation.constraints.*;
@Schema(description = "管理后台 - 数据集数据文件新增/修改 Request VO")
@Data
public class DatasetFilesSaveReqVO {
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "31018")
private Long id;
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "8530")
// @NotNull(message = "数据集ID不能为空")
private Long datasetId;
@Schema(description = "数据长度")
private Long dataLength;
@Schema(description = "数据文件（文件表的ID）")
private Long datasetFile;
@Schema(description = "文件URL地址", example = "https://www.iocoder.cn")
private String datasetFileUrl;
}

34
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetQuestionPageReqVO.java Normal file
View File

@ -0,0 +1,34 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import lombok.*;
import java.util.*;
import io.swagger.v3.oas.annotations.media.Schema;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import org.springframework.format.annotation.DateTimeFormat;
import java.time.LocalDateTime;
import static cn.iocoder.yudao.framework.common.util.date.DateUtils.FORMAT_YEAR_MONTH_DAY_HOUR_MINUTE_SECOND;
@Schema(description = "管理后台 - 数据集数据问题分页 Request VO")
@Data
@EqualsAndHashCode(callSuper = true)
@ToString(callSuper = true)
public class DatasetQuestionPageReqVO extends PageParam {
@Schema(description = "数据集ID", example = "15672")
private Long datasetId;
@Schema(description = "数据文件ID", example = "23062")
private Long datasetFilesId;
@Schema(description = "问题内容")
private String question;
@Schema(description = "标注状态，使用字典（llm_dataset_mark_status）", example = "1")
private Integer status;
@Schema(description = "创建时间")
@DateTimeFormat(pattern = FORMAT_YEAR_MONTH_DAY_HOUR_MINUTE_SECOND)
private LocalDateTime[] createTime;
}

39
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetQuestionRespVO.java Normal file
View File

@ -0,0 +1,39 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import io.swagger.v3.oas.annotations.media.Schema;
import lombok.*;
import java.util.*;
import org.springframework.format.annotation.DateTimeFormat;
import java.time.LocalDateTime;
import com.alibaba.excel.annotation.*;
@Schema(description = "管理后台 - 数据集数据问题 Response VO")
@Data
@ExcelIgnoreUnannotated
public class DatasetQuestionRespVO {
@Schema(description = "数据集问题ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "394")
@ExcelProperty("数据集问题ID")
private Long id;
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "15672")
@ExcelProperty("数据集ID")
private Long datasetId;
@Schema(description = "数据文件ID", example = "23062")
@ExcelProperty("数据文件ID")
private Long datasetFilesId;
@Schema(description = "问题内容")
@ExcelProperty("问题内容")
private String question;
@Schema(description = "标注状态，使用字典（llm_dataset_mark_status）", example = "1")
@ExcelProperty("标注状态，使用字典（llm_dataset_mark_status）")
private Integer status;
@Schema(description = "创建时间", requiredMode = Schema.RequiredMode.REQUIRED)
@ExcelProperty("创建时间")
private LocalDateTime createTime;
}

28
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetQuestionSaveReqVO.java Normal file
View File

@ -0,0 +1,28 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import io.swagger.v3.oas.annotations.media.Schema;
import lombok.*;
import java.util.*;
import javax.validation.constraints.*;
@Schema(description = "管理后台 - 数据集数据问题新增/修改 Request VO")
@Data
public class DatasetQuestionSaveReqVO {
@Schema(description = "数据集问题ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "394")
private Long id;
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "15672")
@NotNull(message = "数据集ID不能为空")
private Long datasetId;
@Schema(description = "数据文件ID", example = "23062")
private Long datasetFilesId;
@Schema(description = "问题内容")
private String question;
@Schema(description = "标注状态，使用字典（llm_dataset_mark_status）", example = "1")
private Integer status;
}

47
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/dal/dataobject/dataset/DatasetFilesDO.java Normal file
View File

@ -0,0 +1,47 @@
package cn.iocoder.yudao.module.llm.dal.dataobject.dataset;
import lombok.*;
import java.util.*;
import java.time.LocalDateTime;
import java.time.LocalDateTime;
import com.baomidou.mybatisplus.annotation.*;
import cn.iocoder.yudao.framework.mybatis.core.dataobject.BaseDO;
/**
* 数据集数据文件 DO
*
* @author 华大大模型
*/
@TableName("llm_dataset_files")
@KeySequence("llm_dataset_files_seq") // 用于 Oracle、PostgreSQL、Kingbase、DB2、H2 数据库的主键自增。如果是 MySQL 等数据库，可不写。
@Data
@EqualsAndHashCode(callSuper = true)
@ToString(callSuper = true)
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class DatasetFilesDO extends BaseDO {
/**
* 数据集ID
*/
@TableId
private Long id;
/**
* 数据集ID
*/
private Long datasetId;
/**
* 数据长度
*/
private Long dataLength;
/**
* 数据文件（文件表的ID）
*/
private Long datasetFile;
/**
* 文件URL地址
*/
private String datasetFileUrl;
}

47
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/dal/dataobject/dataset/DatasetQuestionDO.java Normal file
View File

@ -0,0 +1,47 @@
package cn.iocoder.yudao.module.llm.dal.dataobject.dataset;
import lombok.*;
import java.util.*;
import java.time.LocalDateTime;
import java.time.LocalDateTime;
import com.baomidou.mybatisplus.annotation.*;
import cn.iocoder.yudao.framework.mybatis.core.dataobject.BaseDO;
/**
* 数据集数据问题 DO
*
* @author 华大大模型
*/
@TableName("llm_dataset_question")
@KeySequence("llm_dataset_question_seq") // 用于 Oracle、PostgreSQL、Kingbase、DB2、H2 数据库的主键自增。如果是 MySQL 等数据库，可不写。
@Data
@EqualsAndHashCode(callSuper = true)
@ToString(callSuper = true)
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class DatasetQuestionDO extends BaseDO {
/**
* 数据集问题ID
*/
@TableId
private Long id;
/**
* 数据集ID
*/
private Long datasetId;
/**
* 数据文件ID
*/
private Long datasetFilesId;
/**
* 问题内容
*/
private String question;
/**
* 标注状态，使用字典（llm_dataset_mark_status）
*/
private Integer status;
}

30
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/dal/mysql/dataset/DatasetFilesMapper.java Normal file
View File

@ -0,0 +1,30 @@
package cn.iocoder.yudao.module.llm.dal.mysql.dataset;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.mybatis.core.query.LambdaQueryWrapperX;
import cn.iocoder.yudao.framework.mybatis.core.mapper.BaseMapperX;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesPageReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetFilesDO;
import org.apache.ibatis.annotations.Mapper;
/**
* 数据集数据文件 Mapper
*
* @author 华大大模型
*/
@Mapper
public interface DatasetFilesMapper extends BaseMapperX<DatasetFilesDO> {
default PageResult<DatasetFilesDO> selectPage(DatasetFilesPageReqVO reqVO) {
return selectPage(reqVO, new LambdaQueryWrapperX<DatasetFilesDO>()
.eqIfPresent(DatasetFilesDO::getDatasetId, reqVO.getDatasetId())
.eqIfPresent(DatasetFilesDO::getDataLength, reqVO.getDataLength())
.eqIfPresent(DatasetFilesDO::getDatasetFile, reqVO.getDatasetFile())
.eqIfPresent(DatasetFilesDO::getDatasetFileUrl, reqVO.getDatasetFileUrl())
.betweenIfPresent(DatasetFilesDO::getCreateTime, reqVO.getCreateTime())
.orderByDesc(DatasetFilesDO::getId));
}
}

32
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/dal/mysql/dataset/DatasetQuestionMapper.java Normal file
View File

@ -0,0 +1,32 @@
package cn.iocoder.yudao.module.llm.dal.mysql.dataset;
import java.util.*;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.mybatis.core.query.LambdaQueryWrapperX;
import cn.iocoder.yudao.framework.mybatis.core.mapper.BaseMapperX;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionPageReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetQuestionDO;
import org.apache.ibatis.annotations.Mapper;
/**
* 数据集数据问题 Mapper
*
* @author 华大大模型
*/
@Mapper
public interface DatasetQuestionMapper extends BaseMapperX<DatasetQuestionDO> {
default PageResult<DatasetQuestionDO> selectPage(DatasetQuestionPageReqVO reqVO) {
return selectPage(reqVO, new LambdaQueryWrapperX<DatasetQuestionDO>()
.eqIfPresent(DatasetQuestionDO::getDatasetId, reqVO.getDatasetId())
.eqIfPresent(DatasetQuestionDO::getDatasetFilesId, reqVO.getDatasetFilesId())
.eqIfPresent(DatasetQuestionDO::getQuestion, reqVO.getQuestion())
.eqIfPresent(DatasetQuestionDO::getStatus, reqVO.getStatus())
.betweenIfPresent(DatasetQuestionDO::getCreateTime, reqVO.getCreateTime())
.orderByDesc(DatasetQuestionDO::getId));
}
}

56
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/dataset/DatasetFilesService.java Normal file
View File

@ -0,0 +1,56 @@
package cn.iocoder.yudao.module.llm.service.dataset;
import java.util.*;
import javax.validation.*;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetFilesDO;
/**
* 数据集数据文件 Service 接口
*
* @author 华大大模型
*/
public interface DatasetFilesService {
/**
* 创建数据集数据文件
*
* @param createReqVO 创建信息
* @return 编号
*/
Long createDatasetFiles(@Valid DatasetFilesSaveReqVO createReqVO);
/**
* 更新数据集数据文件
*
* @param updateReqVO 更新信息
*/
void updateDatasetFiles(@Valid DatasetFilesSaveReqVO updateReqVO);
/**
* 删除数据集数据文件
*
* @param id 编号
*/
void deleteDatasetFiles(Long id);
/**
* 获得数据集数据文件
*
* @param id 编号
* @return 数据集数据文件
*/
DatasetFilesDO getDatasetFiles(Long id);
/**
* 获得数据集数据文件分页
*
* @param pageReqVO 分页查询
* @return 数据集数据文件分页
*/
PageResult<DatasetFilesDO> getDatasetFilesPage(DatasetFilesPageReqVO pageReqVO);
}

75
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/dataset/DatasetFilesServiceImpl.java Normal file
View File

@ -0,0 +1,75 @@
package cn.iocoder.yudao.module.llm.service.dataset;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetFilesSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetFilesDO;
import cn.iocoder.yudao.module.llm.dal.mysql.dataset.DatasetFilesMapper;
import org.springframework.stereotype.Service;
import javax.annotation.Resource;
import org.springframework.validation.annotation.Validated;
import org.springframework.transaction.annotation.Transactional;
import java.util.*;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import cn.iocoder.yudao.framework.common.util.object.BeanUtils;
import static cn.iocoder.yudao.framework.common.exception.util.ServiceExceptionUtil.exception;
import static cn.iocoder.yudao.module.llm.enums.ErrorCodeConstants.*;
/**
* 数据集数据文件 Service 实现类
*
* @author 华大大模型
*/
@Service
@Validated
public class DatasetFilesServiceImpl implements DatasetFilesService {
@Resource
private DatasetFilesMapper datasetFilesMapper;
@Override
public Long createDatasetFiles(DatasetFilesSaveReqVO createReqVO) {
// 插入
DatasetFilesDO datasetFiles = BeanUtils.toBean(createReqVO, DatasetFilesDO.class);
datasetFilesMapper.insert(datasetFiles);
// 返回
return datasetFiles.getId();
}
@Override
public void updateDatasetFiles(DatasetFilesSaveReqVO updateReqVO) {
// 校验存在
validateDatasetFilesExists(updateReqVO.getId());
// 更新
DatasetFilesDO updateObj = BeanUtils.toBean(updateReqVO, DatasetFilesDO.class);
datasetFilesMapper.updateById(updateObj);
}
@Override
public void deleteDatasetFiles(Long id) {
// 校验存在
validateDatasetFilesExists(id);
// 删除
datasetFilesMapper.deleteById(id);
}
private void validateDatasetFilesExists(Long id) {
if (datasetFilesMapper.selectById(id) == null) {
throw exception(DATASET_FILES_NOT_EXISTS);
}
}
@Override
public DatasetFilesDO getDatasetFiles(Long id) {
return datasetFilesMapper.selectById(id);
}
@Override
public PageResult<DatasetFilesDO> getDatasetFilesPage(DatasetFilesPageReqVO pageReqVO) {
return datasetFilesMapper.selectPage(pageReqVO);
}
}

56
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/dataset/DatasetQuestionService.java Normal file
View File

@ -0,0 +1,56 @@
package cn.iocoder.yudao.module.llm.service.dataset;
import java.util.*;
import javax.validation.*;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetQuestionDO;
/**
* 数据集数据问题 Service 接口
*
* @author 华大大模型
*/
public interface DatasetQuestionService {
/**
* 创建数据集数据问题
*
* @param createReqVO 创建信息
* @return 编号
*/
Long createDatasetQuestion(@Valid DatasetQuestionSaveReqVO createReqVO);
/**
* 更新数据集数据问题
*
* @param updateReqVO 更新信息
*/
void updateDatasetQuestion(@Valid DatasetQuestionSaveReqVO updateReqVO);
/**
* 删除数据集数据问题
*
* @param id 编号
*/
void deleteDatasetQuestion(Long id);
/**
* 获得数据集数据问题
*
* @param id 编号
* @return 数据集数据问题
*/
DatasetQuestionDO getDatasetQuestion(Long id);
/**
* 获得数据集数据问题分页
*
* @param pageReqVO 分页查询
* @return 数据集数据问题分页
*/
PageResult<DatasetQuestionDO> getDatasetQuestionPage(DatasetQuestionPageReqVO pageReqVO);
}

75
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/dataset/DatasetQuestionServiceImpl.java Normal file
View File

@ -0,0 +1,75 @@
package cn.iocoder.yudao.module.llm.service.dataset;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetQuestionSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetQuestionDO;
import cn.iocoder.yudao.module.llm.dal.mysql.dataset.DatasetQuestionMapper;
import org.springframework.stereotype.Service;
import javax.annotation.Resource;
import org.springframework.validation.annotation.Validated;
import org.springframework.transaction.annotation.Transactional;
import java.util.*;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import cn.iocoder.yudao.framework.common.util.object.BeanUtils;
import static cn.iocoder.yudao.framework.common.exception.util.ServiceExceptionUtil.exception;
import static cn.iocoder.yudao.module.llm.enums.ErrorCodeConstants.*;
/**
* 数据集数据问题 Service 实现类
*
* @author 华大大模型
*/
@Service
@Validated
public class DatasetQuestionServiceImpl implements DatasetQuestionService {
@Resource
private DatasetQuestionMapper datasetQuestionMapper;
@Override
public Long createDatasetQuestion(DatasetQuestionSaveReqVO createReqVO) {
// 插入
DatasetQuestionDO datasetQuestion = BeanUtils.toBean(createReqVO, DatasetQuestionDO.class);
datasetQuestionMapper.insert(datasetQuestion);
// 返回
return datasetQuestion.getId();
}
@Override
public void updateDatasetQuestion(DatasetQuestionSaveReqVO updateReqVO) {
// 校验存在
validateDatasetQuestionExists(updateReqVO.getId());
// 更新
DatasetQuestionDO updateObj = BeanUtils.toBean(updateReqVO, DatasetQuestionDO.class);
datasetQuestionMapper.updateById(updateObj);
}
@Override
public void deleteDatasetQuestion(Long id) {
// 校验存在
validateDatasetQuestionExists(id);
// 删除
datasetQuestionMapper.deleteById(id);
}
private void validateDatasetQuestionExists(Long id) {
if (datasetQuestionMapper.selectById(id) == null) {
throw exception(DATASET_QUESTION_NOT_EXISTS);
}
}
@Override
public DatasetQuestionDO getDatasetQuestion(Long id) {
return datasetQuestionMapper.selectById(id);
}
@Override
public PageResult<DatasetQuestionDO> getDatasetQuestionPage(DatasetQuestionPageReqVO pageReqVO) {
return datasetQuestionMapper.selectPage(pageReqVO);
}
}

28
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/utils/DataSetReadFileUtils.java Normal file
View File

@ -0,0 +1,28 @@
package cn.iocoder.yudao.module.llm.utils;
import org.springframework.stereotype.Component;
import java.net.HttpURLConnection;
import java.net.URL;
import java.sql.Connection;
@Component
public class DataSetReadFileUtils {
public static HttpURLConnection readFile(String filePath) {
try {
URL url = new URL(filePath);
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setRequestMethod("GET");
if (connection.getResponseCode() == HttpURLConnection.HTTP_OK) {
return connection;
} else {
System.out.println("Failed to fetch file. Server returned HTTP code: " + connection.getResponseCode());
}
connection.disconnect();
} catch (Exception e) {
System.out.println("Error fetching file from URL: " + e.getMessage());
}
return null;
}
}

12
yudao-module-llm/yudao-module-llm-biz/src/main/resources/mapper/dataset/DatasetFilesMapper.xml Normal file
View File

@ -0,0 +1,12 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="cn.iocoder.yudao.module.llm.dal.mysql.dataset.DatasetFilesMapper">
<!--
一般情况下，尽可能使用 Mapper 进行 CRUD 增删改查即可。
无法满足的场景，例如说多表关联查询，才使用 XML 编写 SQL。
代码生成器暂时只生成 Mapper XML 文件本身，更多推荐 MybatisX 快速开发插件来生成查询。
文档可见：https://www.iocoder.cn/MyBatis/x-plugins/
-->
</mapper>

12
yudao-module-llm/yudao-module-llm-biz/src/main/resources/mapper/dataset/DatasetQuestionMapper.xml Normal file
View File

@ -0,0 +1,12 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="cn.iocoder.yudao.module.llm.dal.mysql.dataset.DatasetQuestionMapper">
<!--
一般情况下，尽可能使用 Mapper 进行 CRUD 增删改查即可。
无法满足的场景，例如说多表关联查询，才使用 XML 编写 SQL。
代码生成器暂时只生成 Mapper XML 文件本身，更多推荐 MybatisX 快速开发插件来生成查询。
文档可见：https://www.iocoder.cn/MyBatis/x-plugins/
-->
</mapper>