DATA_MIDDLE_PLATFORM/Data_Middle_Platform_Server
3
0
Fork 0
Code Issues Pull Requests Actions 2 Packages Projects Releases Wiki Activity

数据集单表

Browse Source
This commit is contained in:
ire 2024-12-18 15:36:02 +08:00
parent 71cbb853dc
commit 37a988860a
13 changed files with 480 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
yudao-module-llm/yudao-module-llm-api/src/main/java/cn/iocoder/yudao/module/llm/enums/Enums.java
View File

@ -1,4 +0,0 @@
package cn.iocoder.yudao.module.llm.enums;
public class Enums {
}

9
yudao-module-llm/yudao-module-llm-api/src/main/java/cn/iocoder/yudao/module/llm/enums/ErrorCodeConstants.java Normal file
View File

@ -0,0 +1,9 @@
package cn.iocoder.yudao.module.llm.enums;
import cn.iocoder.yudao.framework.common.exception.ErrorCode;
public interface ErrorCodeConstants {
ErrorCode KNOWLEDGE_BASE_NOT_EXISTS = new ErrorCode(10001, "知识库不存在");
ErrorCode DATASET_NOT_EXISTS = new ErrorCode(10002, "数据集不存在");
}

93
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/DatasetController.java Normal file
View File

@ -0,0 +1,93 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset;
import cn.iocoder.yudao.framework.apilog.core.annotation.ApiAccessLog;
import cn.iocoder.yudao.framework.common.pojo.CommonResult;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.util.object.BeanUtils;
import cn.iocoder.yudao.framework.excel.core.util.ExcelUtils;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetRespVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetDO;
import cn.iocoder.yudao.module.llm.service.dataset.DatasetService;
import io.swagger.v3.oas.annotations.Operation;
import io.swagger.v3.oas.annotations.Parameter;
import io.swagger.v3.oas.annotations.tags.Tag;
import org.springframework.security.access.prepost.PreAuthorize;
import org.springframework.validation.annotation.Validated;
import org.springframework.web.bind.annotation.*;
import javax.annotation.Resource;
import javax.servlet.http.HttpServletResponse;
import javax.validation.Valid;
import java.io.IOException;
import java.util.List;
import static cn.iocoder.yudao.framework.apilog.core.enums.OperateTypeEnum.EXPORT;
import static cn.iocoder.yudao.framework.common.pojo.CommonResult.success;
@Tag(name = "管理后台 - 数据集")
@RestController
@RequestMapping("/llm/dataset")
@Validated
public class DatasetController {
@Resource
private DatasetService datasetService;
@PostMapping("/create")
@Operation(summary = "创建数据集")
@PreAuthorize("@ss.hasPermission('llm:dataset:create')")
public CommonResult<Long> createDataset(@Valid @RequestBody DatasetSaveReqVO createReqVO) {
return success(datasetService.createDataset(createReqVO));
}
@PutMapping("/update")
@Operation(summary = "更新数据集")
@PreAuthorize("@ss.hasPermission('llm:dataset:update')")
public CommonResult<Boolean> updateDataset(@Valid @RequestBody DatasetSaveReqVO updateReqVO) {
datasetService.updateDataset(updateReqVO);
return success(true);
}
@DeleteMapping("/delete")
@Operation(summary = "删除数据集")
@Parameter(name = "id", description = "编号", required = true)
@PreAuthorize("@ss.hasPermission('llm:dataset:delete')")
public CommonResult<Boolean> deleteDataset(@RequestParam("id") Long id) {
datasetService.deleteDataset(id);
return success(true);
}
@GetMapping("/get")
@Operation(summary = "获得数据集")
@Parameter(name = "id", description = "编号", required = true, example = "1024")
@PreAuthorize("@ss.hasPermission('llm:dataset:query')")
public CommonResult<DatasetRespVO> getDataset(@RequestParam("id") Long id) {
DatasetDO dataset = datasetService.getDataset(id);
return success(BeanUtils.toBean(dataset, DatasetRespVO.class));
}
@GetMapping("/page")
@Operation(summary = "获得数据集分页")
@PreAuthorize("@ss.hasPermission('llm:dataset:query')")
public CommonResult<PageResult<DatasetRespVO>> getDatasetPage(@Valid DatasetPageReqVO pageReqVO) {
PageResult<DatasetDO> pageResult = datasetService.getDatasetPage(pageReqVO);
return success(BeanUtils.toBean(pageResult, DatasetRespVO.class));
}
@GetMapping("/export-excel")
@Operation(summary = "导出数据集 Excel")
@PreAuthorize("@ss.hasPermission('llm:dataset:export')")
@ApiAccessLog(operateType = EXPORT)
public void exportDatasetExcel(@Valid DatasetPageReqVO pageReqVO,
HttpServletResponse response) throws IOException {
pageReqVO.setPageSize(PageParam.PAGE_SIZE_NONE);
List<DatasetDO> list = datasetService.getDatasetPage(pageReqVO).getList();
// 导出 Excel
ExcelUtils.write(response, "数据集.xls", "数据", DatasetRespVO.class,
BeanUtils.toBean(list, DatasetRespVO.class));
}
}

43
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetPageReqVO.java Normal file
View File

@ -0,0 +1,43 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import lombok.*;
import java.util.*;
import io.swagger.v3.oas.annotations.media.Schema;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
import org.springframework.format.annotation.DateTimeFormat;
import java.time.LocalDateTime;
import static cn.iocoder.yudao.framework.common.util.date.DateUtils.FORMAT_YEAR_MONTH_DAY_HOUR_MINUTE_SECOND;
@Schema(description = "管理后台 - 数据集分页 Request VO")
@Data
@EqualsAndHashCode(callSuper = true)
@ToString(callSuper = true)
public class DatasetPageReqVO extends PageParam {
@Schema(description = "数据集名称", example = "张三")
private String datasetName;
@Schema(description = "数据集类型，使用字典（llm_dataset_category_1、llm_dataset_category_2）")
private Integer datasetCategory;
@Schema(description = "状态，使用字典（llm_mark_status）", example = "2")
private Integer status;
@Schema(description = "数据集描述")
private String datasetIntro;
@Schema(description = "数据文件")
private Long datasetFile;
@Schema(description = "数据集类型，（1-训练数据集、2-评估数据集）", example = "1")
private Integer datasetType;
@Schema(description = "文件URL地址", example = "https://www.iocoder.cn")
private String datasetFileUrl;
@Schema(description = "创建时间")
@DateTimeFormat(pattern = FORMAT_YEAR_MONTH_DAY_HOUR_MINUTE_SECOND)
private LocalDateTime[] createTime;
}

51
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetRespVO.java Normal file
View File

@ -0,0 +1,51 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import io.swagger.v3.oas.annotations.media.Schema;
import lombok.*;
import java.util.*;
import org.springframework.format.annotation.DateTimeFormat;
import java.time.LocalDateTime;
import com.alibaba.excel.annotation.*;
@Schema(description = "管理后台 - 数据集 Response VO")
@Data
@ExcelIgnoreUnannotated
public class DatasetRespVO {
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "20128")
@ExcelProperty("数据集ID")
private Long id;
@Schema(description = "数据集名称", requiredMode = Schema.RequiredMode.REQUIRED, example = "张三")
@ExcelProperty("数据集名称")
private String datasetName;
@Schema(description = "数据集类型，使用字典（llm_dataset_category_1、llm_dataset_category_2）")
@ExcelProperty("数据集类型，使用字典（llm_dataset_category_1、llm_dataset_category_2）")
private Integer datasetCategory;
@Schema(description = "状态，使用字典（llm_mark_status）", requiredMode = Schema.RequiredMode.REQUIRED, example = "2")
@ExcelProperty("状态，使用字典（llm_mark_status）")
private Integer status;
@Schema(description = "数据集描述")
@ExcelProperty("数据集描述")
private String datasetIntro;
@Schema(description = "数据文件")
@ExcelProperty("数据文件")
private Long datasetFile;
@Schema(description = "数据集类型，（1-训练数据集、2-评估数据集）", example = "1")
@ExcelProperty("数据集类型，（1-训练数据集、2-评估数据集）")
private Integer datasetType;
@Schema(description = "文件URL地址", example = "https://www.iocoder.cn")
@ExcelProperty("文件URL地址")
private String datasetFileUrl;
@Schema(description = "创建时间", requiredMode = Schema.RequiredMode.REQUIRED)
@ExcelProperty("创建时间")
private LocalDateTime createTime;
}

38
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/controller/admin/dataset/vo/DatasetSaveReqVO.java Normal file
View File

@ -0,0 +1,38 @@
package cn.iocoder.yudao.module.llm.controller.admin.dataset.vo;
import io.swagger.v3.oas.annotations.media.Schema;
import lombok.*;
import java.util.*;
import javax.validation.constraints.*;
@Schema(description = "管理后台 - 数据集新增/修改 Request VO")
@Data
public class DatasetSaveReqVO {
@Schema(description = "数据集ID", requiredMode = Schema.RequiredMode.REQUIRED, example = "20128")
private Long id;
@Schema(description = "数据集名称", requiredMode = Schema.RequiredMode.REQUIRED, example = "张三")
@NotEmpty(message = "数据集名称不能为空")
private String datasetName;
@Schema(description = "数据集类型，使用字典（llm_dataset_category_1、llm_dataset_category_2）")
private Integer datasetCategory;
@Schema(description = "状态，使用字典（llm_mark_status）", requiredMode = Schema.RequiredMode.REQUIRED, example = "2")
@NotNull(message = "状态，使用字典（llm_mark_status）不能为空")
private Integer status;
@Schema(description = "数据集描述")
private String datasetIntro;
@Schema(description = "数据文件")
private Long datasetFile;
@Schema(description = "数据集类型，（1-训练数据集、2-评估数据集）", example = "1")
private Integer datasetType;
@Schema(description = "文件URL地址", example = "https://www.iocoder.cn")
private String datasetFileUrl;
}

59
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/dal/dataobject/dataset/DatasetDO.java Normal file
View File

@ -0,0 +1,59 @@
package cn.iocoder.yudao.module.llm.dal.dataobject.dataset;
import lombok.*;
import java.util.*;
import java.time.LocalDateTime;
import java.time.LocalDateTime;
import com.baomidou.mybatisplus.annotation.*;
import cn.iocoder.yudao.framework.mybatis.core.dataobject.BaseDO;
/**
* 数据集 DO
*
* @author 华大大模型
*/
@TableName("llm_dataset")
@KeySequence("llm_dataset_seq") // 用于 Oracle、PostgreSQL、Kingbase、DB2、H2 数据库的主键自增。如果是 MySQL 等数据库，可不写。
@Data
@EqualsAndHashCode(callSuper = true)
@ToString(callSuper = true)
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class DatasetDO extends BaseDO {
/**
* 数据集ID
*/
@TableId
private Long id;
/**
* 数据集名称
*/
private String datasetName;
/**
* 数据集类型，使用字典（llm_dataset_category_1、llm_dataset_category_2）
*/
private Integer datasetCategory;
/**
* 状态，使用字典（llm_mark_status）
*/
private Integer status;
/**
* 数据集描述
*/
private String datasetIntro;
/**
* 数据文件
*/
private Long datasetFile;
/**
* 数据集类型，（1-训练数据集、2-评估数据集）
*/
private Integer datasetType;
/**
* 文件URL地址
*/
private String datasetFileUrl;
}

33
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/dal/mysql/dataset/DatasetMapper.java Normal file
View File

@ -0,0 +1,33 @@
package cn.iocoder.yudao.module.llm.dal.mysql.dataset;
import java.util.*;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.mybatis.core.query.LambdaQueryWrapperX;
import cn.iocoder.yudao.framework.mybatis.core.mapper.BaseMapperX;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetDO;
import org.apache.ibatis.annotations.Mapper;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.*;
/**
* 数据集 Mapper
*
* @author 华大大模型
*/
@Mapper
public interface DatasetMapper extends BaseMapperX<DatasetDO> {
default PageResult<DatasetDO> selectPage(DatasetPageReqVO reqVO) {
return selectPage(reqVO, new LambdaQueryWrapperX<DatasetDO>()
.likeIfPresent(DatasetDO::getDatasetName, reqVO.getDatasetName())
.eqIfPresent(DatasetDO::getDatasetCategory, reqVO.getDatasetCategory())
.eqIfPresent(DatasetDO::getStatus, reqVO.getStatus())
.eqIfPresent(DatasetDO::getDatasetIntro, reqVO.getDatasetIntro())
.eqIfPresent(DatasetDO::getDatasetFile, reqVO.getDatasetFile())
.eqIfPresent(DatasetDO::getDatasetType, reqVO.getDatasetType())
.eqIfPresent(DatasetDO::getDatasetFileUrl, reqVO.getDatasetFileUrl())
.betweenIfPresent(DatasetDO::getCreateTime, reqVO.getCreateTime())
.orderByDesc(DatasetDO::getId));
}
}

55
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/dataset/DatasetService.java Normal file
View File

@ -0,0 +1,55 @@
package cn.iocoder.yudao.module.llm.service.dataset;
import java.util.*;
import javax.validation.*;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.*;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetDO;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.pojo.PageParam;
/**
* 数据集 Service 接口
*
* @author 华大大模型
*/
public interface DatasetService {
/**
* 创建数据集
*
* @param createReqVO 创建信息
* @return 编号
*/
Long createDataset(@Valid DatasetSaveReqVO createReqVO);
/**
* 更新数据集
*
* @param updateReqVO 更新信息
*/
void updateDataset(@Valid DatasetSaveReqVO updateReqVO);
/**
* 删除数据集
*
* @param id 编号
*/
void deleteDataset(Long id);
/**
* 获得数据集
*
* @param id 编号
* @return 数据集
*/
DatasetDO getDataset(Long id);
/**
* 获得数据集分页
*
* @param pageReqVO 分页查询
* @return 数据集分页
*/
PageResult<DatasetDO> getDatasetPage(DatasetPageReqVO pageReqVO);
}

71
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/dataset/DatasetServiceImpl.java Normal file
View File

@ -0,0 +1,71 @@
package cn.iocoder.yudao.module.llm.service.dataset;
import cn.iocoder.yudao.framework.common.pojo.PageResult;
import cn.iocoder.yudao.framework.common.util.object.BeanUtils;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetPageReqVO;
import cn.iocoder.yudao.module.llm.controller.admin.dataset.vo.DatasetSaveReqVO;
import cn.iocoder.yudao.module.llm.dal.dataobject.dataset.DatasetDO;
import cn.iocoder.yudao.module.llm.dal.mysql.dataset.DatasetMapper;
import org.springframework.stereotype.Service;
import org.springframework.validation.annotation.Validated;
import javax.annotation.Resource;
import static cn.iocoder.yudao.framework.common.exception.util.ServiceExceptionUtil.exception;
import static cn.iocoder.yudao.module.llm.enums.ErrorCodeConstants.DATASET_NOT_EXISTS;
/**
* 数据集 Service 实现类
*
* @author 华大大模型
*/
@Service
@Validated
public class DatasetServiceImpl implements DatasetService {
@Resource
private DatasetMapper datasetMapper;
@Override
public Long createDataset(DatasetSaveReqVO createReqVO) {
// 插入
DatasetDO dataset = BeanUtils.toBean(createReqVO, DatasetDO.class);
datasetMapper.insert(dataset);
// 返回
return dataset.getId();
}
@Override
public void updateDataset(DatasetSaveReqVO updateReqVO) {
// 校验存在
validateDatasetExists(updateReqVO.getId());
// 更新
DatasetDO updateObj = BeanUtils.toBean(updateReqVO, DatasetDO.class);
datasetMapper.updateById(updateObj);
}
@Override
public void deleteDataset(Long id) {
// 校验存在
validateDatasetExists(id);
// 删除
datasetMapper.deleteById(id);
}
private void validateDatasetExists(Long id) {
if (datasetMapper.selectById(id) == null) {
throw exception(DATASET_NOT_EXISTS);
}
}
@Override
public DatasetDO getDataset(Long id) {
return datasetMapper.selectById(id);
}
@Override
public PageResult<DatasetDO> getDatasetPage(DatasetPageReqVO pageReqVO) {
return datasetMapper.selectPage(pageReqVO);
}
}

5
yudao-module-llm/yudao-module-llm-biz/src/main/java/cn/iocoder/yudao/module/llm/service/knowledgebase/KnowledgeBaseServiceImpl.java
View File

@ -9,6 +9,9 @@ import cn.iocoder.yudao.module.llm.dal.mysql.knowledgebase.KnowledgeBaseMapper;
import org.springframework.stereotype.Service;
import org.springframework.validation.annotation.Validated;
import static cn.iocoder.yudao.framework.common.exception.util.ServiceExceptionUtil.exception;
import static cn.iocoder.yudao.module.llm.enums.ErrorCodeConstants.KNOWLEDGE_BASE_NOT_EXISTS;
import javax.annotation.Resource;
/**
@ -51,7 +54,7 @@ public class KnowledgeBaseServiceImpl implements KnowledgeBaseService {
private void validateKnowledgeBaseExists(Long id) {
if (knowledgeBaseMapper.selectById(id) == null) {
// throw exception(KNOWLEDGE_BASE_NOT_EXISTS);
throw exception(KNOWLEDGE_BASE_NOT_EXISTS);
}
}

12
yudao-module-llm/yudao-module-llm-biz/src/main/resources/mapper/dataset/DatasetMapper.xml Normal file
View File

@ -0,0 +1,12 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="cn.iocoder.yudao.module.llm.dal.mysql.dataset.DatasetMapper">
<!--
一般情况下，尽可能使用 Mapper 进行 CRUD 增删改查即可。
无法满足的场景，例如说多表关联查询，才使用 XML 编写 SQL。
代码生成器暂时只生成 Mapper XML 文件本身，更多推荐 MybatisX 快速开发插件来生成查询。
文档可见：https://www.iocoder.cn/MyBatis/x-plugins/
-->
</mapper>

12
yudao-module-llm/yudao-module-llm-biz/src/main/resources/mapper/knowledgebase/KnowledgeBaseMapper.xml Normal file
View File

@ -0,0 +1,12 @@
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="cn.iocoder.yudao.module.llm.dal.mysql.knowledgebase.KnowledgeBaseMapper">
<!--
一般情况下，尽可能使用 Mapper 进行 CRUD 增删改查即可。
无法满足的场景，例如说多表关联查询，才使用 XML 编写 SQL。
代码生成器暂时只生成 Mapper XML 文件本身，更多推荐 MybatisX 快速开发插件来生成查询。
文档可见：https://www.iocoder.cn/MyBatis/x-plugins/
-->
</mapper>