97 lines
3.3 KiB
Markdown
97 lines
3.3 KiB
Markdown
|
# 视觉识别功能
|
|||
|
|
|
|||
|
|
## 功能概述
|
|||
|
|
|
|||
|
|
py-xiaozhi提供了摄像头控制和视觉识别功能，支持通过语音命令打开/关闭摄像头，以及对摄像头捕获的画面进行智能识别分析。
|
|||
|
|
|
|||
|
|
## 配置说明
|
|||
|
|
|
|||
|
|
视觉识别功能需要在配置文件中进行相关设置：
|
|||
|
|
|
|||
|
|
```json
|
|||
|
|
"CAMERA": {
|
|||
|
|
"camera_index": 0, // 摄像头索引，0通常是电脑内置摄像头
|
|||
|
|
"frame_width": 640, // 画面宽度
|
|||
|
|
"frame_height": 480, // 画面高度
|
|||
|
|
"fps": 30, // 帧率
|
|||
|
|
"Loacl_VL_url": "https://open.bigmodel.cn/api/paas/v4/", // 智普API地址
|
|||
|
|
"VLapi_key": "你的key", // 智普视觉大模型API密钥
|
|||
|
|
"models": "glm-4v-plus" // 使用的视觉模型
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 智普视觉大模型配置
|
|||
|
|
|
|||
|
|
1. 访问 [智普AI开放平台](https://open.bigmodel.cn/)
|
|||
|
|
2. 注册账号并创建API密钥
|
|||
|
|
3. 将获取的API密钥配置到`config.json`的`CAMERA.VLapi_key`字段
|
|||
|
|
4. 可以选择使用的模型，默认为`glm-4v-plus`
|
|||
|
|
|
|||
|
|
## 使用方法
|
|||
|
|
|
|||
|
|
### 语音命令控制
|
|||
|
|
|
|||
|
|
系统支持以下语音命令控制摄像头和视觉识别功能：
|
|||
|
|
|
|||
|
|
- **打开摄像头**：激活系统摄像头，开始捕获视频流
|
|||
|
|
- **关闭摄像头**：停止摄像头捕获
|
|||
|
|
- **识别画面**：对当前摄像头画面进行智能视觉分析，识别画面中的内容
|
|||
|
|
- **分析图像**：对当前画面进行详细视觉分析并提供描述
|
|||
|
|
- **看到了什么**：询问当前摄像头看到的内容
|
|||
|
|
|
|||
|
|
### GUI 界面控制
|
|||
|
|
|
|||
|
|
在图形界面模式下，可以通过界面上的相关按钮控制摄像头功能。
|
|||
|
|
|
|||
|
|
## 内部实现
|
|||
|
|
|
|||
|
|
视觉识别功能通过IoT模块中的CameraVL设备类实现，主要由Camera和VL两个组件组成：
|
|||
|
|
|
|||
|
|
1. **Camera 组件**：负责摄像头的基本控制，如开启、关闭、获取视频帧等
|
|||
|
|
2. **VL（Vision Language）组件**：负责对图像进行智能分析，调用智普视觉大模型API
|
|||
|
|
|
|||
|
|
实现结构：
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
CameraVL # 摄像头与视觉识别集成设备
|
|||
|
|
├── Camera.py # 摄像头控制模块
|
|||
|
|
└── VL.py # 视觉语言分析模块
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 工作流程
|
|||
|
|
|
|||
|
|
1. 用户通过语音命令打开摄像头
|
|||
|
|
2. 系统激活摄像头并在界面显示视频流
|
|||
|
|
3. 用户请求识别当前画面
|
|||
|
|
4. 系统截取当前帧，并将图像发送给智普视觉大模型
|
|||
|
|
5. 获取视觉分析结果并通过语音或文字反馈给用户
|
|||
|
|
|
|||
|
|
## 隐私说明
|
|||
|
|
|
|||
|
|
视觉识别功能会使用您的摄像头并处理画面内容，请注意：
|
|||
|
|
|
|||
|
|
1. 摄像头捕获的画面仅用于本地分析或发送至智普API进行分析
|
|||
|
|
2. 非语音命令控制时，摄像头处于关闭状态
|
|||
|
|
3. 可以在配置中修改摄像头设置或完全禁用此功能
|
|||
|
|
|
|||
|
|
## 常见问题
|
|||
|
|
|
|||
|
|
1. **摄像头无法打开**
|
|||
|
|
- 确认您的设备有可用摄像头
|
|||
|
|
- 检查摄像头是否被其他应用占用
|
|||
|
|
- 确认已授予应用使用摄像头的权限
|
|||
|
|
|
|||
|
|
2. **视觉识别功能无响应**
|
|||
|
|
- 检查智普API密钥是否正确配置
|
|||
|
|
- 确认网络连接正常
|
|||
|
|
- 检查是否超出API调用次数限制
|
|||
|
|
|
|||
|
|
3. **识别结果不准确**
|
|||
|
|
- 尝试改善摄像头光线条件
|
|||
|
|
- 确保目标对象在画面中清晰可见
|
|||
|
|
- 可能需要升级智普视觉模型版本
|
|||
|
|
|
|||
|
|
4. **摄像头画面卡顿**
|
|||
|
|
- 尝试在配置中降低分辨率或帧率
|
|||
|
|
- 关闭其他占用系统资源的应用
|
|||
|
|
- 更新摄像头驱动
|