“探智-VS”
配套的实验课程：《机器视觉与AI》、《机器视觉综合实践》、《人工智能综合实践》、《具身智能综合实践》、《语音大模型综合实践》。
对应的竞赛：一个白名单大赛的2个项目，及一个机器人竞赛指数榜单大赛的2个项目。
“探智-VS”是一款面向人工智能专业及其他涉及Python编程、机器视觉、自然语言处理、人工智能、机械臂控制、人机自然交互等课程的工科专业的实验教学平台。处理器搭载瑞芯微RK3588S芯片，具备8核的CPU和6TOPS等效AI算力的NPU，处理能力强大且均衡，视觉与语音识别模型均在本地进行边缘计算部署，符合人工智能技术在智能硬件产品上的应用趋势。配置桌面工业级机械臂、摄像头、麦克风、扬声器、触摸交互显示屏等模块，将机械臂控制、机器视觉、人工智能、人机交互等技术结合起来，围绕上述知识点，聚焦智能分拣应用场景，设计了大量的实验，配套不同的调试与开发软件。算法高度封装，支持一行Python代码直接调用获取推理结果，或通过Python编程读取预训练神经网络，也可以对神经网络模型与算法重新训练与优化，满足不同层次的教学需求。
配套的实验课程大纲如下：
|
Python智能硬件编程（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Python简介 |
了解智能硬件中的Python应用，了解为什么Python是机器人很重要的开发语言，使用vscode配置Python开发环境。 |
2 |
|
2 |
Python数据结构 |
在嵌入式AI处理器中，开发Python应用程序，学习Python中的变量，数组与数据类型。 |
2 |
|
3 |
Python运算符 |
在嵌入式AI处理器中，开发Python应用程序，学习Python中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
4 |
Python的控制结构 |
在嵌入式AI处理器中，开发Python应用程序，学习if-else，while等各类控制结构。 |
2 |
|
5 |
Python的函数与指针 |
在嵌入式AI处理器中，开发Python应用程序，学习并了解函数与指针。 |
2 |
|
6 |
Python的面向对象编程 |
在嵌入式AI处理器中，开发Python应用程序，学习并了解面向对象编程。 |
2 |
|
7 |
AI+硬件常用Python库 |
Python中机器人开发常用的标准库，如Numpy，MatPlotlib等知识，嵌入式AI处理器中开发案例调用标准库。 |
2 |
|
8 |
Python串口编程 |
了解Python的串口库pyserial，安装串口调试助手，了解Python如何调用系统中的串口，与Windows主机进行通信。 |
2 |
|
9 |
Python网络编程 |
了解Python的网络编程类socket，了解数据交换格式Json，安装网络调试助手，了解Python如何与Windows主机进行网络通信。 |
2 |
|
10 |
UI编程框架PyQt |
了解Python的UI编程架构PyQt，基于PyQt编写UI程序，查询嵌入式AI处理器信息。 |
2 |
|
11 |
环境管理工具Conda |
了解Python为什么要做环境隔离，在嵌入式AI处理器系统中安装并使用环境包管理工具Conda。 |
2 |
|
12 |
交互式开发工具Jupyter |
了解Jupyter开发工具，在嵌入式AI处理器系统中安装Jupyter并进行交互式Python开发与调试。 |
2 |
|
数字图像处理基础（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
OpenCV简介 |
了解数字图像处理的基本内容，了解最常用的数字图像处理库OpenCV。 |
2 |
|
2 |
图像采集 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存。 |
2 |
|
3 |
图像生成 |
在嵌入式AI处理器中，开发OpenCV应用程序，生成图像，并对图像进行操作。 |
2 |
|
4 |
图像滤波 |
在嵌入式AI处理器中，开发OpenCV应用程序，实现图像的各种滤波操作。 |
2 |
|
5 |
图像变换 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行图像的平移旋转缩放等各类操作。 |
2 |
|
6 |
图像特征提取 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行图像的点特征和线特征提取。 |
2 |
|
7 |
图像的像素处理 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行图像的像素计算。 |
2 |
|
8 |
图像颜色空间 |
了解灰度，RGB，HSV等各种颜色空间，并在嵌入式AI处理器中，开发OpenCV应用程序进行各类颜色空间转换。 |
2 |
|
9 |
形态学运算 |
在嵌入式AI处理器中，开发OpenCV应用程序，进行对图像的腐蚀膨胀与开闭运算。 |
2 |
|
10 |
阈值处理与图像分割 |
了解图像二值化的原理，了解阈值分割的方法，在嵌入式AI处理器中开发程序基于图像像素颜色阈值进行分割。 |
2 |
|
11 |
特征匹配 |
了解特征匹配算法原理，在嵌入式AI处理器中开发程序实现多种特征匹配算法。 |
2 |
|
12 |
霍夫变换 |
了解霍夫变换算法原理，在嵌入式AI处理器中开发程序，基于霍夫变换提取出直线，线段，圆形特征。 |
2 |
|
机器视觉技术（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
图像采集 |
基于Python+OpenCV实现图像加载、保存，USB摄像头视频流获取，WEB视频流获取，摄像头图像录制，绘制圆形、方形、线条、文字等操作。 |
2 |
|
2 |
相机内参标定 |
理解相机成像模型，使用Python和OpenCV实现经典的张正友标定法相机标定。 |
2 |
|
3 |
机械臂运动控制 |
了解机械臂运动控制，了解机械臂的正逆运算，了解机械臂控制的Python接口，学习如何使用Python控制机械臂执行动作。 |
2 |
|
4 |
手眼标定 |
了解物理坐标系与像素坐标系的关系按步骤部署相机，标定摄像头与机械臂的相对位置。 |
2 |
|
5 |
二维码识别 |
了解如何使用Python和OpenCV的库检测定位二维码位置并识别二维码信息。 |
2 |
|
6 |
AprilTag检测与抓取放置 |
了解AprilTag的原理，学习如何使用AprilTag定位物体信息，并基于机械臂实现AprilTag物块的抓取放置。 |
2 |
|
7 |
颜色识别与抓取放置 |
HSV颜色空间、图像二值化、形态学运算等处理方法，基于Python+OpenCV实现颜色目标检测与分类，结合颜色识别实现抓取放置。 |
2 |
|
8 |
形状识别 |
了解霍夫变换的原理，基于霍夫变换实现形状识别，结合形状识别实现抓取放置。 |
2 |
|
9 |
长度测量 |
了解如何基于像素结果判断物体长度，并以此检测作物大小是否合格。 |
2 |
|
10 |
面积测量 |
了解如何基于像素结果判断物体面积，并以此检测作物大小是否合格。 |
2 |
|
11 |
表盘读数 |
通过机器视觉算法提取仪表盘的指针终点与圆心，通过刻度分析当前仪表盘数值。 |
2 |
|
12 |
缺陷检测 |
基于颜色直方图的方法识别缺陷，判断完好物体与缺陷物体。 |
2 |
|
人工智能技术（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
视觉与AI框架简介 |
了解机器视觉的基本内容，了解最常用的数字图像处理库OpenCV，了解机器学习与深度学习的原理和通用框架。 |
2 |
|
2 |
Conda入门 |
了解Python下的环境配置架构Conda，学习如何通过Conda管理各个功能环境，进行版本隔离。 |
2 |
|
3 |
Jupyter入门 |
了解交互式编程环境Jupyter NoteBook，如何在Jupyter中进行简单的Python开发与调试。 |
2 |
|
4 |
机械臂运动控制 |
了解机械臂运动控制，了解机械臂的正逆运算，了解机械臂控制的Python接口，学习如何使用Python控制机械臂执行动作。 |
2 |
|
5 |
图像采集与相机标定 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存，标定摄像头与机械臂的相对位置。 |
2 |
|
6 |
人脸识别 |
使用机器学习的Haar特征实现人脸检测识别，使用深度学习模型实现基于AI的人脸检测与识别，体验深度学习边缘计算的优势，开发基于人脸识别的考勤系统。 |
2 |
|
7 |
目标跟踪 |
使用机器学习KCF目标跟踪方法实现目标跟踪，使用深度学习实现目标跟踪，体验深度学习边缘计算的优势，开发基于目标跟踪的抓取搬运系统。 |
2 |
|
8 |
深度学习目标检测 |
基于Yolo-V5卷积神经网络模型，部署在AI处理器上，实现目标检测与分类，结合机械臂完成任务。 |
2 |
|
9 |
表情识别的人机交互 |
基于深度学习卷积神经网络模型，实现表情识别的人机交互系统。 |
2 |
|
10 |
手势识别的人机交互 |
使用MediaPipe实现手势识别，基于深度学习神经网络模型，实现手势识别的人机交互系统。体会不同类型深度学习算法的不同应用。 |
2 |
|
机器视觉综合实践（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
图像采集 |
基于Python+OpenCV实现图像加载、保存，USB摄像头视频流获取，WEB视频流获取，摄像头图像录制，绘制圆形、方形、线条、文字等操作。 |
2 |
|
2 |
机械臂运动控制 |
了解机械臂运动控制，了解机械臂的正逆运算，了解机械臂控制的Python接口，学习如何使用Python控制机械臂执行动作。 |
2 |
|
3 |
手眼标定 |
了解物理坐标系与像素坐标系的关系按步骤部署相机，标定摄像头与机械臂的相对位置。 |
2 |
|
4 |
AprilTag检测与抓取放置 |
了解AprilTag的原理，学习如何使用AprilTag定位物体信息，并基于机械臂实现AprilTag物块的抓取放置。 |
2 |
|
5 |
颜色识别与抓取放置 |
HSV颜色空间、图像二值化、形态学运算等处理方法，基于Python+OpenCV实现颜色目标检测与分类，结合颜色识别实现抓取分拣。 |
2 |
|
6 |
标记排序位置 |
确定排序规则，将AprilTag物块按照ID排序，确定分拣规则，将颜色块按照颜色分拣到不同区域，将待分拣区域标记在图像位置。 |
2 |
|
7 |
进程管理 |
学习Python下的进程管理与进程间通信，为实现分拣任务做好基础，将分拣动作封装成进程函数可调用。 |
2 |
|
8 |
线程管理 |
学习Python下的线程管理与线程通信，为实现分拣任务做好基础，将通信等封装成线程函数。 |
2 |
|
9 |
AprilTag排序码垛 |
结合多进程，多线程，实现AprilTag按照ID顺序排序码垛。 |
2 |
|
10 |
颜色识别分拣 |
结合多进程，多线程，实现将不同颜色的物块分拣到不同位置。 |
2 |
|
人工智能综合实践（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
人工智能与AI硬件 |
了解机器视觉与数字图像处理的基本内容，了解最常用的数字图像处理库OpenCV，了解机器学习与深度学习，了解AI如何赋能智能硬件。 |
2 |
|
2 |
WSL2安装 |
在个人电脑上安装WSL2，配置Conda和Jupyter，配置VSCode开发环境，为后续实验打下基础。 |
2 |
|
3 |
Conda入门 |
了解Python下的环境配置架构Conda，学习如何通过Conda 管理各个功能环境，进行版本隔离。 |
2 |
|
4 |
Jupyter入门 |
了解交互式编程环境Jupyter NoteBook，如何在Jupyter中进行简单的Python开发与调试。 |
2 |
|
5 |
数据集采集 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存，采集数据集。 |
2 |
|
6 |
图像标注 |
在WSL2中安装Label-Studio，进行数据标注，生成Yolo格式的标注数据。 |
2 |
|
7 |
数据增强与数据集划分 |
了解为什么要进行数据增强，在Jupyter中进行数据增强，将增强的数据集划分为训练集和测试集。 |
2 |
|
8 |
模型训练 |
基于Yolo-V5模型，在Pytorch下训练卷积神经网络模型。 |
2 |
|
9 |
模型转化 |
将Pytorch训练出的pt模型转化为onnx中间模型，再转化为可硬件推理的rknn模型，边缘计算芯片可部署推理。 |
2 |
|
10 |
深度学习分拣 |
结合机械臂，实现水果分拣案例，将不同类型的水果分拣到不同位置。 |
2 |
|
语音与大模型综合实践（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析当前机器人接入大模型的应用场景，剖析机器人接入大模型的技术路线和技能方法，了解如何通过Python为机器人接入大模型，学会使用机器人开发。 |
2 |
|
2 |
机械臂驱动 |
了解机械臂运动控制，了解机械臂的正逆运算，了解机械臂控制的Python接口，学习如何使用Python控制机械臂执行动作。 |
2 |
|
3 |
图像采集 |
基于Python+OpenCV实现图像加载、保存，USB摄像头视频流获取，WEB视频流获取，摄像头图像录制，绘制圆形、方形、线条、文字等操作。 |
2 |
|
4 |
AprilTag检测与抓取放置 |
了解AprilTag的原理，学习如何使用AprilTag定位物体信息，并基于机械臂实现AprilTag物块的抓取放置。 |
2 |
|
5 |
麦克风数据处理 |
调试并获取机器人上麦克风信息，使得麦克风接入系统，可实现语音获取。 |
2 |
|
6 |
语音转文字 |
基于离线AI模型，实现ASR功能，读取麦克风的信息并转换为文字。 |
2 |
|
7 |
文字转语音 |
基于离线AI模型，实现TTS功能，将文字信息转化为语音信息并通过扬声器播放。 |
2 |
|
8 |
语义理解 |
分析语音识别的文字，并提取其中的意图和序列，实现语音控制机器人。 |
2 |
|
9 |
场景理解 |
为机器人接入视觉大模型，理解看到的场景，并通过语音播报出来。 |
2 |
|
10 |
具身智能综合案例 |
串联上述知识点，编写接口程序，实现可语音控制机械臂分拣，根据指定的指令让机械臂将看到的物体分拣到各个位置。 |
2 |
|
具身智能综合实践（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
具身智能分析 |
了解什么是具身智能，了解具身智能的基本原理与应用场景。 |
2 |
|
2 |
机械臂驱动 |
了解机械臂运动控制，了解机械臂的正逆运算，了解机械臂控制的Python接口，学习如何使用Python控制机械臂执行动作。 |
2 |
|
3 |
麦克风数据处理 |
调试并获取机器人上麦克风信息，使得麦克风接入系统，可实现语音获取。 |
2 |
|
4 |
机器人定位导航 |
调用机器人搭载的MoveBase框架，可编写节点发布Action实现机器人自主定位导航。 |
2 |
|
5 |
麦克风数据处理 |
调试并获取机器人上麦克风信息，使得麦克风接入ROS系统，可实现语音获取。 |
2 |
|
6 |
语音转文字 |
基于离线AI模型，实现ASR功能，读取麦克风的信息并转换为文字。 |
2 |
|
7 |
文字转语音 |
基于离线AI模型，实现TTS功能，将文字信息转化为语音信息并通过扬声器播放。 |
2 |
|
8 |
大模型问答 |
注册大模型AI工具，编写程序通过大模型API，调用Json实现智能问答。 |
2 |
|
9 |
语义理解 |
分析语音识别的文字，并提取其中的意图和序列，实现语音控制机器人。 |
2 |
|
10 |
大模型机器人集成 |
串联上述知识点，编写接口程序，实现可语音控制并语音交互的大模型接入机器人。 |
2 |