“探智”视觉与语音实验箱
（1）产品简介
“探智”视觉与语音实验箱是一款专注于视觉、语音、AI技术的产品，聚焦数字图像处理技术、计算机视觉技术、机器学习技术、深度学习技术、语音交互技术，采用理论与实践相结合的方式，从通识概念理解、算法研究、软件功能实现、到动手联调实践等多个方面帮助学生掌握相关软硬件知识。通过一系列综合实践案例，使学生了解相关技术在生活实际与产业实践方面的应用，助力高校人工智能与自动控制技术的人才培养。
（2）产品特点
● 采用模块化分离式设计，简易搭建即可快速进入实验状态，实验完毕后便捷收纳至实验箱内，降低教师对实验器材的管理难度；
● 配置系统级控制器和深度学习处理器，可进行多种人工智能视觉、语音应用的开发，可实现边缘深度神经网络（DNN）推理应用的快速原型设计、验证和部署；
● 全面的计算机视觉与AI教学内容
从Python编程语言基础开始，到数字图像处理的基础知识，各类机器视觉算法原理与实现，机器学习算法原理与实现，深度学习算法离在线教学，各类AI框架了解与使用，模型设计与优化，视觉与机械臂软硬结合，综合创新案例等，由浅入深，由模块到综合，课程内容贯穿大二到大三，非常全面；
● 丰富的语音实验案例
利用离线语音唤醒、离线命令词识别、语音合成与播报、智能问答等技术，结合一系列综合实践案例，满足新工科相关专业在人机自然交互方面的教学与实训需求；
● 富有趣味性的创新案例
设计了一系列的创新综合案例，如人脸考勤系统、口罩识别、物料分拣、远程交互、垃圾分类语音助手等实验；
● 与应用高度结合
介绍一系列在工业与商业应用的落地案例，在开源AI框架基础上进行深度学习模型优化与裁剪，使用商业现场应用较多的YOLO框架，可进行深度学习推理；
● 机械臂控制精度高
工业级的精度：重复定位精度0.2mm。采用DDR机器人结构，选用步进电机和减速机执行器，具有振动小、结构刚度高、机械传动损耗小、响应速度快、可靠性高等优点。能够更好地支持用户在机械臂运动学、机械臂定点抓取、图像引导视觉抓取等方面进行深入实验和研究；
● 仿真联动
设计了ROS系统下的STDR仿真交互，在实物上进行实验时，可在仿真系统内设置应用场景进行联动，具有独特的实验教学效果。
（3）适用领域
● 人工智能、机器人工程等专业的专业核心课；
● 智能分拣、视觉抓取等比赛项目的参赛平台；
● 本科毕设或研究生用于验证理论算法、验证学术论文等。
（4）软件功能示例
AI计算机视觉机械臂控制、物块分拣：基于OpenCV+机械臂控制为一体的颜色识别、物块分拣、物块堆叠。使用OpenCV对桌面上放置的物料进行颜色识别，获取不同颜色的物料在OpenCV图像轮廓中的坐标，通过坐标变换和机械臂逆向运动学推导计算出机械臂要成功抓取到物料所需要转动的角度，计算出结果后，控制机械臂对物料进行抓取，堆叠放置；
基于深度学习的水果识别与抓取：包括环境配置、制作数据集、模型训练、模型部署，基于YoloV5目标检测和pytorch深度学习框架；
基于AI视觉的智能考勤：使用tensorflow和keras搭建机器学习神经网络模型，利用OpenCV进行图像处理，使用pyqt5制作智能化的考勤界面，可以在考勤界面上进行人脸录入，考勤打卡；
年龄、性别、人脸特征点等综合检测：基于深度学习模型，实现综合检测；
机械臂运动学仿真：通过matplotlib对机械臂建立简单的模型，实现机械臂的逆向运动学模拟；
语音、视觉与STDR仿真联动：将语音识别、OpenCV手势识别和ROS中的STDR的自动导航仿真相结合，通过语音指令和数字手势来控制ROS仿真小车在包含多个房间的地图中进行自动导航；
语音交互：语音查询天气、温度，日常问候，通用型知识百科，语音控制机械臂，语音分拣物料，语音助手等功能。
课程设置示例
课程名称：Python程序设计、算法与数据结构、Linux操作系统、机器学习、深度学习、计算机视觉、自然语言处理、多模态人机交互技术、人工智能综合实践。
开课年级：大二—大三
课程以关键技术分解实战和终端互动实践为导向，由浅入深进行递进式教学。
|
Python程序设计（32学时） |
||
|---|---|---|
|
课次 |
课程内容 |
学时 |
|
第1次 |
Python基础语法一 |
2 |
|
第2次 |
Python基础语法二 |
2 |
|
第3次 |
python面向对象编程 |
2 |
|
第4次 |
python文件处理与正则表达式 |
2 |
|
第5次 |
python数据库开发 |
2 |
|
第6次 |
python网络编程 |
2 |
|
第7次 |
jupyter notebook |
2 |
|
第8次 |
Numpy与Pandas |
2 |
|
第9次 |
pyqt开发 |
2 |
|
第10次 |
matplotlib库开发 |
2 |
|
第11次 |
python硬件控制 |
2 |
|
第12次 |
Python-GPIO输入输出 |
2 |
|
第13次 |
Python-UART通讯 |
2 |
|
第14次 |
Python-LCD显示 |
2 |
|
第15次 |
Python-语音接收 |
2 |
|
第16次 |
python综合案例 |
2 |
|
算法与数据结构（8学时） |
||
|
课次 |
课程内容 |
学时 |
|
第1次 |
基础数据结构1 |
0.5 |
|
第2次 |
基础数据结构1 |
0.5 |
|
第3次 |
树与图的基本操作1 |
0.5 |
|
第4次 |
树与图的基本操作2 |
0.5 |
|
第5次 |
树与图的基本操作3 |
0.5 |
|
第6次 |
基本排序算法 |
0.5 |
|
第7次 |
高级排序算法 |
0.5 |
|
第8次 |
搜索算法 |
0.5 |
|
第9次 |
动态规划算法 |
1 |
|
第10次 |
贪心算法 |
1 |
|
第11次 |
位运算与加密算法 |
1 |
|
第12次 |
TSP算法问题 |
1 |
|
机器学习（20学时） |
||
|
课次 |
课程内容 |
学时 |
|
第1次 |
Scikit Learn |
2 |
|
第2次 |
回归算法1 |
2 |
|
第3次 |
回归算法2 |
2 |
|
第4次 |
分类算法1 |
2 |
|
第5次 |
分类算法2 |
2 |
|
第6次 |
分类算法3 |
2 |
|
第7次 |
聚类算法1 |
2 |
|
第8次 |
聚类算法2 |
2 |
|
第9次 |
神经网络 |
4 |
|
深度学习（24学时） |
||
|
课次 |
课程内容 |
学时 |
|
第1次 |
神经网络 |
2 |
|
第2次 |
卷积神经网络 |
2 |
|
第3次 |
循环神经网络与LSTM |
2 |
|
第4次 |
生成对抗网络 |
2 |
|
第5次 |
强化学习 |
2 |
|
第6次 |
模型部署与推理 |
2 |
|
第7次 |
手写数字识别 |
4 |
|
第8次 |
目标检测 |
4 |
|
第9次 |
图像分割 |
4 |
|
计算机视觉（30学时） |
||
|
课次 |
课程内容 |
学时 |
|
第1次 |
图像基本操作 |
2 |
|
第2次 |
图像基础 |
2 |
|
第3次 |
图像处理 |
2 |
|
第4次 |
特征提取 |
2 |
|
第5次 |
特征匹配 |
2 |
|
第6次 |
目标检测1 |
2 |
|
第7次 |
目标检测2 |
2 |
|
第8次 |
目标检测3 |
2 |
|
第9次 |
目标跟踪 |
2 |
|
第10次 |
相机标定 |
2 |
|
第11次 |
二维码检测 |
2 |
|
第12次 |
基于颜色识别的机械臂分拣 |
2 |
|
第13次 |
基于apriltag二维码的机械臂码垛 |
2 |
|
第14次 |
基于视觉+AI的人脸考勤系统开发 |
2 |
|
第15次 |
基于目标跟踪的机械臂跟随系统 |
2 |
|
自然语言处理（24学时） |
||
|
课次 |
课程内容 |
学时 |
|
第1次 |
文本预处理 |
2 |
|
第2次 |
词向量表示 |
2 |
|
第3次 |
机器学习文本分类 |
2 |
|
第4次 |
深度学习文本分类 |
2 |
|
第5次 |
情感分析 |
2 |
|
第6次 |
命名实体识别 |
2 |
|
第7次 |
问答系统 |
2 |
|
第8次 |
自然语言生成 |
2 |
|
第9次 |
大模型GPT |
2 |
|
第10次 |
语音交互系统实践 |
4 |
|
多模态人机交互（8学时） |
||
|
课次 |
课程内容 |
学时 |
|
第1次 |
语音人机交互 |
2 |
|
第2次 |
表情人机交互 |
2 |
|
第3次 |
手势人机交互 |
2 |
|
第4次 |
机械臂人机交互 |
2 |
|
人工智能综合实践（32学时） |
||
|
项目一 |
小型柔性智能制造系统 |
32 |
|
项目二 |
智能考勤签到助手 |
32 |
|
项目三 |
智能桌面办公助手系统 |
32 |