“卓越之星”
配套的实验课程：《嵌入式单片机》、《电机与控制》、《嵌入式Linux操作系统》、《机器人编程（C++）》、《机器人编程（Python）》、《数字图像处理基础》、《机器人操作系统》、《机器人感知传感》、《机器视觉与AI》、《机器人学》、《机器人定位导航》、《机器人建模与仿真》、《语音大模型综合实践》、《具身智能综合实践》、《智能机器人拆装综合实践》、《服务机器人综合实践（家用场景）》、《服务机器人综合实践（商业场景）》、《服务机器人综合实践（工业场景）》、《智能机器人建模仿真综合实践》。
对应的竞赛：两个白名单大赛的6个项目，及一个机器人竞赛指数榜单大赛的3个项目。
“卓越之星”是面向机器人工程、自动化类、机械类、电子信息类等新工科专业开展实验教学和工程创新的模块化可重构的机器人套件，可搭建出多种形态的智能机器人，结构开放便于拓展。采用嵌入式AI处理器和嵌入式单片机控制器的双脑架构，AI处理器的核心是瑞芯微RK3588S芯片，具备8核的CPU和6TOPS等效AI算力的NPU，处理能力强大且均衡。专为教学设计的嵌入式控制器，接口丰富，配备各种按键、指示灯及显示屏，可对spi、iic、uart、adc等不同通讯接口的各类传感器及舵机、电机进行单独的调试和数据展示。配置传感器扩展板，预留12路标准模数转换接口和iic、uart通用接口，可拓展所有接口兼容的传感器进行创新实践。配套仿真软件，提供外观一致，激光雷达、深度视觉相机、IMU、超声传感器、轮式里程计等传感器位置一致的仿真模型，配置多个仿真场景。AI处理器搭载机器人操作系统与各种传感器驱动软件，内置主流AI推理框架与预训练模型，既可以通过API直接获取AI推理结果，又可以通过代码加载预训练模型，还可以根据实验教程自己训练优化各种AI模型。
构型示例如下：
配套的实验课程大纲如下：
|
机器人嵌入式Linux操作系统（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Linux系统简介 |
为什么学习Linux，如何学习Linux，Linux特点，机器人与Linux的关系。 |
2 |
|
2 |
体验机器人上Linux |
使用图像采集卡或HDMI连接屏幕，连接外设，WIFI连接，介绍桌面功能。 |
2 |
|
3 |
体验Linux远程连接与终端 |
远程软件准备，配置电脑网络，终端初始体验，软件安装与卸载。 |
2 |
|
4 |
了解Linux命令行 |
打开终端，命令提示符，命令行体验，命令格式与帮助，常用命令。 |
2 |
|
5 |
用户与文件 |
了解用户与用户组，文件系统，chmod命令，操作Linux文件目录。 |
2 |
|
6 |
Linux系统下的机器人程序 |
通过Git管理程序，程序编译。 |
2 |
|
7 |
Vscode便捷调试开发 |
Vscode下载与配置使用，查询机器人IP地址，vscode远程连接机器人。 |
2 |
|
8 |
Makefile简介 |
了解编译工具，介绍MakeFile，使用MakeFile编译多个文件。 |
2 |
|
9 |
网络通信 |
了解网络通信在机器人软件中的应用，安装网络调试助手，了解Linux系统中的UDP通信，TCP通信，通过socket实现网络通信。 |
2 |
|
10 |
串口通信 |
了解串口通信在机器人系统中的应用，安装串口调试助手，了解Linux系统中的串口，与Windows主机进行通信。 |
2 |
|
嵌入式单片机（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
嵌入式ARM系统 |
讲解MCU、ARM处理器的概念，熟悉实验箱嵌入式系统架构，讲解嵌入式系统在机器人中的核心应用框架，使用Keil模板建立嵌入式开发工程。 |
2 |
|
2 |
点亮LED实验 |
基于嵌入式实验箱的单片机芯片，学习如何操作GPIO，使用寄存器、库函数点亮LED。 |
2 |
|
3 |
ADC模数转换实验 |
了解模数转换数据采集的原理，基于传感器接口板，学习如何配置引脚的GPIO为模拟输入，获取模拟量传感器的数据信息。 |
2 |
|
4 |
定时器中断实验 |
学习嵌入式单片机定时器原理，学习如何实现定时器中断。基于定时器终端按照不同频率实现LED灯循环闪烁。 |
2 |
|
5 |
按键响应 |
学习嵌入式单片机如何监控按键输入，基于初级状态机实现消除抖动，实现单片机监控按键长按、双击等高级按键功能。 |
2 |
|
6 |
状态机综合实验 |
基于LED、按键、定时器写一个综合的状态机实验、让4个LED按顺时针或逆时针的方向“跑”，实现按键控制跑马灯的速度和方向，强化对于状态机的理解。 |
2 |
|
7 |
串口通信实验 |
了解串口通信的原理，串口的硬件通信连接与接口定义，学习如何基于嵌入式单片机进行串口通信，串口收发数据，基于串口调试并控制总线式数字舵机，控制舵机转动。通过串口获取总线式传感器数据。 |
2 |
|
8 |
SPI通信实验 |
学习SPI原理，SPI硬件通信连接与接口定义，实现嵌入式单片机通过SPI通信的方式控制TFT屏幕显示不同的内容。 |
2 |
|
9 |
IIC通信实验 |
学习IIC原理，IIC硬件通信连接与接口定义，实现嵌入式单片机通过IIC通信的方式获取温度传感器信息。 |
2 |
|
10 |
通信综合实验 |
综合通信实验，在SPI通信的液晶屏幕上显示串口总线式传感器数据与IIC读取的温度传感器信息。 |
2 |
|
电机与控制（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
嵌入式ARM系统 |
讲解MCU、ARM处理器的概念，熟悉实验平台的嵌入式系统架构，讲解嵌入式系统在机器人中的核心应用框架，使用Keil建立嵌入式开发工程模板。 |
2 |
|
2 |
定时器中断实验 |
学习嵌入式单片机定时器原理，学习如何实现定时器中断。 |
2 |
|
3 |
串口通信实验 |
了解串口通信的原理，串口硬件通信连接与接口定义，学习如何基于嵌入式单片机进行串口通信，串口收发数据。通过串口获取总线式传感器数据。 |
2 |
|
4 |
舵机控制实验 |
了解总线式数字舵机的原理，通过串口控制总线式数字舵机转动。 |
2 |
|
5 |
有刷直流电机 |
学习有刷直流电机运行原理与应用场景，基于嵌入式单片机芯片驱动电机。 |
2 |
|
6 |
有刷直流电机测速法 |
通过读取电机编码器数据，学习M测速法、T测速法、M/T测速法的使用，对比测速波形，分析不同测速法的应用场景。 |
2 |
|
7 |
电机速度控制实验 |
基于嵌入式单片机芯片驱动电机读取编码器数据，测量电机转速并根据反馈进行速度控制。 |
2 |
|
8 |
差分运 |
了解差分运动模型，基于差分运动模型实现移动底盘的运动控制。 |
2 |
|
9 |
全向运 |
了解全向运动模型，基于全向运动模型实现移动底盘的运动控制。 |
2 |
|
10 |
避障小车实现 |
在四轮机器人身侧部署搭建超声传感器，实现基于超声传感器的障碍感知与避障。 |
2 |
|
机器人编程（C++）（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机器人中的C++ |
了解机器人中的C++应用，了解为什么C++是机器人很重要的开发语言。 |
2 |
|
2 |
C++编译原理 |
编译器，编译过程，CMake语法，使用IDE配置C++编译工程。 |
2 |
|
3 |
C++的数据结构 |
在机器人的处理器中，开发C++应用程序，学习C++中的变量，数组与数据类型。 |
2 |
|
4 |
C++的运算符 |
在机器人的处理器中，开发C++应用程序，学习C++中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
5 |
C++的控制结构 |
在机器人的处理器中，开发C++应用程序，学习if-else，while等各类控制结构。 |
2 |
|
6 |
C++的函数与指针 |
在机器人的处理器中，开发C++应用程序，学习并了解函数与指针。 |
2 |
|
7 |
C++的面向对象编程 |
在机器人处理器中，开发C++应用程序，学习并了解面向对象编程。 |
2 |
|
8 |
常用机器人C++库 |
C++中机器人开发常用的标准库，关联容器等知识。 |
2 |
|
9 |
C++进程管理 |
了解进程的概念，基于C++开发机器人程序进程。 |
2 |
|
10 |
C++线程管理 |
了解线程的概念，基于C++开发机器人程序多线程。 |
2 |
|
机器人编程（Python）（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Python简介 |
了解机器人中的Python应用，了解为什么Python是机器人很重要的开发语言，使用vscode配置Python开发环境。 |
2 |
|
2 |
Python数据结构 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习Python中的变量，数组与数据类型。 |
2 |
|
3 |
Python运算符 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习Python中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
4 |
Python的控制结构 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习if-else，while等各类控制结构。 |
2 |
|
5 |
Python的函数与指针 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习并了解函数与指针。 |
2 |
|
6 |
Python的面向对象编程 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习并了解面向对象编程。 |
2 |
|
7 |
常用机器人Python库 |
Python中机器人开发常用的标准库，如Numpy，MatPlotlib等知识，在机器人的嵌入式AI处理器中进行库的使用。 |
2 |
|
8 |
Python串口编程 |
了解Python的串口库pyserial，安装串口调试助手，了解Python如何调用系统中的串口，与Windows主机进行通信。 |
2 |
|
9 |
Python网络编程 |
了解Python的网络编程类socket，了解数据交换格式Json，安装网络调试助手，了解Python如何与Windows主机进行网络通信。 |
2 |
|
10 |
UI编程框架PyQt |
了解Python的UI编程架构PyQt，基于PyQt编写UI程序，查询机器人处理器信息。 |
2 |
|
11 |
环境管理工具Conda |
了解Python为什么要做环境隔离，在机器人系统中安装并使用环境包管理工具Conda。 |
2 |
|
12 |
交互式开发工具Jupyter |
了解Jupyter开发工具，在机器人系统中安装Jupyter并进行交互式Python开发与调试。 |
2 |
|
数字图像处理基础（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
OpenCV简介 |
了解机器视觉与数字图像处理的基本内容，了解最常用的数字图像处理库OpenCV。 |
2 |
|
2 |
图像采集 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存。 |
2 |
|
3 |
图像生成 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，生成图像，并对图像进行操作。 |
2 |
|
4 |
图像滤波 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，实现图像的各种滤波操作。 |
2 |
|
5 |
图像变换 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行图像的平移旋转缩放等各类操作。 |
2 |
|
6 |
图像特征提取 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行图像的点特征和线特征提取。 |
2 |
|
7 |
图像的像素处理 |
在机器人的处理器中，开发OpenCV应用程序，进行图像的像素计算。 |
2 |
|
8 |
图像颜色空间 |
了解灰度，RGB，HSV等各种颜色空间，并在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行颜色空间转换。 |
2 |
|
9 |
形态学运算 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行对图像的腐蚀膨胀与开闭运算。 |
2 |
|
10 |
阈值处理与图像分割 |
了解图像二值化的原理，了解阈值分割的方法，在机器人的嵌入式AI处理器中基于图像像素颜色阈值进行分割。 |
2 |
|
机器人操作系统（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机器人操作系统入门 |
了解什么是ROS机器人操作系统，ROS的系统组成，ROS的运行原理，配置在个人PC上安装虚拟机，在虚拟机安装ROS操作系统，启动小乌龟，建立一个工作空间，创建一个功能包，实现一个ROS节点。 |
2 |
|
2 |
主题与消息 |
了解ROS的主题与消息机制，基于C++和Python实现主题与消息，实现自定义主题与消息。 |
2 |
|
3 |
服务Service |
了解ROS的服务机制，基于C++和Python实现服务的服务端与客户端，实现自定义服务。 |
2 |
|
4 |
参数与动态参数 |
了解ROS的参数机制，基于C++和Python实现参数的增、删、改、查。了解ROS中的高级功能-动态参数原理和运行机制，实现使用动态参数调节小乌龟运动速度。 |
2 |
|
5 |
动作Action |
了解ROS的动作机制，基于C++和Python实现动作的服务端与客户端，实现自定义Action。 |
2 |
|
6 |
ROS中的调试与仿真工具 |
了解ROS工具箱中的RViz工具与rqt工具，了解ROS的日志系统，掌握调试ROS程序的方法。在虚拟机中安装配置Gazebo仿真系统，在仿真中运行UPROS机器人模型。在仿真中运行机器人定位导航，体会ROS的功能。 |
2 |
|
7 |
机器人坐标与TF变换 |
理解机器人坐标系原理，熟悉TF变换工具，学会使用TF包，编写TF发布与接收程序。 |
2 |
|
8 |
机器人运动控制与轮式里程计 |
了解机器人双脑架构，了解机器人运动模型，在机器人中编写节点，控制机器人底盘运动，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
9 |
ROS与机器人定位导航 |
体验机器人的定位导航功能，了解SLAM与路径规划技术，编写一个节点，发布目标点控制机器人运动。 |
2 |
|
10 |
ROS与机器视觉 |
体验ROS系统中的机器视觉功能，编写程序订阅摄像头的信息，并控制机器人进行决策。 |
2 |
|
机器人感知传感（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
碰撞传感器 |
了解接触式碰撞传感器的工作原理，读取碰撞传感器的数据，学习并开发碰撞传感器ROS通讯接口，根据碰撞传感器实现障碍感知。 |
2 |
|
2 |
超声/TOF传感器 |
了解超声/TOF传感器的工作原理，读取超声/TOF传感器数据，学习并开发超声/TOF传感器通讯接口，根据传感器消息实现避障。 |
2 |
|
3 |
惯性测量单元传感器 |
学习惯性测量单元（IMU）的原理，通过IMU读取机器人当前的姿态，角速度，加速度，根据IMU数据控制机器人姿态。 |
2 |
|
4 |
激光雷达传感器 |
学习激光雷达的工作原理，对激光雷达数据进行滤波处理， 根据激光雷达数据进行避障。 |
2 |
|
5 |
视觉传感器 |
学习相机的工作原理，获取视觉信息并根据视觉信息控制机器人运动。 |
2 |
|
6 |
深度视觉传感器 |
学习深度相机的工作原理，处理深度图像与深度点云，对环境进行三维感知。 |
2 |
|
7 |
机器人轮式里程计 |
了解编码器的概念，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
8 |
多传感器融合-EKF里程计算 |
融合轮式里程计与IMU的信息，进行里程计的融合计算。 |
2 |
|
9 |
多传感器融合-激光SLAM |
融合轮式里程计与IMU信息，了解三者信息如何融合，利用激光SLAM技术感知机器人周围环境。 |
2 |
|
10 |
多传感器融合-协同避障 |
融合激光雷达与深度相机信息，激光雷达进行大范围障碍感知，深度相机进行眼前补盲，学习不同类型传感器在障碍感知的作用。 |
2 |
|
机器视觉与AI（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
视觉传感器 |
学习相机的工作原理，获取视觉信息并根据视觉信息控制机器人运动。 |
2 |
|
2 |
AprilTag识别 |
学习如何基于ROS图像提取AprilTag，辅助机器人进行视觉定位。 |
2 |
|
3 |
颜色识别 |
学习如何基于ROS图像提取颜色，进行颜色识别，并根据颜色进行交通灯识别与运动。 |
2 |
|
4 |
形状识别 |
学习如何基于ROS图像提取颜色，并根据颜色获取出的形状特征使用霍夫变换的方法提取特定的形状，对形状进行跟随。 |
2 |
|
5 |
视觉巡线功能 |
学习提取视野中的线条，并实现基于视觉的巡线功能。 |
2 |
|
6 |
人脸识别 |
学习如何基于ROS识别人脸，提取人脸特征，采集人脸信息，训练模型识别人脸。 |
2 |
|
7 |
表情识别 |
学习如何定位出人脸的多个特征点，并依据人脸特征，采用机器学习的方法识别表情，并作出对应动作。 |
2 |
|
8 |
手势识别与交互 |
学习MediaPipe框架，如何基于该框架识别手势控制机器人。 |
2 |
|
9 |
深度学习目标检测 |
了解深度学习与卷积神经网络，学习如何基于机器人的嵌入式AI芯片进行目标检测。 |
2 |
|
10 |
视觉传感器位姿估计 |
了解视觉SLAM的方法，学习如何基于视觉传感器估计机器人的移动。 |
2 |
|
机器人学（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机械臂关节控制 |
了解智能机械臂的工作原理，基于ROS接口驱动机械臂关节运动，基于ROS接口驱动机械臂夹爪开合。 |
2 |
|
2 |
机械臂关节校准 |
了解机械臂产生零偏误差的原理，标记机械臂关节零篇误差，实现机械臂关节校准功能。 |
2 |
|
3 |
机械臂正逆运动学解析 |
了解五自由度机械臂正逆运动学分析解算，测量机械臂各个关节，控制各个关节的角度，计算不同角度下机械臂末端的期望位置，并对实际位置进行测量计算误差，对机械臂进行逆运算计算。 |
2 |
|
4 |
机械臂YZ平面逆运算控制 |
根据末端位置进行YZ平面逆运算计算，并控制机械臂到达指定末端，与理论值对比思考误差产生的原因。 |
2 |
|
5 |
根据TOF传感器控制机械臂抓取 |
根据机械臂前方TOF传感器信息获取待抓取物块距离，根据逆运动学计算出各个关节角度，完成抓取与放置，调整参数增加成功率。 |
2 |
|
6 |
机械臂XYZ立体逆运算控制 |
根据末端位置进行XYZ立体环境的逆运算计算，并控制机械臂到达指定末端，与理论值对比思考误差产生的原因。 |
2 |
|
7 |
视觉感知抓取 |
根据机械臂前方的深度视觉传感器依据物块上的Tag信息获取待抓取物块的绝对位置，根据逆运动学计算出各个关节角度，完成抓取与放置。 |
2 |
|
8 |
连续感知分拣 |
根据机械臂前方的深度视觉传感器依据物块上的Tag信息获取待抓取物块的绝对位置，根据逆运动学计算出各个关节角度，完成连续分拣。 |
2 |
|
9 |
Moveit!配置 |
初步了解强大的ROS的机械臂功能包Moveit!，于Moveit!配置机械臂运动规划。 |
2 |
|
10 |
Moveit!编程 |
编写代码，实现指定关节、指定末端位置、指定动作组的运动规划与执行。 |
2 |
|
机器人定位导航（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
坐标系与坐标变换 |
理解机器人坐标系原理，熟悉TF变换工具，学会使用TF包，编写TF发布与接收程序。 |
2 |
|
2 |
机器人轮式里程计 |
了解编码器的概念，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
3 |
激光雷达 |
学习激光雷达的工作原理，对激光雷达数据进行滤波处理， 根据激光雷达数据进行避障。 |
2 |
|
4 |
MoveBase初探 |
初步了解强大的ROS定位导航功能包MoveBase，基于MoveBase配置机器人定位导航与路径规划系统。 |
2 |
|
5 |
MoveBase编程开发 |
了解MoveBase的通信接口，控制机器人移动到指定位置，实现通过MoveBase接口编程开发。 |
2 |
|
6 |
栅格地图 |
了解机器人SLAM系统的原理，学习概率栅格地图，了解如何发布和构建概率栅格地图。 |
2 |
|
7 |
激光雷达地图拼接 |
驱动激光雷达，基于激光雷达传感器与里程计拼接出概 率栅格地图。 |
2 |
|
8 |
地图构建与定位 |
使用Gmapping建立和保存地图； |
2 |
|
9 |
路径规划系统实验 |
了解机器人代价地图与路径规划系统原理，配置代价地图， 全局规划和局部规划器，实现简单的A*全局路径规划算法和DWA局部路径规划算法。编写一个简单的规划与控制器CoreMove，更深入的体会MoveBase的运行逻辑。 |
2 |
|
10 |
MoveBase插件机制学习与开发 |
了解MoveBase的插件机制，学习基于插件实现禁区虚拟墙、TEB 规划器、脱困恢复行为的功能。 |
2 |
|
机器人建模与仿真（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Gazebo环境搭建与基础操作 |
了解Gazebo的基本配置，Gazebo界面介绍与基本操作，建立Gazebo模型。 |
2 |
|
2 |
机器人建模 |
了解Urdf与Xacro语法，了解机器人的连杆与关节，搭建机器人模型，配置机器人模型参数。 |
2 |
|
3 |
激光雷达模型添加与参数配置 |
学习在机器人模型上，添加激光雷达，并配置传感器的参数和位置。 |
2 |
|
4 |
IMU模型添加与参数配置 |
学习在机器人模型上，添加IMU，并配置传感器的参数和位置。 |
2 |
|
5 |
视觉传感器模型添加与参数配置 |
学习在机器人模型上，添加视觉传感器，并配置传感器的参数和位置。 |
2 |
|
6 |
超声传感器 |
学习在机器人模型上，添加超声传感器，并配置传感器的参数和位置。 |
2 |
|
7 |
机器人运动控制 |
ROS通过Gazebo插件控制仿真场景中的机器人运动，编写机械臂驱动，在Gazebo中控制机械臂。 |
2 |
|
8 |
自定义机器人运动插件编写 |
编写全向移动插件，在Gazebo中实现全向移动机器人。 |
2 |
|
9 |
自定义模型开发 |
利用Gazebo的地形编辑工具和模型库，创建一个复杂的仿真环境，在场景中部署指定纹理。 |
2 |
|
10 |
仿真中的定位导航机器人 |
在自定义场景中加载自行搭建配置的机器人，部署在仿真场景中移动并完成任务。 |
2 |
|
机器人自对话大模型交互（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析当前机器人接入大模型的应用场景，剖析机器人接入大模型的技术路线和技能方法，了解如何通过ROS系统为机器人接入大模型，学会使用机器人开发。 |
2 |
|
2 |
机器人硬件驱动 |
在ROS环境下，开发节点驱动机器人运动，可控制机器人移动，控制机械臂运动。 |
2 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息。 |
2 |
|
4 |
机器人定位导航 |
调用机器人搭载的MoveBase框架，可编写节点发布Action实现机器人自主定位导航。 |
2 |
|
5 |
麦克风数据处理 |
调试并获取机器人上麦克风信息，使得麦克风接入ROS系统，可实现语音获取。 |
2 |
|
6 |
语音转文字 |
基于离线AI模型，实现ASR功能，读取麦克风的信息并转换为文字。 |
2 |
|
7 |
文字转语音 |
基于离线AI模型，实现TTS功能，将文字信息转化为语音信息并通过扬声器播放。 |
2 |
|
8 |
大模型问答 |
注册大模型AI工具，编写程序通过大模型API，调用Json实现智能问答。 |
2 |
|
9 |
语义理解 |
分析语音识别的文字，并提取其中的意图和序列，实现语音控制机器人。 |
2 |
|
10 |
大模型机器人集成 |
串联上述知识点，编写接口程序，实现可语音控制并语音交互的大模型接入机器人。 |
2 |
|
服务机器人综合实践-家用（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析当前家用机器人场景，以扫地机器人为案例，剖析家用机器人的的技术路线和技能方法，了解ROS在家用机器人领域的应用，学会使用机器人开发。 |
4 |
|
2 |
机器人硬件驱动 |
在ROS环境下，开发节点驱动机器人运动，可控制机器人移动，控制机械臂运动。 |
4 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息。 |
4 |
|
4 |
机器人建图与定位 |
使用Gmapping建立和保存地图； |
4 |
|
5 |
机器人导航 |
编写节点发布Action，机器人可在地图上标定点进行连续导航。 |
4 |
|
6 |
视觉系统调试 |
在ROS环境下，开发节点获取机器人摄像头信息，保存并处理图像，在图像上绘制标注信息。 |
4 |
|
7 |
AprilTag识别 |
在ROS环境下，使用摄像头识别AprilTag，并根据AprilTag获取的信息控制机器人导航到不同位置。 |
4 |
|
8 |
全覆盖路径生成 |
了解扫地机器人最常用的全覆盖路径规划技术，实现生成若干点位覆盖目标清洁区域。 |
4 |
|
9 |
业务逻辑串联 |
串联前面的各项技术，实现识别一个目标，自主导航到指定区域，并执行全覆盖路径规划。 |
4 |
|
10 |
多片路径清扫 |
在单流程基础上，实现多片清洁区域的串联，优化路径长度，在完成清扫任务同时，效率最高。 |
4 |
|
服务机器人综合实践-商用场景（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析当前商用机器人场景，以配送机器人为案例，剖析视觉移动抓取机器人的的技术路线和技能方法，了解ROS在商用机器人领域的应用，学会使用机器人开发。 |
4 |
|
2 |
机器人硬件驱动 |
在ROS环境下，开发节点驱动机器人运动，可控制机器人移动，控制机械臂运动。 |
4 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息。 |
4 |
|
4 |
机器人建图与定位 |
使用Gmapping建立和保存地图； |
4 |
|
5 |
机器人导航 |
编写节点发布Action，机器人可在地图上标定点进行连续导航。 |
4 |
|
6 |
视觉系统调试 |
在ROS环境下，开发节点获取机器人摄像头信息，保存并处理图像，在图像上绘制标注信息。 |
4 |
|
7 |
AprilTag识别 |
在ROS环境下，使用摄像头识别AprilTag，并根据AprilTag获取的信息控制机器人导航到不同位置。 |
4 |
|
8 |
视觉抓取调试 |
机器人通过AprilTag确定待抓取物体与机器人的位置关系，控制机械臂完成抓取与放置。 |
4 |
|
9 |
业务逻辑串联 |
串联前面的各项技术，实现导航到一个目标点，抓取待识别物体，并放置到指定位置。 |
4 |
|
10 |
连续任务串联 |
在单流程基础上，实现多个物体的联合抓取与投放，优化路径长度，在完成抓取投放任务同时，效率最高。 |
4 |
|
服务机器人综合实践-工业（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析当前工业用移动机器人场景，以复合AMR机器人为案例，剖析视觉移动抓取机器人的的技术路线和技能方法，了解ROS在工业机器人领域的应用，学会使用机器人开发。 |
4 |
|
2 |
机器人硬件驱动 |
在ROS环境下，开发节点驱动机器人运动，可控制机器人移动，控制机械臂运动。 |
4 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息。 |
4 |
|
4 |
机器人建图与定位 |
使用Gmapping建立和保存地图； |
4 |
|
5 |
机器人导航 |
编写节点发布Action，机器人可在地图上标定点进行连续导航。 |
4 |
|
6 |
视觉系统调试 |
在ROS环境下，开发节点获取机器人摄像头信息，保存并处理图像，在图像上绘制标注信息。 |
4 |
|
7 |
AprilTag识别 |
在ROS环境下，使用摄像头识别AprilTag，并根据AprilTag获取的信息控制机器人导航到不同位置。 |
4 |
|
8 |
视觉抓取调试 |
机器人通过AprilTag确定待抓取物体与机器人的位置关系，控制机械臂完成抓取与放置。 |
4 |
|
9 |
业务逻辑串联 |
串联前面的各项技术，实现导航到一个目标点，抓取待识别物体，并放置到指定位置。 |
4 |
|
10 |
连续任务串联 |
在单流程基础上，实现多个物体的联合抓取与投放，优化路径长度，在完成抓取投放任务同时，效率最高。 |
4 |
|
智能机器人建模仿真综合实践（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析仿真环节在机器人软件与算法开发、验证过程中的重大作用，学习ROS与仿真场景的结合，通过一个路径规划算法的实践案例，了解仿真算法联合开发流程。 |
4 |
|
2 |
机器人仿真启动 |
在ROS环境下，开发节点驱动仿真场景中的机器人运动，可控制机器人移动，控制机械臂关节运动，理解ROS的硬件驱动抽象。 |
4 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取仿真场景中机器人当前的各传感器通信接口，读取各传感器信息。 |
4 |
|
4 |
机器人建图与定位 |
在仿真场景中使用Gmapping建立和保存地图，使用AMCL在保存的地图上连续定位，使用坐标变换获取在地图上的位置。 |
4 |
|
5 |
机器人导航 |
编写节点发布Action，在仿真场景中机器人可在地图上标定点进行连续导航。 |
4 |
|
6 |
算法验证软件使用 |
了解算法验证软件的使用方法，了解算法验证软件如何通过算法判断路径规划轨迹的质量，了解算法验证软件如何支撑算法验证。 |
4 |
|
7 |
仿真接口开发 |
在仿真系统中，根据仿真接口和算法验证软件接口开发程序，使得算法可接入验证系统。 |
4 |
|
8 |
开发栅格法路径规划 |
通过栅格法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分。 |
4 |
|
9 |
开发深度优先搜索路径规划 |
通过路径优先搜索法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分。 |
4 |
|
10 |
扫描线法路径规划 |
通过扫描线法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分，思考几种算法得分不同的原因，并思考优化方法在验证系统中验证。 |
4 |
|
具身智能综合实践（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析具身智能技术使用场景，当前热点方向，了解如何结合ROS机器人操作系统开发具身智能应用，具身智能的概念、发展历程和应用领域。 |
4 |
|
2 |
ROS基础入门 |
ROS 的核心概念：节点、话题、服务、参数服务器，编写简单的 ROS 节点，实现节点之间的消息通信。 |
4 |
|
3 |
机器人平台介绍 |
机器人的机械结构和模块组成，机器人的传感器和执行器的工作原理，了解机器人的电气连接和通信接口，学习如何基于机器人处理器平台进行开发。 |
4 |
|
4 |
机器人感知与建模 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息，建立和保存地图，在保存的地图上连续定位使用坐标变换获取在地图上的位置。 |
4 |
|
5 |
机器人运动控制 |
编写 ROS 节点，实现机器人的基本运动控制，如前进、后退、转弯，计简单的轨迹规划算法，让机器人按照指定的路径运动。 |
4 |
|
6 |
机器视觉系统 |
采集深度传感器信息，获取深度图像和彩色图像，采集图像数据并保存在本地。 |
4 |
|
7 |
具身算法实践-上 |
在 ROS 环境下，使用强化学习算法训练机器人完成特定任务，如导航、抓取等。 |
4 |
|
8 |
具身算法实践-下 |
在 ROS 环境下，使用强化学习算法训练机器人完成特定任务，如导航、抓取等。 |
4 |
|
9 |
项目实践与小组讨论-上 |
根据机器人平台和 ROS 设计并实现一个具身智能项目，如自主探索、目标识别与抓取等。 |
4 |
|
10 |
项目实践与小组讨论-下 |
根据机器人平台和 ROS 设计并实现一个具身智能项目，如自主探索、目标识别与抓取等。 |
4 |
|
智能机器人拆装综合实践（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
智能机器人认知 |
分析模块化机器人的设计理念，了解安全规范，学习停止操作、电池管理、运动部件防护，了解调试工具。 |
4 |
|
2 |
硬件认知 |
学习底盘、主处理器、主控板、传感器模块、电机驱动、编码器、超声TOF传感器、接口。 |
4 |
|
3 |
底盘配置安装 |
差速、全向驱动原理、齿轮箱传动比计算、电路连接规范、电源分配、安装电机、编码器、减震结构，在底盘层安装嵌入式控制器调试底盘运动。 |
4 |
|
4 |
底盘传感器配置安装 |
在底盘层组装碰撞传感器，并配置ID，接入到嵌入式控制器，测试激光雷达信息，并安装在指定位置，激光雷达调平，安装支撑机构，记录测量记录激光雷达屏蔽角度。 |
4 |
|
5 |
机械臂配置安装 |
装配五自由度机械臂，机械爪，旋转云台，配置机械臂关节舵机ID，测试各关节运动性能。 |
4 |
|
6 |
核心层传感器安装配置 |
在核心层安装并配置超声TOF传感器，设置ID，安装并配置IMU，安装并配置深度相机，安装并测试语音模块。 |
4 |
|
7 |
AI处理器安装配置 |
机器人主处理器定义，使用特定软件给AI处理器烧录系统镜像，连接各项接口，点亮处理器，进入系统，可远程连接系统。 |
4 |
|
8 |
集成完成，测试各模块 |
将底盘层与核心层组装在一起，在AI处理器端测试各模块工作正常。 |
4 |
|
9 |
软件功能验证 |
在AI处理器端运行各个软件，测试定位导航，避障，视觉抓取等功能正常。 |
4 |
|
10 |
拆卸 |
将机器人恢复成模块化状态，并进行收纳管理。 |
4 |