“智行-W2U”
配套的实验课程：《嵌入式Linux操作系统》、《机器人编程（C++）》、《机器人编程（Python）》、《数字图像处理基础》、《机器人操作系统》、《机器人感知传感》、《机器视觉与AI》、《机器人定位导航》、《机器人建模与仿真》、《语音大模型综合实践》、《具身智能综合实践》。
对应的竞赛：两个白名单大赛的4个项目，及一个机器人竞赛指数榜单大赛的2个项目。
“智行-W2U”是一款典型的两轮差分ROS机器人，配置多种高性能的传感器，具备自主移动机器人的各种核心功能。采用嵌入式AI处理器和嵌入式单片机控制器的双脑架构，AI处理器的核心是瑞芯微RK3588S芯片，具备8核的CPU和6TOPS等效AI算力的NPU，处理能力强大且均衡。配套仿真软件，提供外观一致，激光雷达、深度视觉相机、IMU、超声传感器、轮式里程计等传感器位置一致的仿真模型，配置多个仿真场景。AI处理器搭载机器人操作系统与各种传感器驱动软件，内置主流AI推理框架与预训练模型，既可以通过API直接获取AI推理结果，又可以通过代码加载预训练模型，还可以根据实验教程自己训练优化各种AI模型。
配套的实验课程大纲如下：
|
机器人嵌入式Linux操作系统（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Linux系统简介 |
为什么学习Linux，如何学习Linux，Linux特点，机器人与Linux的关系。 |
2 |
|
2 |
体验机器人上Linux |
使用图像采集卡或HDMI连接屏幕，连接外设，WIFI连接，介绍桌面功能。 |
2 |
|
3 |
体验Linux远程连接与终端 |
远程软件准备，配置电脑网络，终端初始体验，软件安装与卸载。 |
2 |
|
4 |
了解Linux命令行 |
打开终端，命令提示符，命令行体验，命令格式与帮助，常用命令。 |
2 |
|
5 |
用户与文件 |
了解用户与用户组，文件系统，chmod命令，操作Linux文件目录。 |
2 |
|
6 |
Linux系统下的机器人程序 |
通过Git管理程序，程序编译。 |
2 |
|
7 |
Vscode便捷调试开发 |
Vscode下载与配置使用，查询机器人IP地址，vscode远程连接机器人。 |
2 |
|
8 |
Makefile简介 |
了解编译工具，介绍MakeFile，使用MakeFile编译多个文件。 |
2 |
|
9 |
网络通信 |
了解网络通信在机器人软件中的应用，安装网络调试助手，了解Linux系统中的UDP通信，TCP通信，通过socket实现网络通信。 |
2 |
|
10 |
串口通信 |
了解串口通信在机器人系统中的应用，安装串口调试助手，了解Linux系统中的串口，与Windows主机进行通信。 |
2 |
|
机器人编程（C++）（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机器人中的C++ |
了解机器人中的C++应用，了解为什么C++是机器人很重要的开发语言。 |
2 |
|
2 |
C++编译原理 |
编译器，编译过程，CMake语法，使用IDE配置C++编译工程。 |
2 |
|
3 |
C++的数据结构 |
在机器人的处理器中，开发C++应用程序，学习C++中的变量，数组与数据类型。 |
2 |
|
4 |
C++的运算符 |
在机器人的处理器中，开发C++应用程序，学习C++中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
5 |
C++的控制结构 |
在机器人的处理器中，开发C++应用程序，学习if-else，while等各类控制结构。 |
2 |
|
6 |
C++的函数与指针 |
在机器人的处理器中，开发C++应用程序，学习并了解函数与指针。 |
2 |
|
7 |
C++的面向对象编程 |
在机器人处理器中，开发C++应用程序，学习并了解面向对象编程。 |
2 |
|
8 |
常用机器人C++库 |
C++中机器人开发常用的标准库，关联容器等知识。 |
2 |
|
9 |
C++进程管理 |
了解进程的概念，基于C++开发机器人程序进程。 |
2 |
|
10 |
C++线程管理 |
了解线程的概念，基于C++开发机器人程序多线程。 |
2 |
|
机器人编程（Python）（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Python简介 |
了解机器人中的Python应用，了解为什么Python是机器人很重要的开发语言，使用vscode配置Python开发环境。 |
2 |
|
2 |
Python数据结构 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习Python中的变量，数组与数据类型。 |
2 |
|
3 |
Python运算符 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习Python中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
4 |
Python的控制结构 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习if-else，while等各类控制结构。 |
2 |
|
5 |
Python的函数与指针 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习并了解函数与指针。 |
2 |
|
6 |
Python的面向对象编程 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习并了解面向对象编程。 |
2 |
|
7 |
常用机器人Python库 |
Python中机器人开发常用的标准库，如Numpy，MatPlotlib等知识，在机器人的嵌入式AI处理器中进行库的使用。 |
2 |
|
8 |
Python串口编程 |
了解Python的串口库pyserial，安装串口调试助手，了解Python如何调用系统中的串口，与Windows主机进行通信。 |
2 |
|
9 |
Python网络编程 |
了解Python的网络编程类socket，了解数据交换格式Json，安装网络调试助手，了解Python如何与Windows主机进行网络通信。 |
2 |
|
10 |
UI编程框架PyQt |
了解Python的UI编程架构PyQt，基于PyQt编写UI程序，查询机器人处理器信息。 |
2 |
|
11 |
环境管理工具Conda |
了解Python为什么要做环境隔离，在机器人系统中安装并使用环境包管理工具Conda。 |
2 |
|
12 |
交互式开发工具Jupyter |
了解Jupyter开发工具，在机器人系统中安装Jupyter并进行交互式Python开发与调试。 |
2 |
|
数字图像处理基础（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
OpenCV简介 |
了解机器视觉与数字图像处理的基本内容，了解最常用的数字图像处理库OpenCV。 |
2 |
|
2 |
图像采集 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存。 |
2 |
|
3 |
图像生成 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，生成图像，并对图像进行操作。 |
2 |
|
4 |
图像滤波 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，实现图像的各种滤波操作。 |
2 |
|
5 |
图像变换 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行图像的平移旋转缩放等各类操作。 |
2 |
|
6 |
图像特征提取 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行图像的点特征和线特征提取。 |
2 |
|
7 |
图像的像素处理 |
在机器人的处理器中，开发OpenCV应用程序，进行图像的像素计算。 |
2 |
|
8 |
图像颜色空间 |
了解灰度，RGB，HSV等各种颜色空间，并在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行颜色空间转换。 |
2 |
|
9 |
形态学运算 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行对图像的腐蚀膨胀与开闭运算。 |
2 |
|
10 |
阈值处理与图像分割 |
了解图像二值化的原理，了解阈值分割的方法，在机器人的嵌入式AI处理器中基于图像像素颜色阈值进行分割。 |
2 |
|
机器人操作系统（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机器人操作系统入门 |
了解什么是ROS机器人操作系统，ROS的系统组成，ROS的运行原理，配置在个人PC上安装虚拟机，在虚拟机安装ROS操作系统，启动小乌龟，建立一个工作空间，创建一个功能包，实现一个ROS节点。 |
2 |
|
2 |
主题与消息 |
了解ROS的主题与消息机制，基于C++和Python实现主题与消息，实现自定义主题与消息。 |
2 |
|
3 |
服务Service |
了解ROS的服务机制，基于C++和Python实现服务的服务端与客户端，实现自定义服务。 |
2 |
|
4 |
参数与动态参数 |
了解ROS的参数机制，基于C++和Python实现参数的增、删、改、查。了解ROS中的高级功能-动态参数原理和运行机制，实现使用动态参数调节小乌龟运动速度。 |
2 |
|
5 |
动作Action |
了解ROS的动作机制，基于C++和Python实现动作的服务端与客户端，实现自定义Action。 |
2 |
|
6 |
ROS中的调试与仿真工具 |
了解ROS工具箱中的RViz工具与rqt工具，了解ROS的日志系统，掌握调试ROS程序的方法。在虚拟机中安装配置Gazebo仿真系统，在仿真中运行UPROS机器人模型。在仿真中运行机器人定位导航，体会ROS的功能。 |
2 |
|
7 |
机器人坐标与TF变换 |
理解机器人坐标系原理，熟悉TF变换工具，学会使用TF包，编写TF发布与接收程序。 |
2 |
|
8 |
机器人运动控制与轮式里程计 |
了解机器人双脑架构，了解机器人运动模型，在机器人中编写节点，控制机器人底盘运动，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
9 |
ROS与机器人定位导航 |
体验机器人的定位导航功能，了解SLAM与路径规划技术，编写一个节点，发布目标点控制机器人运动。 |
2 |
|
10 |
ROS与机器视觉 |
体验ROS系统中的机器视觉功能，编写程序订阅摄像头的信息，并控制机器人进行决策。 |
2 |
|
机器人感知传感（16课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
碰撞传感器 |
了解接触式碰撞传感器的工作原理，读取碰撞传感器的数据，学习并开发碰撞传感器ROS通讯接口，根据碰撞传感器实现障碍感知。 |
2 |
|
2 |
超声/TOF传感器 |
了解超声/TOF传感器的工作原理，读取超声/TOF传感器数据，学习并开发超声/TOF传感器通讯接口，根据传感器消息实现避障。 |
2 |
|
3 |
惯性测量单元传感器 |
学习惯性测量单元（IMU）的原理，通过IMU读取机器人当前的姿态，角速度，加速度，根据IMU数据控制机器人姿态。 |
2 |
|
4 |
激光雷达传感器 |
学习激光雷达的工作原理，对激光雷达数据进行滤波处理， 根据激光雷达数据进行避障。 |
2 |
|
5 |
视觉传感器 |
学习相机的工作原理，获取视觉信息并根据视觉信息控制机器人运动。 |
2 |
|
6 |
机器人轮式里程计 |
了解编码器的概念，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
7 |
多传感器融合-EKF里程计算 |
融合轮式里程计与IMU的信息，进行里程计的融合计算。 |
2 |
|
8 |
多传感器融合-激光SLAM |
融合轮式里程计与IMU信息，了解三者信息如何融合，利用激光SLAM技术感知机器人周围环境。 |
2 |
|
机器视觉与AI（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
视觉传感器 |
学习相机的工作原理，获取视觉信息并根据视觉信息控制机器人运动。 |
2 |
|
2 |
AprilTag识别 |
学习如何基于ROS图像提取AprilTag，辅助机器人进行视觉定位。 |
2 |
|
3 |
颜色识别 |
学习如何基于ROS图像提取颜色，进行颜色识别，并根据颜色进行交通灯识别与运动。 |
2 |
|
4 |
形状识别 |
学习如何基于ROS图像提取颜色，并根据颜色获取出的形状特征使用霍夫变换的方法提取特定的形状，对形状进行跟随。 |
2 |
|
5 |
视觉巡线功能 |
学习提取视野中的线条，并实现基于视觉的巡线功能。 |
2 |
|
6 |
人脸识别 |
学习如何基于ROS识别人脸，提取人脸特征，采集人脸信息，训练模型识别人脸。 |
2 |
|
7 |
表情识别 |
学习如何定位出人脸的多个特征点，并依据人脸特征，采用机器学习的方法识别表情，并作出对应动作。 |
2 |
|
8 |
手势识别与交互 |
学习MediaPipe框架，如何基于该框架识别手势控制机器人。 |
2 |
|
9 |
深度学习目标检测 |
了解深度学习与卷积神经网络，学习如何基于机器人的嵌入式AI芯片进行目标检测。 |
2 |
|
10 |
视觉传感器位姿估计 |
了解视觉SLAM的方法，学习如何基于视觉传感器估计机器人的移动。 |
2 |
|
机器人定位导航（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
坐标系与坐标变换 |
理解机器人坐标系原理，熟悉TF变换工具，学会使用TF包，编写TF发布与接收程序。 |
2 |
|
2 |
机器人轮式里程计 |
了解编码器的概念，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
3 |
激光雷达 |
学习激光雷达的工作原理，对激光雷达数据进行滤波处理， 根据激光雷达数据进行避障。 |
2 |
|
4 |
MoveBase初探 |
初步了解强大的ROS定位导航功能包MoveBase，基于MoveBase配置机器人定位导航与路径规划系统。 |
2 |
|
5 |
MoveBase编程开发 |
了解MoveBase的通信接口，控制机器人移动到指定位置，实现通过MoveBase接口编程开发。 |
2 |
|
6 |
栅格地图 |
了解机器人SLAM系统的原理，学习概率栅格地图，了解如何发布和构建概率栅格地图。 |
2 |
|
7 |
激光雷达地图拼接 |
驱动激光雷达，基于激光雷达传感器与里程计拼接出概 率栅格地图。 |
2 |
|
8 |
地图构建与定位 |
使用Gmapping建立和保存地图； |
2 |
|
9 |
路径规划系统实验 |
了解机器人代价地图与路径规划系统原理，配置代价地图， 全局规划和局部规划器，实现简单的A*全局路径规划算法和DWA局部路径规划算法。编写一个简单的规划与控制器CoreMove，更深入的体会MoveBase的运行逻辑。 |
2 |
|
10 |
MoveBase插件机制学习与开发 |
了解MoveBase的插件机制，学习基于插件实现禁区虚拟墙、TEB 规划器、脱困恢复行为的功能。 |
2 |
|
机器人建模与仿真（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Gazebo环境搭建与基础操作 |
了解Gazebo的基本配置，Gazebo界面介绍与基本操作，建立Gazebo模型。 |
2 |
|
2 |
机器人建模 |
了解Urdf与Xacro语法，了解机器人的连杆与关节，搭建机器人模型，配置机器人模型参数。 |
2 |
|
3 |
激光雷达模型添加与参数配置 |
学习在机器人模型上，添加激光雷达，并配置传感器的参数和位置。 |
2 |
|
4 |
IMU模型添加与参数配置 |
学习在机器人模型上，添加IMU，并配置传感器的参数和位置。 |
2 |
|
5 |
视觉传感器模型添加与参数配置 |
学习在机器人模型上，添加视觉传感器，并配置传感器的参数和位置。 |
2 |
|
6 |
超声传感器 |
学习在机器人模型上，添加超声传感器，并配置传感器的参数和位置。 |
2 |
|
7 |
机器人运动控制 |
ROS通过Gazebo插件控制仿真场景中的机器人运动，编写机械臂驱动，在Gazebo中控制机械臂。 |
2 |
|
8 |
自定义机器人运动插件编写 |
编写全向移动插件，在Gazebo中实现全向移动机器人。 |
2 |
|
9 |
自定义模型开发 |
利用Gazebo的地形编辑工具和模型库，创建一个复杂的仿真环境，在场景中部署指定纹理。 |
2 |
|
10 |
仿真中的定位导航机器人 |
在自定义场景中加载自行搭建配置的机器人，部署在仿真场景中移动并完成任务。 |
2 |
|
机器人自然对话与大模交互（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析当前机器人接入大模型的应用场景，剖析机器人接入大模型的技术路线和技能方法，了解如何通过ROS系统为机器人接入大模型，学会使用机器人开发。 |
2 |
|
2 |
机器人硬件驱动 |
在ROS环境下，开发节点驱动机器人运动，可控制机器人移动，控制机械臂运动。 |
2 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息。 |
2 |
|
4 |
机器人定位导航 |
调用机器人搭载的MoveBase框架，可编写节点发布Action实现机器人自主定位导航。 |
2 |
|
5 |
麦克风数据处理 |
调试并获取机器人上麦克风信息，使得麦克风接入ROS系统，可实现语音获取。 |
2 |
|
6 |
语音转文字 |
基于离线AI模型，实现ASR功能，读取麦克风的信息并转换为文字。 |
2 |
|
7 |
文字转语音 |
基于离线AI模型，实现TTS功能，将文字信息转化为语音信息并通过扬声器播放。 |
2 |
|
8 |
大模型问答 |
注册大模型AI工具，编写程序通过大模型API，调用Json实现智能问答。 |
2 |
|
9 |
语义理解 |
分析语音识别的文字，并提取其中的意图和序列，实现语音控制机器人。 |
2 |
|
10 |
大模型机器人集成 |
串联上述知识点，编写接口程序，实现可语音控制并语音交互的大模型接入机器人。 |
2 |
|
服务机器人综合实践-家用场景（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析当前家用机器人场景，以扫地机器人为案例，剖析家用机器人的的技术路线和技能方法，了解ROS在家用机器人领域的应用，学会使用机器人开发。 |
4 |
|
2 |
机器人硬件驱动 |
在ROS环境下，开发节点驱动机器人运动，可控制机器人移动。 |
4 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息。 |
4 |
|
4 |
机器人建图与定位 |
使用Gmapping建立和保存地图； |
4 |
|
5 |
机器人导航 |
编写节点发布Action，机器人可在地图上标定点进行连续导航。 |
4 |
|
6 |
视觉系统调试 |
在ROS环境下，开发节点获取机器人摄像头信息，保存并处理图像，在图像上绘制标注信息。 |
4 |
|
7 |
AprilTag识别 |
在ROS环境下，使用摄像头识别AprilTag，并根据AprilTag获取的信息控制机器人导航到不同位置。 |
4 |
|
8 |
全覆盖路径生成 |
了解扫地机器人最常用的全覆盖路径规划技术，实现生成若干点位覆盖目标清洁区域。 |
4 |
|
9 |
业务逻辑串联 |
串联前面的各项技术，实现识别一个目标，自主导航到指定区域，并执行全覆盖路径规划。 |
4 |
|
10 |
多片路径清扫 |
在单流程基础上，实现多片清洁区域的串联，优化路径长度，在完成清扫任务同时，效率最高。 |
4 |
|
智能机器人建模仿真综合实践（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析仿真环节在机器人软件与算法开发、验证过程中的重大作用，学习ROS与仿真场景的结合，通过一个路径规划算法的实践案例，了解仿真算法联合开发流程。 |
4 |
|
2 |
机器人仿真启动 |
在ROS环境下，开发节点驱动仿真场景中的机器人运动，可控制机器人移动，控制机械臂关节运动，理解ROS的硬件驱动抽象。 |
4 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取仿真场景中机器人当前的各传感器通信接口，读取各传感器信息。 |
4 |
|
4 |
机器人建图与定位 |
在仿真场景中使用Gmapping建立和保存地图，使用AMCL在保存的地图上连续定位，使用坐标变换获取在地图上的位置。 |
4 |
|
5 |
机器人导航 |
编写节点发布Action，在仿真场景中机器人可在地图上标定点进行连续导航。 |
4 |
|
6 |
算法验证软件使用 |
了解算法验证软件的使用方法，了解算法验证软件如何通过算法判断路径规划轨迹的质量，了解算法验证软件如何支撑算法验证。 |
4 |
|
7 |
仿真接口开发 |
在仿真系统中，根据仿真接口和算法验证软件接口开发程序，使得算法可接入验证系统。 |
4 |
|
8 |
开发栅格法路径规划 |
通过栅格法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分。 |
4 |
|
9 |
开发深度优先搜索路径规划 |
通过路径优先搜索法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分。 |
4 |
|
10 |
扫描线法路径规划 |
通过扫描线法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分，思考几种算法得分不同的原因，并思考优化方法在验证系统中验证。 |
4 |
|
具身智能综合实践（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析具身智能技术使用场景，当前热点方向，了解如何结合ROS机器人操作系统开发具身智能应用，具身智能的概念、发展历程和应用领域。 |
4 |
|
2 |
ROS基础入门 |
ROS 的核心概念：节点、话题、服务、参数服务器，编写简单的 ROS 节点，实现节点之间的消息通信。 |
4 |
|
3 |
机器人平台介绍 |
机器人的机械结构和模块组成，机器人的传感器和执行器的工作原理，了解机器人的电气连接和通信接口，学习如何基于机器人处理器平台进行开发。 |
4 |
|
4 |
机器人感知与建模 |
在ROS环境下，开发节点获取机器人当前的各传感器通信接口，读取各传感器信息，建立和保存地图，在保存的地图上连续定位使用坐标变换获取在地图上的位置。 |
4 |
|
5 |
机器人运动控制 |
编写 ROS 节点，实现机器人的基本运动控制，如前进、后退、转弯，计简单的轨迹规划算法，让机器人按照指定的路径运动。 |
4 |
|
6 |
机器视觉系统 |
采集深度传感器信息，获取深度图像和彩色图像，采集图像数据并保存在本地。 |
4 |
|
7 |
具身算法实践-上 |
在 ROS 环境下，使用强化学习算法训练机器人完成特定任务，如导航、抓取等。 |
4 |
|
8 |
具身算法实践-下 |
在 ROS 环境下，使用强化学习算法训练机器人完成特定任务，如导航、抓取等。 |
4 |
|
9 |
项目实践与小组讨论-上 |
根据机器人平台和 ROS 设计并实现一个具身智能项目，如自主探索、目标识别与抓取等。 |
4 |
|
10 |
项目实践与小组讨论-下 |
根据机器人平台和 ROS 设计并实现一个具身智能项目，如自主探索、目标识别与抓取等。 |
4 |