RDK X3暴改机器人：手搓能爬楼的AI快递员会爬楼能唠嗑

随着城市化进程的加快，高楼越来越多，高层建筑的多层和高人口密度让物品配送变得复杂。虽然配送机器人可以解决“最后一公里”的问题，但现有的机器人主要依赖电梯跨楼层。电梯高峰时段效率低，且占用电梯资源，遇到没有电梯的楼宇更是束手无策。因此，既能搭电梯又能爬楼的配送机器人，正是市场上急需的创新。

一、项目介绍：

这款作品是基于 RDK X3开发板打造的跨楼层智能配送机器人，能轻松切换行驶模式和爬楼模式。配备可伸缩的爬楼轮结构，不论楼梯多陡或多窄，它都能“爬得上去”，跨层配送so easy！不仅如此，机器人还内建视觉识别和语音识别功能，可以和你“无声无息”地互动，快递送到手，连说话都能省力！——哈尔滨工程大学 碧海小队

二、创新点：

目前市场上的配送机器人依赖电梯跨楼层，还需要人工手动输入地址，这让配送变得既不高效又不智能。为了弥补这些不足，本作品着重解决了这些“老大难”问题：

1. 爬楼难题： 针对现有机器人无法爬楼梯的缺点，我们设计了一个四片分离式变形轮，电动推杆一拉一缩，轮毂翻转伸展，轻松上下楼梯。简直是机器人中的“楼梯小能手”！
2. 智能配送： 摆脱手动输入地址的繁琐，我们通过OCR、NLP、ASR技术，操作人员只需拍照或者说话，机器人就能自动获取配送地址。语音反馈当前任务信息，跟机器人聊天就能完成配送任务，人机交互走向“智慧时代”！
3. 路径规划： 通过激光雷达建图与障碍物检测，对A*算法进行了优化，提高了路径规划效率和质量，让机器人不再绕路而是“直达目标”。

三、原理分析 ：

变形轮

为了提高配送效率并避免占用电梯空间，机器人需要能够上下楼梯和行走。我们设计了可扩式四轮结构，结合电动推杆和电机的运动，使机器人能够轻松应对楼梯。

当需要爬楼梯时，电动推杆调整轮毂角度并向外扩张，提供支撑力；下楼时，轮毂自动调整，保持稳定。通过这种设计，机器人能适应不同楼梯的高度和角度，确保顺利完成楼层间的配送任务。

具体来说，每个移动单元由三篇分离式轮毂组成，为了应对不同高度和宽度 的楼梯，我们采用四杆机构，通过四杆机构的的运动调整轮毂伸缩的距离及角度。

上楼梯时：向里侧电动推杆施加正向电流，使得电动推杆伸长，通过左侧三 角板带动连杆向上运动，从而将轮毂翻转一定角度并向外扩张一定距离以适应楼 梯的高度和宽度。

下楼梯时：向外侧电动推杆施加反向电流，使得推杆收缩，通过右侧三角板 带动连杆向下运动，从而将轮毂反方向翻转一定角度并向外扩张一定距离以适应 楼梯的高度和宽度。

行走时：上侧电机通过皮带带动右侧轮毂及三角板一起旋转，从而使得机器 人向前运动

路径规划原理

A算法是一种启发式搜索算法，通过从起点开始扩展邻域节点，比较节点的代价值，选择代价最小的节点继续扩展，直到找到目标点，从而避开障碍物，找到最佳路径。传统的A算法存在节点过多、路径冗余以及不够平滑等问题，这不仅影响机器人的稳定性，还降低了路径规划的效率。我们做了以下优化。

1、传统的 A-star算法只考虑了距离问题，没有考虑环境地图上的许多实际因 素。因此 我们在传统 A*算法评价函数的基础上，通过引入节点到起始点和目标 点连线的夹角，对评价函数进行改进。

2、引入双向搜索策略。在大规模搜索空间下，传统的 A*算法采用的单向搜索策略存在搜索效率低 搜索节点数量多等问题。

当计算出的中间点位于障碍物内部时，无法有效搜索到起点和目标点，因此需要选择新的中间点。具体步骤如下：

1. 确定中间点的位置。
2. 在中间点处绘制一条水平线和一条竖直线。
3. 计算水平线和竖直线穿越障碍物的跨越长度。
4. 选择跨越长度较长的方向，并找出最早穿越障碍物的点。
5. 将最早穿越障碍物的点作为优化后的中间点。

3、去除冗余节点，在路径规划中，冗余节点可能导致内存占用过多和频繁调整机器人运动。为了解决这个问题，我们采用了一种路径优化方法来去除冗余节点。具体步骤如下：

1. 将起始点作为开始节点。
2. 沿路径预定方向逐一连接起始点与路径中的各个节点。
3. 如果连接线段与障碍物相交，保留相交节点的前一个节点，移除与该节点之间的所有节点，并继续连接后续节点。
4. 如果连接线段不与障碍物相交，直到目标点，保留目标点并移除起始点与目标点之间的节点。
5. 将保留的节点依次连接，形成优化后的路径。

人机交互部分

本项目的人机交互部分包括视觉识别和语音识别。首先，通过OCR技术识别配送单据并提取信息，再利用NLP技术获取最终配送地址。也可以通过语音指令下单，语音识别技术将语音转为文本，NLP技术提取出地址信息，并通过语音合成技术将地址反馈给操作员确认。

四、硬件系统设计 ：

4.1硬件选型

4.1.1 RoboMaster M2006本作品中，电机采用 RoboMaster M2006直流无刷电机，其作用主要是控制 机器人的移动，控制机器人运动到达指定位置并实时反馈运动状态信息。 RoboMaster M2006使用C610电调进行驱动，使用CAN通信协议发送接收数据， 电机内置位置传感器，实时反馈转子机械角度、转速和转矩等信息。

4.1.2电动推杆 在本作品中，一个变形轮需要两个电动推杆，电动推杆又有两种状态——伸 出和缩回。一根推杆的伸缩控制变形轮的变大程度，另一根推杆的伸缩控制变形 轮的旋转角度。作用是通过推杆的伸缩使轮子达到特定的扩大程度和旋转角度。

4.1.3 TFT-LCD触摸屏 在本作品中，LCD触摸屏的主要作用是显示经 RDK X3 分析处理后的配送 地址，取件码等信息。本作品采用的是正点原子 2.8寸的 TFTLCD液晶屏。

4.3硬件电路设计

本系统的硬件连接方式如下：树莓派负责读取相机图像数据和地图建模，并将里程计数据发送给STM32来控制机器人移动。RDK X3主要处理语音交互和视觉识别，并在屏幕和触摸屏上显示结果。STM32控制机器人的底盘运动，通过CAN总线控制电机转动，通过PWM波控制电动推杆的伸缩，并与树莓派实时通信，反馈机器人运动状态信息。

五、软件设计与流程

5.1建图与规划流程

SLAM建图使用三种地图：点云图、栅格图和八叉树地图。虽然激光雷达只能在二维场景中建图，但它具有较高精度和更远的建图范围，且受外界环境影响较小。路径规划中采用2D占用栅格图模式。激光雷达提供精确的二维信息，而深度相机提供三维信息。为了提高地图精度，本设计结合了激光雷达和RGBD相机的信息来建立栅格图，使用激光雷达和深度相机的融合数据，生成2D栅格地图，并与Cartgrapher算法建立的地图融合，得到最终的综合地图。

5.2人机交互流程 本项目的人机交互过程如图所示，通过视觉或语音方式识别出最终配送地点 并传输给树莓派作为最终导航地点。

5.3底盘控制软件流程 在本作品中，底盘控制采用 STM32单片机作为主控芯片，其程序结构图如 图所示。当机器人在运动的过程中，会不断检测前方是否有楼梯，没有检测到楼 梯，变形轮不变形维持原状；当检测到楼梯，根据测量的楼梯尺寸，STM32控制 变形轮变形到特定的扩大程度和旋转角度后，开始爬楼。

六、系统测试

6.1机械结构测试

验证机械结构可行性、操作稳定性及功能完备性。测试确认：

变形轮通过电动推杆伸缩实现轮毂角度与扩张距离调节，满足楼梯尺寸自适应需求。

结构设计合理，通过仿真与实际测试验证，可稳定完成爬楼与行走模式切换。

6.2目标检测测试

流程与结果：

数据集构建：采集图像并标注，转换为YOLOv5s适配格式（图片+txt）。

模型训练：基于YOLOv5s，训练后输出评估指标：

1. Precision: 0.6086
2. Recall: 0.5641
3. mAP@0.5: 0.5703
4. mAP@0.5:0.95: 0.3221

实测效果：成功检测目标，满足基础需求，但精度待优化。

5.3底盘控制测试

电动推杆：PWM控制精度达标，可精准调节变形轮扩张与角度。

里程计：STM32实时读取速度、加速度、位置信息，误差<5%。

结论：底盘控制稳定，满足多模式运动需求。

5.4 SLAM建图测试

方法对比：

激光雷达：建图范围广，但易受环境缝隙干扰。

RGBD相机：受光照影响，边界模糊。

融合方案：激光雷达+RGBD投影融合，生成高精度2D栅格地图，消除缝隙干扰，边界清晰。

5.5路径规划测试

改进A*算法（对比传统A*）：

搜索节点数减少30%，路径长度缩短15%，规划时间降低25%。

冗余节点去除后，路径平滑度提升，内存占用减少20%。

5.6人机交互测试

OCR+NLP：成功从虚拟配送单提取地址，准确率>85%。

ASR+NLP：语音指令中地址抽取准确率>80%，支持模糊语义（如“送到三号楼二层”）。

语音反馈：合成语音播报任务信息，用户可确认指令正确性。

关键结论

• 各模块功能均通过测试，满足跨楼层配送需求。
• 目标检测与路径规划精度待优化，可通过扩展数据集与算法调参进一步提升。

随着城市化进程的加快，高楼越来越多，高层建筑的多层和高人口密度让物品配送变得复杂。虽然配送机器人可以解决“最后一公里”的问题，但现有的机器人主要依赖电梯跨楼层。电梯高峰时段效率低，且占用电梯资源，遇到没有电梯的楼宇更是束手无策。因此，既能搭电梯又能爬楼的配送机器人，正是市场上急需的创新。

一、项目介绍：

这款作品是基于 RDK X3开发板打造的跨楼层智能配送机器人，能轻松切换行驶模式和爬楼模式。配备可伸缩的爬楼轮结构，不论楼梯多陡或多窄，它都能“爬得上去”，跨层配送so easy！不仅如此，机器人还内建视觉识别和语音识别功能，可以和你“无声无息”地互动，快递送到手，连说话都能省力！——哈尔滨工程大学 碧海小队

二、创新点：

目前市场上的配送机器人依赖电梯跨楼层，还需要人工手动输入地址，这让配送变得既不高效又不智能。为了弥补这些不足，本作品着重解决了这些“老大难”问题：

1. 爬楼难题： 针对现有机器人无法爬楼梯的缺点，我们设计了一个四片分离式变形轮，电动推杆一拉一缩，轮毂翻转伸展，轻松上下楼梯。简直是机器人中的“楼梯小能手”！
2. 智能配送： 摆脱手动输入地址的繁琐，我们通过OCR、NLP、ASR技术，操作人员只需拍照或者说话，机器人就能自动获取配送地址。语音反馈当前任务信息，跟机器人聊天就能完成配送任务，人机交互走向“智慧时代”！
3. 路径规划： 通过激光雷达建图与障碍物检测，对A*算法进行了优化，提高了路径规划效率和质量，让机器人不再绕路而是“直达目标”。

三、原理分析 ：

变形轮

为了提高配送效率并避免占用电梯空间，机器人需要能够上下楼梯和行走。我们设计了可扩式四轮结构，结合电动推杆和电机的运动，使机器人能够轻松应对楼梯。

当需要爬楼梯时，电动推杆调整轮毂角度并向外扩张，提供支撑力；下楼时，轮毂自动调整，保持稳定。通过这种设计，机器人能适应不同楼梯的高度和角度，确保顺利完成楼层间的配送任务。

具体来说，每个移动单元由三篇分离式轮毂组成，为了应对不同高度和宽度 的楼梯，我们采用四杆机构，通过四杆机构的的运动调整轮毂伸缩的距离及角度。

上楼梯时：向里侧电动推杆施加正向电流，使得电动推杆伸长，通过左侧三 角板带动连杆向上运动，从而将轮毂翻转一定角度并向外扩张一定距离以适应楼 梯的高度和宽度。

下楼梯时：向外侧电动推杆施加反向电流，使得推杆收缩，通过右侧三角板 带动连杆向下运动，从而将轮毂反方向翻转一定角度并向外扩张一定距离以适应 楼梯的高度和宽度。

行走时：上侧电机通过皮带带动右侧轮毂及三角板一起旋转，从而使得机器 人向前运动

路径规划原理

A算法是一种启发式搜索算法，通过从起点开始扩展邻域节点，比较节点的代价值，选择代价最小的节点继续扩展，直到找到目标点，从而避开障碍物，找到最佳路径。传统的A算法存在节点过多、路径冗余以及不够平滑等问题，这不仅影响机器人的稳定性，还降低了路径规划的效率。我们做了以下优化。

1、传统的 A-star算法只考虑了距离问题，没有考虑环境地图上的许多实际因 素。因此 我们在传统 A*算法评价函数的基础上，通过引入节点到起始点和目标 点连线的夹角，对评价函数进行改进。

2、引入双向搜索策略。在大规模搜索空间下，传统的 A*算法采用的单向搜索策略存在搜索效率低 搜索节点数量多等问题。

当计算出的中间点位于障碍物内部时，无法有效搜索到起点和目标点，因此需要选择新的中间点。具体步骤如下：

1. 确定中间点的位置。
2. 在中间点处绘制一条水平线和一条竖直线。
3. 计算水平线和竖直线穿越障碍物的跨越长度。
4. 选择跨越长度较长的方向，并找出最早穿越障碍物的点。
5. 将最早穿越障碍物的点作为优化后的中间点。

3、去除冗余节点，在路径规划中，冗余节点可能导致内存占用过多和频繁调整机器人运动。为了解决这个问题，我们采用了一种路径优化方法来去除冗余节点。具体步骤如下：

1. 将起始点作为开始节点。
2. 沿路径预定方向逐一连接起始点与路径中的各个节点。
3. 如果连接线段与障碍物相交，保留相交节点的前一个节点，移除与该节点之间的所有节点，并继续连接后续节点。
4. 如果连接线段不与障碍物相交，直到目标点，保留目标点并移除起始点与目标点之间的节点。
5. 将保留的节点依次连接，形成优化后的路径。

人机交互部分

本项目的人机交互部分包括视觉识别和语音识别。首先，通过OCR技术识别配送单据并提取信息，再利用NLP技术获取最终配送地址。也可以通过语音指令下单，语音识别技术将语音转为文本，NLP技术提取出地址信息，并通过语音合成技术将地址反馈给操作员确认。

四、硬件系统设计 ：

4.1硬件选型

4.1.1 RoboMaster M2006本作品中，电机采用 RoboMaster M2006直流无刷电机，其作用主要是控制 机器人的移动，控制机器人运动到达指定位置并实时反馈运动状态信息。 RoboMaster M2006使用C610电调进行驱动，使用CAN通信协议发送接收数据， 电机内置位置传感器，实时反馈转子机械角度、转速和转矩等信息。

4.1.2电动推杆 在本作品中，一个变形轮需要两个电动推杆，电动推杆又有两种状态——伸 出和缩回。一根推杆的伸缩控制变形轮的变大程度，另一根推杆的伸缩控制变形 轮的旋转角度。作用是通过推杆的伸缩使轮子达到特定的扩大程度和旋转角度。

4.1.3 TFT-LCD触摸屏 在本作品中，LCD触摸屏的主要作用是显示经 RDK X3 分析处理后的配送 地址，取件码等信息。本作品采用的是正点原子 2.8寸的 TFTLCD液晶屏。

4.3硬件电路设计

本系统的硬件连接方式如下：树莓派负责读取相机图像数据和地图建模，并将里程计数据发送给STM32来控制机器人移动。RDK X3主要处理语音交互和视觉识别，并在屏幕和触摸屏上显示结果。STM32控制机器人的底盘运动，通过CAN总线控制电机转动，通过PWM波控制电动推杆的伸缩，并与树莓派实时通信，反馈机器人运动状态信息。

五、软件设计与流程

5.1建图与规划流程

SLAM建图使用三种地图：点云图、栅格图和八叉树地图。虽然激光雷达只能在二维场景中建图，但它具有较高精度和更远的建图范围，且受外界环境影响较小。路径规划中采用2D占用栅格图模式。激光雷达提供精确的二维信息，而深度相机提供三维信息。为了提高地图精度，本设计结合了激光雷达和RGBD相机的信息来建立栅格图，使用激光雷达和深度相机的融合数据，生成2D栅格地图，并与Cartgrapher算法建立的地图融合，得到最终的综合地图。

5.2人机交互流程 本项目的人机交互过程如图所示，通过视觉或语音方式识别出最终配送地点 并传输给树莓派作为最终导航地点。

5.3底盘控制软件流程 在本作品中，底盘控制采用 STM32单片机作为主控芯片，其程序结构图如 图所示。当机器人在运动的过程中，会不断检测前方是否有楼梯，没有检测到楼 梯，变形轮不变形维持原状；当检测到楼梯，根据测量的楼梯尺寸，STM32控制 变形轮变形到特定的扩大程度和旋转角度后，开始爬楼。

六、系统测试

6.1机械结构测试

验证机械结构可行性、操作稳定性及功能完备性。测试确认：

变形轮通过电动推杆伸缩实现轮毂角度与扩张距离调节，满足楼梯尺寸自适应需求。

结构设计合理，通过仿真与实际测试验证，可稳定完成爬楼与行走模式切换。

6.2目标检测测试

流程与结果：

数据集构建：采集图像并标注，转换为YOLOv5s适配格式（图片+txt）。

模型训练：基于YOLOv5s，训练后输出评估指标：

1. Precision: 0.6086
2. Recall: 0.5641
3. mAP@0.5: 0.5703
4. mAP@0.5:0.95: 0.3221

实测效果：成功检测目标，满足基础需求，但精度待优化。

6.3底盘控制测试

电动推杆：PWM控制精度达标，可精准调节变形轮扩张与角度。

里程计：STM32实时读取速度、加速度、位置信息，误差<5%。

结论：底盘控制稳定，满足多模式运动需求。

6.4 SLAM建图测试

方法对比：

激光雷达：建图范围广，但易受环境缝隙干扰。

RGBD相机：受光照影响，边界模糊。

融合方案：激光雷达+RGBD投影融合，生成高精度2D栅格地图，消除缝隙干扰，边界清晰。

6.5路径规划测试

改进A*算法（对比传统A*）：

搜索节点数减少30%，路径长度缩短15%，规划时间降低25%。

冗余节点去除后，路径平滑度提升，内存占用减少20%。

6.6人机交互测试

OCR+NLP：成功从虚拟配送单提取地址，准确率>85%。

ASR+NLP：语音指令中地址抽取准确率>80%，支持模糊语义（如“送到三号楼二层”）。

语音反馈：合成语音播报任务信息，用户可确认指令正确性。

关键结论

• 各模块功能均通过测试，满足跨楼层配送需求。
• 目标检测与路径规划精度待优化，可通过扩展数据集与算法调参进一步提升。