智能配送无人机
题图:Drone in flight / Hayden Soloviev · Wikimedia Commons · CC BY 4.0(示意图,非本队设备)

智能配送无人机

上海市大学生工程实践与创新能力大赛 · 智能配送无人机赛项

成绩上海市特等奖 · 校赛一等奖 时间2022.10 - 2022.12 我的角色飞控与任务流程 · 设定点调试

代码仓库 ↗ Star

比赛任务与评分规则

赛题要求在不碰障碍、不丢目标的前提下,让无人机自主完成“越障 → 识别 → 投放”的一整套动作。

场地:起(终)点与投放区 A、B、C 分居场地四角。A 区为靶环图案,考验投放精度;B、C 区为不同图案,需要用视觉手段识别。起点与 A·B 中点之间有建筑物,B 至 C 的连线上有灯柱。障碍物位置与图形顺序现场抽签,且 B 点至 C 点之间的灯柱可在 ±500 mm 内变动,用来防止“伪自控”(纯按时间开环跑脚本)。

物料:圆锥 + 球冠组合体,球冠直径 60 mm、底部截面 50 mm、总高 65 mm(限高 70 mm)。相比圆柱体,重心更低、落地不易侧倾、受气流影响更小。

流程:装货固定 → 统一指令起飞并开始计时 → 按顺序把货物投放到 A、B、C 区(每个区只有一次投放机会)→ 投放 B、C 区时必须越障 → C 区完成后返航降落,停止计时。

评分要点:

  • 每正确越过一个障碍 +5 分;
  • A 区按落点与靶心的偏差计分,B、C 区按落区计分;
  • 规定时间内返回起降区 +3 分;
  • 物料必须竖直放置,倾倒不得分;
  • 按控制方式设权重系数(自主程度越高系数越高);
  • 每队两轮,每轮 5 分钟(第一轮调试 5 分钟、第二轮调试 3 分钟),各占 50%,取最好成绩;
  • 运行中停止 20 秒即结束本轮;一旦开始运行不得再接触机器人;触碰安全网或障碍物即比赛结束。
赛项场地与分区(命题文档附图):4000 × 4000 的场地,左上 A 区是 Ø500 靶环,右侧 B、C 区用图案区分,底部 600 × 600 是起降平台。
赛项场地与分区(命题文档附图):4000 × 4000 的场地,左上 A 区是 Ø500 靶环,右侧 B、C 区用图案区分,底部 600 × 600 是起降平台。

投放机构:全包裹式载物仓,四个标准亚克力棒 + 两个外圆环装配,大面积镂空减重;舱底每个货舱架设独立舵机,舵机臂抵住物料使其在飞行中相对静止。收到投放指令后舵机臂转动,物料垂直滑落,载物仓随飞机继续飞行、可循环使用。

技术方案

硬件

部件型号 / 说明作用
飞控PX4(QGroundControl 配置与校准)姿态/位置控制,OFFBOARD 模式接受外部位置设定点
伴飞计算机NVIDIA Jetson Nano(aarch64 Ubuntu)跑 ROS 节点:MAVROS、视觉识别、串口投放
定位相机Intel RealSense T265VIO 定位,经 vision_to_mavros 转成 /mavros/vision_pose/pose 提供给飞控
下视相机Jetson CSI 相机(nvarguscamerasrc)俯视靶环/图案,做圆心/方块识别
执行机构Arduino Uno + 3 路舵机接收串口单字节指令,驱动货舱舱门投放
地面站笔记本 + VMware Ubuntu 虚拟机SSH 进 Nano,运行控制台与 QGC
网络手机热点 / 路由器组建局域网Nano ↔ 地面站 ↔ QGC 的 ROS 通信

软件架构

机上(Nano)与地面站分两个 launch 启动,通过 ROS 网络(ROS_MASTER_URI)跨机器通信:

                    ┌─────────────────── Jetson Nano ────────────────────┐
  PX4 飞控  ⇄ MAVROS ┤                                                     │
                    │  realsense2_camera (T265) → vision_to_mavros        │
                    │        └→ /mavros/vision_pose/pose  → 飞控 EKF       │
                    │                                                     │
                    │  cam.py (CSI) → /camera/rgb/image_raw               │
                    │        └→ cycle_detect_new_node → /circle_center    │
                    │  test.cpp (serial) ← /servo  → /dev/arduino → 舵机  │
                    └─────────────────────────────────────────────────────┘
                                     ↕  ROS 网络
                    ┌──────────────── 地面站 ─────────────────────────────┐
                    │  com_node       主任务状态机(航点 / 下降 / 投放)   │
                    │  send_info_node 20 Hz 持续发设定点,防飞控掉出 OFFBOARD│
                    │  set_mode_node  交互式切模式 / 解锁                  │
                    │  showinfo_node  打印状态、位置、速度、姿态            │
                    │  servo_control_node 手动触发舵机                    │
                    └─────────────────────────────────────────────────────┘
室内试飞现场:地面站终端里跑着主控与状态打印,飞机在空地上做定高与悬停测试。
室内试飞现场:地面站终端里跑着主控与状态打印,飞机在空地上做定高与悬停测试。

飞行任务状态机(com_node)

com.cpp 是比赛主程序,按航点顺序执行“升 → 平飞 → 降落 → 投放 → 再升”:

1. 等待 MAVROS 连接
2. 从 stdin 读入航点个数与各点 (x, y),z 统一用参数 desire_z
3. 等待飞控进入 OFFBOARD 且已解锁(由 set_mode_node 手动触发)
4. 对每个航点:
     fly_high()  从 0.3 m 起以 change 为步长逐步抬升到 desire_z
     fly_to()    以 change 为步长逼近目标点,三轴误差均 ≤0.15 m 视为到达
     landing()   以 change 为步长下降到地面,速度 <0.1 m/s 且高度 <0.1 m 视为落地
     unload()    等高度 <0.2 m → 位置保持 3 s → 发 /servo 序号 → 再保持 2 s
5. 全部完成 → 切 AUTO.LAND → 上锁

几个关键实现细节:

  • 逐步逼近而不是直接发目标点:add_target() 每周期只把设定点往目标挪 change(0.02~0.05 m),避免设定点跳变导致姿态剧烈抖动。
  • send_info_node 是安全网:未解锁或不在 OFFBOARD 时以 20 Hz 持续发布速度设定点,保证解锁瞬间飞控不会因为“无设定点”而拒绝进入 OFFBOARD。
  • 视觉修正只作用一次:node_flyput.cpp 的 is_ready() 把 /circle_center 的偏差累加到落点上;这是“盲走 + 视觉纠偏”的简化方案。

视觉识别

两套基于 OpenCV 轮廓几何的检测器,思路一致:用“周长² / 面积”这个无量纲量判断形状,不需要模板和训练。

目标判据文件
圆形(靶环)C²/(4A) ≈ π,容差 0.4offb/src/cycle_detect_new.cpp
正方形C²/A ≈ 16,容差 2src/square_detect.cpp

处理流程:

bilateralFilter 双边滤波(去噪但保边)
  → Canny(24, 144) 边缘
  → 闭运算 9×9(融合断边)→ 开运算 3×3(去亮点噪声)
  → findContours → 按上述判据筛选轮廓
  → 取半径最小 / 面积合格者的轮廓矩质心 (m10/m00, m01/m00)
  → 像素偏差 (480-x, 270-y) 代入针孔模型换算成米

像素偏差到实际偏差的换算(cx = 480, cy = 270 为 960×540 图像中心):

Δx = e_y · S_x · z / (W · f_x)
Δy = e_x · S_y · z / (H · f_y)

其中 S_x=3.2、S_y=2.4(传感器尺寸 mm),f_x=4.476、f_y=5.96(标定焦距),z 取当前飞行高度。结果封装成自定义消息 offb/Circle{float32 circle_x, circle_y} 发布到 /circle_center。

投放机构串口协议

test.cpp 是 ROS → Arduino 的桥,订阅 /servo(std_msgs/UInt8),按单字节下发:

字节含义
1 / 2 / 3打开对应的 1 / 2 / 3 号货舱舵机
6还原全部舵机(节点退出时也会补发一次)
其他忽略

串口默认 /dev/arduino(可用 throw_serial_port 参数改成 /dev/ttyACM0),波特率 9600。/dev/arduino 是靠 udev 规则固定出来的别名,避免 USB 插拔后端口在 ttyACM0/ttyACM1 之间跳变。

网络与地面站

Nano 与地面站各自在 ~/.bashrc 里导出 ROS_MASTER_URI / ROS_IP,并在 /etc/hosts 里互加主机名,才能跨机器跑 ROS。QGC 通过 MAVROS 的 gcs_url 参数(udp-b://@<地面站IP>)与飞控建立链路。这部分完整步骤(含静态 IP、DHCP 自动分配、截图)在仓库的 02_技术文档/ROS启动与联网/ros启动/。

代码详解

工作空间位于 03_代码/ros_ws/,src/ 下有 5 个包:

包来源说明
offb本项目主要工作(基于 XTDrone / px4_command 的 offboard 框架改写)飞控控制、视觉识别、串口投放
common/msgs(包名 offb_msgs)同上,配套消息定义offb 依赖的 DroneState、AttitudeReference 等消息
vision_to_mavros第三方 thien94/vision_to_mavrosT265 VIO → /mavros/vision_pose/pose
realsense-ros第三方 IntelRealSense(realsense2_camera 2.3.2)T265 驱动
ddynamic_reconfigure第三方(kinetic-devel 分支,0.4.1)动态参数,vision_to_mavros 的依赖

offb 包中被编译的节点

offb/CMakeLists.txt 里实际 add_executable 的目标:

可执行文件源文件作用
offb_nodesrc/offb.cpp通用多点 offboard 示例:stdin 输入航点后逐点飞行、末段速度下降落地
com_nodesrc/com.cpp比赛主程序:读航点 → 升 → 平飞 → 降 → 投放,循环
node_flyput_nodesrc/node_flyput.cpp单点定投:盲飞到固定点 + /circle_center 纠偏后降落投放
cycle_detect_new_nodesrc/cycle_detect_new.cpp圆(靶环)检测,发布 /circle_center
send_info_nodesrc/send_info.cpp未进入 OFFBOARD 时持续发设定点,防掉模式
set_mode_nodesrc/set_mode.cpp键盘状态机:0=Arm 1=TAKEOFF 2=OFFBOARD 3=LAND 4=POSCTL 5=MISSION 6=LOITER 7=Disarm
showinfo_nodesrc/showinfo.cpp终端打印连接/解锁/模式/位置/速度/四元数
test_nodesrc/test.cpp串口桥:/servo → Arduino,驱动舵机投放
servo_control_nodesrc/servo_control.cpp手动输入 1/2/3/6 触发舵机
mission_nodesrc/mission.cpp空壳(只打印 Hello world),占位

未被编译的文件(历史遗留 / 草稿)

文件状态
src/square_detect.cpp(在 src/ 根目录,不属于任何包)方块检测版本,与圆检测同架构,发布 /square_center;未加入 offb 的 CMake,需手动加 target 才能编译
src/cycle_detect_new_10_26.cpp10/26 版本,用 desire_z 参数代替实时高度
src/landing_quadrotor.cpp + include/landing_quadrotor.h基于 ArUco 的精准降落 PID,CMake 中已整段注释;依赖的 offb/ArucoInfo.msg 并不存在,无法直接编译
src/takeoff_test.cpp直接发 ActuatorControl 推力起飞测试(take_off_test.launch 引用的 takeoff_node 也没有对应 target)
src/fly.cpp只写了一半的草稿,语法不完整,不能编译
include/auto_2d_nav.h、include/math_utils.h、include/px4_control_cfg.h、include/state_from_mavros.h从 px4_command / XTDrone 摘出的通用工具与状态订阅库

launch 文件

launch跑在哪组合
remote_uav.launchNanomavros/px4.launch + rs_t265.launch + t265_tf_to_mavros.launch + 串口 + cam.py + cycle_detect_new_node
remote_station.launch地面站send_info + com_node + showinfo + set_mode + servo_control
remix.launch地面站send_info + node_flyput_node(单点定投)+ showinfo + set_mode + cam.py + cycle_detect_new_node
com.launch / com_test.launch地面站com_node + 串口 + 舵机控制;com_test 把设定点话题 remap 到 /fuckoff 做隔离测试
control.launch地面站只跑主控 + 显示 + 模式切换 + 串口(desire_z=2)
condition_remix.launch—只跑相机 + targetring_write.py,纯视觉调试
test_serial.launch / take_off_test.launch / test.launch—串口、起飞、最小节点的单点测试

desire_z(巡航高度)在不同 launch 里是 0.5 / 1.0 / 1.4 / 2.0 / 5.0 m——按不同场地与调试阶段改的,上机前必须确认当前用的是哪个值。

Python 脚本

脚本作用
cam.pyJetson CSI 相机 GStreamer 管线(nvarguscamerasrc → 960×540 BGR)发布 /camera/rgb/image_raw
targetring_write.pyHoughCircles 原型,只打印像素偏差
new_target.pyHoughCircles 原型,直接发布 offb/Circle
multirotor_communication.py来自 XTDrone 的多机通信/设定点封装(未在比赛中使用)
multirotor_keyboard_control.py来自 XTDrone 的键盘遥控(未在比赛中使用)

如何复现

环境

  • Jetson Nano:Ubuntu 18.04 + ROS Melodic + OpenCV 4(CMakeLists.txt 硬编码了 /usr/lib/aarch64-linux-gnu/cmake/opencv4)
  • 地面站:Ubuntu(虚拟机即可)+ ROS Melodic
  • 依赖:mavros、mavros_msgs、cv_bridge、image_transport、serial、Eigen3、realsense2_camera、librealsense2

编译

cd 03_代码/ros_ws
catkin_make
source devel/setup.bash

第三方包中 realsense-ros 和 ddynamic_reconfigure 保留了各自的 .git,版本与 2022 年现场一致;vision_to_mavros 是直接拷入的源码。

启动顺序

  1. Nano:roslaunch offb remote_uav.launch
  2. 观察终端里的位置信息是否随手动移动而同向同幅变化(T265 定点是否正常)。位置抖动、数据为 0 或更新迟缓 → 不要起飞。
  3. 把飞机放回物理原点,确认 x/y/z 三轴都接近 0(小数点后两位)。
  4. 地面站:roslaunch offb remote_station.launch,会弹出 5 个终端。
  5. 在模式切换终端输入 2(切 OFFBOARD),再输入 0(Arm)。
  6. 在航点终端按提示输入航点数量与 x/y 坐标。
  7. 投放:自动(com_node 流程里 unload() 会发 /servo)或手动在舵机终端输入 1/2/3/6。

安全须知

  • 解锁后必须在 5 秒内切到 OFFBOARD,否则飞控会自动上锁导致起飞失败;不要用 AUTO.TAKEOFF。
  • 飞行时至少 3 人在场:1 人握遥控器、1 人操作地面站、1 人准备手接。
  • 异常(抖动过大、高度过高、冲向人群)→ 立即拨 emkill 开关(遥控器通道 9,右上角 B 开关),断电前不要拨回。
  • 校准电调时必须卸下螺旋桨。
  • 修改 desire_z 等参数后必须 catkin_make 重新编译才会生效。

已知问题与历史遗留

这些是归档时保留的原样问题,没有修改代码,仅记录以免后面踩坑:

  1. offb/CMakeLists.txt 末尾 install(TARGETS ...) 的目标列表被整段注释掉,只剩下 ARCHIVE/LIBRARY/RUNTIME DESTINATION。catkin_make 默认不执行 install,所以当年没影响;若要 catkin_make install,建议先把这段删掉。
  2. offb 依赖 offb_msgs,而它由 src/common/msgs 提供——编译顺序上 common 必须先于 offb(catkin_make 一般能自动处理;若只编单包,用 catkin_make --only-pkg-with-deps offb)。
  3. remote_uav.launch 里的串口默认是 /dev/ttyACM0,remix.launch / com.launch 用的是 udev 别名 /dev/arduino,两台机器上要分别配好。
  4. landing_quadrotor.cpp 依赖的 offb/ArucoInfo.msg 不存在,take_off_test.launch 引用的 takeoff_node 也没有编译目标——这几个是半成品,不要直接 roslaunch。
  5. 视觉部分的焦距 fx=4.476 / fy=5.96 和传感器尺寸是按当时那台 CSI 相机标定的,换相机必须重新标定。
  6. 检测代码用 (0, 0) 作“没检测到”的哨兵值:圆检测里靠 min_radius < 8192 判断是否找到轮廓,方块检测里靠中心是否为 (0,0)。没有多帧一致性校验或置信度过滤——画面里出现一个符合判据的干扰轮廓,就会立刻把它的偏差发给飞控。

资料目录索引

drone/
├── README.md                      仓库说明
│
├── 01_竞赛材料/                    154 MB / 18 个文件
│   ├── 规则与赛题/                 市赛第二轮通知、补充通知、各赛道评分规则、命题文档模板
│   ├── 参赛文档/                   答辩PPT、场景设置与任务命题文档
│   ├── 答辩与比赛视频/              预答辩.mp4、飞行测试.mp4
│   ├── 奖状/                      校赛一等奖奖状.jpg
│   └── 物料与结构/                 wuliao.stl(物料三维模型)
│
├── 02_技术文档/                    57.5 MB / 26 个文件
│   ├── 操作手册/                   无人机操作说明 0925/0928/1004/1006 四版、地面站连接配置、emkill 截图
│   └── ROS启动与联网/ros启动/      联网配置截图、ROS 启动命令、路由器连接说明
│
├── 03_代码/ros_ws/                102.6 MB / 253 个文件(catkin 工作空间)
│   └── src/{offb, common, vision_to_mavros, realsense-ros, ddynamic_reconfigure}
│
├── 04_联调录屏/                   3.4 GB / 16 个文件(含索引与校验和)
├── 05_项目管理课程/                916 MB / 72 个文件
└── 06_归档/                       6.1 MB
    ├── offb_1015_twodetect.zip    10/15 的旧快照
    └── offb-2022-10-28变体/        废纸篓里 3 个与现行版本不同的文件

联调录屏是当时每次调完随手存的,前缀就是自评结果:[final](最终版,483 MB,最完整的一段)、[right](定点/识别结果正常)、[useful](有参考价值的中间过程)、[nodetected](当时没检测到目标)、[fail](失败记录)。14 段录屏共 26 分钟,其中 7 段(1.71 GB)发布在 Release drone-2022,其余 7 段过程记录未公开。

项目管理课程部分

同一学期,我们把这套无人机配送项目当作项目管理课(法语授课)的小组课题,围绕它完成了 PM 的全套交付物:

目录内容
小组作业/group/GANTT.pod(GanttProject 甘特图)、风险管理 / 资源管理 / 进度安排 / 沟通管理四份 PPT、无人机物流服务问卷调查报告、过程版展示视频
小组作业/group/final/最终展示 PPT、提交版展示视频、宣传片、宣传单、海报
展示视频素材/每位组员分头录制的讲解片段与讲稿(narration-01..08)、宣传片素材与法语配音
周安排/五份周计划,按 SP1~SP6 分工到人,含截止时间

宣传片的法语文案把技术方案讲成了产品故事:支线运输、最后 1 公里、航空测绘识别、Jetson Nano 作协同计算机、T265 做避障与定位、QGC 校准监控。

参考资料

技术文章

01 无人机调试:Jetson Nano 与地面站的 ROS 组网 从 VMware 桥接、ifconfig 到 bashrc/hosts,记录 Nano 与地面站通过 ROS 通信的完整调试过程与现场截图。 02 20 Hz 的设定点:让 PX4 稳稳待在一个它以为该在的位置 OFFBOARD 模式的五个坑——为什么要持续发设定点、为什么设定点不能跳、为什么降落的目标高度是一个负数。 03 用轮廓几何认靶环:C²/(4A) ≈ π 的形状判据 双边滤波、Canny、闭开运算,再用一个无量纲量筛出圆和方块;以及为什么单帧判据在现场很危险。 04 17 个任务、8 个人、5 份周计划:无人机项目的项目管理课 同一学期的另一份交付物:WBS、甘特与 PERT、RACI、五份周计划、项目仪表盘,以及 211 份问卷给出的产品定位。

获奖证书

第十一届上海大学大学生工程训练综合能力竞赛 · 一等奖(2022.10)
第十一届上海大学大学生工程训练综合能力竞赛 · 一等奖(2022.10)
第十二届上海市大学生工程实践与创新能力大赛 · 智能配送无人机赛项特等奖(2022.12)
第十二届上海市大学生工程实践与创新能力大赛 · 智能配送无人机赛项特等奖(2022.12)

相关技能

  • ROS
  • OpenCV
  • C++
  • 项目管理