论文标题：A Safer Vision-based Autonomous Planning System for Quadrotor UAVs with Dynamic Obstacle Trajectory Prediction and Its Application with LLMs

创新点

1. 融合动态障碍物轨迹预测的视觉规划系统：将动态障碍物的检测、跟踪与轨迹预测集成到规划系统中。
2. 轻量级深度学习检测器：采用NanoDet进行动态障碍物检测，提供丰富的语义信息。
3. B样条轨迹优化：结合A*算法和多种约束（如避障、速度、加速度）生成平滑安全的轨迹。
4. 与大语言模型（LLM）结合：探索LLM（如ChatGPT）在无人机控制中的应用，提升人机交互的友好性。

解决的问题

1. 动态环境中的避障难题：传统规划方法在静态环境中有效，但难以处理动态障碍物。
2. 计算资源限制：机载计算能力有限，需平衡效率与精度。
3. 交互复杂性：用户需专业编程知识控制无人机，LLM提供自然语言交互接口。

该系统通过整合感知、规划与人机交互三大模块，系统性地解决了动态环境下的无人机自主规划问题

一、动态障碍物避障难题的解决：

感知：使用RGB图像和深度数据，通过NanoDet检测动态障碍物，结合卡尔曼滤波进行跟踪和轨迹预测。

问题背景：传统规划器（如EGO-Planner）在静态环境中表现良好，但无法预测动态障碍物的运动轨迹，导致在行人速度超过0.8m/s时发生碰撞。
解决方案：

1. 轻量级检测与语义感知

   • 采用NanoDet轻量级神经网络检测动态障碍物，在RGB图像中提取2D区域（图2a），结合深度数据（图2b）生成3D信息。相比基于U-depth图的方法（图5e），NanoDet在障碍物与墙壁颜色接近时仍能稳定检测（成功率对比见图6）。

   • 通过匈牙利算法关联多帧检测结果，跟踪障碍物运动状态。

2. 轨迹预测与地图净化

   • 使用卡尔曼滤波（KF）估计动态障碍物在水平面的状态向量（位置、速度），通过运动模型（公式1-2）预测短期轨迹。
   • 从局部占据地图中动态移除障碍物点云（图2c），避免错误路径规划。

规划：基于B样条的轨迹搜索算法，通过A*生成初始轨迹，并优化约束条件。

3. 安全轨迹生成

   • 初始轨迹搜索：基于B样条曲线，将控制点搜索问题转化为图优化问题，采用A*算法生成初始轨迹（公式3），确保起点和终点约束。

   • 轨迹优化：构建包含碰撞成本（(E_{collision})）和平滑度成本（(E_{smoothness})）的优化函数（公式4），结合凸包碰撞检测（图3）和动力学约束（公式5），通过增强拉格朗日法和BFGS算法求解。

   • 优化后轨迹显著提升平滑性与安全性（图4），避免与动态障碍物相交。

二、计算资源限制的平衡

问题背景：机载计算机需同时处理感知、定位、规划等任务，对算法效率要求极高。
解决方案：

1. 高效算法选型

   • NanoDet检测器在保持高精度（位置误差0.14m）的同时降低计算负载。
   • KF预测器仅需线性计算，满足实时性要求（规划周期200ms）。

2. 模块化设计

   • 感知与规划模块解耦（系统框架图1），通过ROS实现数据同步，避免阻塞关键任务。

三、人机交互复杂性的简化

问题背景：用户需专业编程知识控制无人机，限制应用场景。
解决方案：

1. LLM驱动的自然语言交互

   • 用户通过语音输入任务（如“检测墙后人员”），Whisper模型转文本后，ChatGPT解析意图并生成可执行代码（图11a）。
   • 无人机反馈实时数据（如障碍物位置、任务进度），LLM转换为自然语言回复用户。

2. 任务分解与API集成

   • 预定义无人机基础控制API（起飞、转向、检测等），LLM组合API生成复杂任务逻辑（图11b）。
   • 在仿真环境中验证LLM指令执行效果（图12），如矩形轨迹规划与动态避障。

四、实验验证与性能优势

1. 动态避障性能

   • 在仿真走廊环境中（图5a），行人速度达1.7m/s时仍可避障（EGO-Planner极限为0.8m/s）。
   • 多行人场景（Scene II）成功率80%，显著优于基线（表3）。

2. 真实环境部署

   • 搭载RealSense D435i和NUC的无人机（图9）在室内场景（图10）成功实现提前绕行动态障碍物。

总结

论文通过感知-规划-交互三层创新：

• 感知层：轻量深度学习模型提升动态障碍物检测鲁棒性；
• 规划层：B样条轨迹优化结合动态预测保障安全性；
• 交互层：LLM桥接自然语言与底层控制，降低使用门槛。
  三者协同解决了动态环境避障、资源约束与交互复杂性三大挑战，为无人机在复杂场景中的自主飞行提供了完整解决方案。