随着大说话模型与视觉说话模型逐步展示出壮大的理解、推理与工作规划能力，若何在保障实时性、可验证性与工程可部署性的前提下，将高层语义决策不变地传递到规划与节造层，成为具身智能系统迈向真实落地的一项关键挑战。 针对这一问题，丽江市大数据钻研院、香港中文大学（丽江）、中国科学院丽江先进技术钻研院、澳门大学钻研团队在论文“Bridging Large-Model Reasoning and Real-Time Control via Agentic Fast-Slow Planning”提出了Agentic Fast-Slow Planning（AFSP）分层框架，聚焦大模型推理与自动驾驶实季节造之间的“桥接”问题。 该框架主题思路是“快慢结合”：AFSP将感知、推理、规划与节造按功夫尺度解耦——大模型掌管慢速、高层的语义理解与决策，经典规划器掌管可诠释的长程轨迹天生，MPC节造器掌管急剧关环跟踪与安全执行。尝试数据验证了这条路的成效：在CARLA仿真场景中，AFSP相比纯MPC和A*疏导的MPC基线，展示出更强的鲁棒性与效能——最大横向误差最高降低约45%，工作实现功夫缩短超过12%。 近年来，大模型正逐步从“感知工具”演变为自主系统中的“推理引擎”。在自动驾驶中，它们有望承担复杂场景理解、风险判断与工作决策等高层认知工作。 然而，一旦持续向下延长到轨迹规划和底层节造，就会立即遇到一个主题矛盾：大模型能力强，但时延高、输出大局偏说话；节造与优化？樵虮匾脱映ぁ⒖裳橹ぁ⒖刹渴。 已有钻研重要沿着两条路线推动：一类尝试让大模型直接输出轨；蚪谠觳问，固然大局上“端到端”，但往往脆弱、难验证，也难以满足实时关环的工程约束；另一类则让大模型在线调整 MPC 指标或参数，在肯定水平上缓解了运行问题，却将慢速推理与急剧节造混在一路，依然没有真正回覆“高层语义若何不变影响中层规划”的问题。 也正因如此，“快慢思虑”框架的价值不仅在于把大模型从实时环路中解放出来，更在于成立一套跨层桥接逻辑：让慢速的大模型掌治理解和决策，让急剧的经典？檎乒苤葱，并通过清澈、可诠释的接口把两者衔接起来。AFSP 正是在这一思路下提出的。 若是直接把原始图像送入大模型，不仅推算开销高、带宽成本大，并且图像中还蕴含大量与驾驶决策无关的细节。为此，AFSP 选取一种越发 task-oriented 的暗示方式：先在端侧使用轻量化 VLM 提取交通场景中的拓扑图，仅保留车辆、阻碍物、距离、方位、相对关系蹬纂决策最有关的结构信息；再将这一紧凑的拓扑暗示送往云端，由 LLM 输出符号化驾驶决策，例如 LEFT、RIGHT、KEEP 以及相应驾驶风格。 这种做法的关键并不只是“压缩数据”，而是把视觉输入转换为更切近交通决策逻辑的中央暗示。它让大模型的推理聚焦于真正有关的结构关系，削减冗余视觉细节滋扰，也为下游规划层提供了清澈、可诠释的语义接口。 大模型天然善于输出说话，但并不善于直接给出长程、可执杏注可验证的轨迹。相较之下，VLA 或 VLN 类步骤固然可能输出参考轨迹，但性质上依然是在进建“轨迹自身”，在长程一致性、可诠释性与工程不变性方面仍存在挑战。AFSP 的思路不是要求 LLM 直接天生齐全轨迹，而是只保留其中真正有价值的“交通决策逻辑”，再将这些逻辑翻译为对经典规划算法有意思的启发式价值。 具体来说，AFSP 将 LLM 输出的语义决策注入 A* 规划器，以软约束（soft semantic cost）的方式影响搜索过程。这样做有两个益处：一方面，能够让天生轨迹朝着切合语义意图的方向偏置；另一方面，又预防把说话决策当作硬约束，从而保留经典搜索在几何可行性与鲁棒性上的优势；痪浠八，系统不是让大模型“代替”传统规划，而是让大模型以一种可落地、可诠释的方式“领导”传统规划。 仅有语义疏导还不够，经典规划算法在现实使用中往往还依赖大量经验性超参数。钻研团队观察到，分歧超参数会显著影响蹊径天生的行为：有的会导致作为过早产生，有的会造成语义不匹配，还有的会引入不用要的振荡。这意味着，即便桥接逻辑设计得再好，若是依然依赖人为反复调参，系统的可迁徙性与可部署性也会受到限度。 为此，AFSP 进一步引入 Agentic Refinement Module。该？榻柚竽Ｐ偷耐评砟芰，把“观察反馈—分析问题—调整参数—再次尝试”的人为调参流程自动化：系统会从云端影象中检索类似场景的初始参数配置，再凭据当前轨迹反馈迭代优化超参数，直到获得更相宜的规划了局。由此，AFSP 不仅让大模型参加高层决策，也让其参加规划器的自适应优化。 在 Perception2Decision 部门，团队首先验证拓扑暗示是否足以支持大模型决策。尝试了局批注，在一样提醒词下，基于拓扑图输入的 LLM 可能获得与 VLM 直接决策相近的了局，同时显著降低推理功夫：场景决策匹配得吩旖均达到 0.73，而均匀推理时延从 VLM 规划的 10.24 秒降低到 4.13 秒。 在 Decision2Trajectory 部门，团队调查了地图偏移与阻碍物扰动前提下的蹊径天生行为。了局显示，通常 A* 在环境产生轻微变动时，容易偏离预期决策语义；而引入语义疏导后，规划了局在 Shift 1、Shift 2、Shift 3 等分歧设定下仍能较好维持 left / keep / right 等高层交通意图，体现出更强的长程一致性与鲁棒性。 这也从另一个侧面验证了 AFSP 的桥接逻辑：大模型不用直接天生长程轨迹，只有把高层决策不变地翻译为中层规划中的价值偏置，就能够让经典搜索天然地天生更切合语义意图的蹊径。 在齐整系统层面，钻研团队将 AFSP 与纯 MPC 以及 A* + MPC 两个基线进行比力。尝试别离在正常地图和多种扰动地图下沉复发展，评价指标蕴含实现功夫、轨迹长度、均匀横向误差、速度颠簸和最大横向误差。了局显示，AFSP 在三种场景下均获得了更优或更稳重的阐发：均匀实现功夫相比纯 MPC 缩短约 12%，相比 A* 缩短约 11%；最大横向误差相比纯 MPC 降落约 45%，相比 A* 降落约 35%。 这批注，AFSP 不只是“设法新”，更沉要的是它在不就义传统优化步骤不变性与可部署性的前提下，真正把大模型的认知与推理能力系统性地融入了自主系统决策关环。 整体来看，AFSP试图回覆的并非“大模型能否领导具身智能实季节造”，而是“能否以工程可落地、系统可诠释的方式，使其真正具备这一能力”。相比直接让大模型收受底层节造，AFSP 选择了一条更稳重的技术路线：把大模型放在其最善于的认知与推理层，把经典算法放在其最善于的规划与节造层，再通过清澈的接口实现跨层桥接。 从这个意思上说，AFSP 不仅是一种具体步骤，也代表了一种面向真实自主系统的设计范式：先做结构化抽象，再做语义决策；先保留高层逻辑，再翻译为中层规划偏置；在此基础上结合反馈关环，实现持续自适应优化。未来，这一方向有望进一步推动大模型从“会说、会看”走向“能落地、可部署、可验证”的真实自主系统利用。 2024年本科毕业于北京邮电大学，现为香港中文大学（丽江）-丽江市大数据钻研院结合造就博士生。钻研方向为具身智能，聚焦快慢思虑架构下的大模型与底层节造算法协同系统设计。 朱光旭，国度级青年人才，丽江市大数据钻研院，网络与机械智能钻研中心常务副主任、钻研员，香港中文大学（丽江）客座副教授、博士生导师。重要钻研兴致蕴含：散布式机械进建，多模态感知，网络智能，具身智能等。现任IEEE TMC 与 TWC 等推算与通讯领域国际顶级期刊编委，IEEE 通讯学会青年专业委员会副主席，曾获IEEE通讯学会亚太区最卓越青年学者奖（年度亚太区唯一）以及最佳论文奖、中国通讯学会天然科学一等奖、吴文俊人为智能青年科技奖，浙江省天然科学二等奖，中国电子学会天然科学二等奖等荣誉，主持蕴含国天然青年科学基金（B类）及面青项目、国度沉点研发打算子课题、广东省基础钻研沉大项目课题、广东省青年拔尖人才等国度级省部级项目课题、以及华为，中移动、中国信通院等产研合作课题十余项。