核心发现
方法论
本文提出基于Hierarchical架构的多模态意图预测系统，结合视觉感知（MediaPipe检测手势、姿态、面部表情）和语音识别（Whisper），通过两层推理（感知推理与任务推理）利用五个LLMs（如GPT-4、GPT-3.5、Vicuna、Mistral）进行上下文理解和推断。系统将非语言线索转化为文本，结合环境状态和任务提示，利用LLMs的推理能力预测用户意图。核心算法包括ViLD目标检测、MediaPipe的关键点检测、Transformer基础的LLMs，采用零样本推理实现多模态融合。
关键结果
- 在150次对象分类试验中，GPT-4模型在任务理解阶段达到95%的准确率，整体意图预测准确率达92%，优于其他模型（如Vicuna和Mistral，准确率在33%-75%之间）。系统能有效结合手势、面部表情和语音线索，支持复杂交互场景。
- 模型在不同试验阶段表现出较强的稳定性，尤其在任务推理和意图理解中表现优异。GPT-4在类别推断和空间关系理解方面表现最佳，误差率低于8%。模型对模糊指令和多轮对话的适应性显著优于传统规则系统。
- 通过多模态融合，系统在实际机器人平台NICOL上实现实时意图预测，响应时间平均低于1秒，验证了其在动态人机交互中的实用性和鲁棒性。
研究意义
本研究突破了传统意图预测对单一模态依赖的局限，利用LLMs的强大推理和背景知识能力，有效融合视觉、语音和环境信息，极大提升人机交互的自然性和准确性。其创新架构为未来社交机器人实现更复杂、多样化的自主行为提供了技术基础，推动智能机器人在教育、医疗、服务等领域的应用落地。
技术贡献
提出结合多模态感知与大语言模型的Hierarchical推理架构，创新性地将视觉检测、面部识别、语音识别与LLMs融合，突破了现有机器人意图预测的模态限制。采用多模型融合策略，提升了系统的推理能力和鲁棒性，为多模态人机交互提供了新范式。引入零样本推理机制，显著降低了对大规模标注数据的依赖，增强了系统的泛化能力。
新颖性
首次在机器人意图预测中系统性引入多模态信息融合，利用多模型LLMs进行上下文推理，超越传统基于规则或单模态深度学习的方法。创新点在于Hierarchical架构设计，结合视觉、语音和环境信息，实现端到端的实时意图推断，显著提升交互的自然性和准确性。
局限性
- 模型对极端复杂场景或多用户同时交互的适应性有限，当前系统主要针对单一用户和有限模态环境，未来需扩展多用户、多模态的协同推理能力。
- 高性能模型（如GPT-4）在硬件资源和响应时间方面存在较高要求，实际部署中需优化模型压缩和推理效率，降低成本。
- 对环境变化和非标准线索的鲁棒性仍需提升，尤其在光线不足或遮挡情况下的感知准确性有待改进。
未来方向
未来将探索多用户多模态交互场景，增强模型的适应性和鲁棒性，结合强化学习优化机器人行为策略。同时，计划引入多模态融合的端到端训练框架，提升系统的自主学习能力，推动其在更复杂的实际应用中实现自主决策和协作。
AI 总览摘要
随着人工智能技术的飞速发展，社交机器人在日常生活中的应用日益广泛。实现自然流畅的人机交互，关键在于准确理解用户意图。传统方法多依赖单一模态或规则系统，难以应对复杂、多变的交互场景。本文提出一种基于Hierarchical架构的多模态意图预测系统，结合视觉、语音和环境信息，通过五个大语言模型（如GPT-4、GPT-3.5）实现上下文推理。系统利用MediaPipe检测手势、面部表情、姿态，结合Whisper语音识别，将非语言线索转化为文本输入，融合环境状态和任务提示，利用LLMs的推理能力预测用户意图。实验在NICOL机器人平台上进行，结果显示GPT-4模型在150次对象分类任务中达92%的准确率，优于其他模型。该系统不仅提升了意图预测的准确性，也增强了交互的自然性和鲁棒性，为未来智能机器人在教育、医疗、服务等领域的应用奠定了基础。未来工作将关注多用户、多模态环境的适应性，以及模型的实时响应和自主学习能力，推动人机协作迈向更高水平。整体而言，该研究为多模态人机交互提供了新思路，展现了大语言模型在机器人领域的巨大潜力。
深度解读
原文摘要
Human intention-based systems enable robots to perceive and interpret user actions to interact with humans and adapt to their behavior proactively. Therefore, intention prediction is pivotal in creating a natural interaction with social robots in human-designed environments. In this paper, we examine using Large Language Models (LLMs) to infer human intention in a collaborative object categorization task with a physical robot. We propose a novel multimodal approach that integrates user non-verbal cues, like hand gestures, body poses, and facial expressions, with environment states and user verbal cues to predict user intentions in a hierarchical architecture. Our evaluation of five LLMs shows the potential for reasoning about verbal and non-verbal user cues, leveraging their context-understanding and real-world knowledge to support intention prediction while collaborating on a task with a social robot. Video: https://youtu.be/tBJHfAuzohI