玩家必知“斗牛房卡链接哪里买”链接房卡怎么充值

近日，由浙江人形机器人创新中心联合香港中文大学、浙江大学等多家高校与科研机构共同完成的机器人空间智能研究“Aretrieval-augmentedframeworkenablingVLMspatialawarenessforobject-centricrobotmanipulation”发表于国际顶级机器人学术期刊《ScienceRobotics》。该研究提出名为RAM（Retrieval-AugmentedManipulation）的三维空间理解与操作模型，为提升机器人在复杂长程任务中的操作可靠性提供了新的技术路径。

技术背景：大模型时代，机器人的空间智能难题

以视觉语言大模型（VLM）为代表的AI技术正在提升机器人理解自然语言指令和分解复杂任务的能力。但从“听懂指令”到“完成动作”之间，仍存在关键鸿沟：机器人需要在三维空间中理解物体的位置、朝向、尺度、可操作区域及相互关系，并将这些信息转化为可执行的运动约束。

现有大模型多依赖二维图文数据训练，缺乏直接的物理世界经验，在推理物体位姿和空间关系时容易产生不符合物理规律的判断。如何让模型获得可验证、可迁移的三维空间知识，并将高层语义规划与底层物理执行连接起来，是具身智能和机器人操作领域的重要问题。

研究成果：RAM框架，用“知识检索”让机器人读懂三维世界

针对这一挑战，RAM借鉴检索增强生成（RAG）的思想，为大模型配备可查询的外部三维知识库。机器人执行任务时，模型可以按需检索物体类别、几何属性、功能平面、抓取点等空间先验信息，从而弥补视觉语言模型自身三维空间理解不足的问题。与将知识隐含在模型参数中不同，RAM的空间知识更加显式、可解释，也便于扩展。

RAM框架整体流程示意图

RAM由三个模块组成。首先是物体类别级知识引擎，研究团队为每类物体建立标准化三维模板，并标注姿态、尺寸、对称性、抓取点和功能平面等信息。实验显示，这类模板可迁移到不同形状、尺寸和纹理外观的同类物体实例上，减少对每个具体物体逐一建模和标注的依赖。

第二个模块是三维视觉接地模型，负责把知识库中的标准化先验迁移到真实场景中的具体物体上。该模型基于视觉基础模型DINO构建，结合二维图像特征与三维点云信息，建立观测物体与模板之间的对应关系，从而获得物体姿态、抓取方式和功能平面等信息。该模块主要基于合成数据训练，并在真实场景实验中展现出对多种未见物体实例的泛化能力。

三维空间知识向真实场景物体的迁移示例

面向铰接物体的三维空间知识迁移示例

第三个模块是检索增强任务规划器。它将接地后的空间信息以结构化文本形式注入大模型上下文，使大模型在分解复杂指令时能够生成带有明确空间约束的操作步骤。例如，对于“把碗放在盘子上”，系统会将“底面与顶面平行对齐”“中心点在水平方向对齐”等约束纳入规划，再转化为机器人的运动轨迹。

实机验证：从指令执行到自主决策，检验空间智能

为检验RAM的空间智能水平，研究团队在真实机器人平台上设计了三个层次递进的系统实验，涵盖14项空间操作任务、31个物体实例和11个物体类别。

第一类实验面向语言指令驱动的空间操作，包括单物体单步、多物体单步和多物体多步任务，测试机器人对位置、朝向、空间关系和长程规划的理解能力。在总计120次重复测试中，RAM取得89.17%的平均成功率。

空间语言指令驱动的机器人操作结果评估

第二类实验面向图像引导的空间操作。以看图摆放餐具为例，机器人需要从二维参考图中推理物体的三维相对位置和朝向，并映射到当前工作空间中顺序执行。在多种参考图和随机初始位置测试中，RAM取得92.00%的平均成功率。

图像引导的机器人操作任务示例

第三类实验面向基于空间推理的自主决策。研究团队通过改变台面高度和物品尺寸构?br />