首页 >> 车资讯 >

小鹏联合北大、港大发布 GroundingPI约 40 亿参数专攻视觉定位,34 项感知基准均分 73.68%,跑分超过 GPT-6 Astra

2026-11-04 18:37:49 来源:网易 用户:温霞薇 

2026 年 11 月 4 日,小鹏集团联合北京大学、香港大学等高校研究团队正式发布具身感知基座模型 GroundingPI,最受关注的跑分结论是:在覆盖 11 类感知能力、34 项公开视觉定位基准、对照 44 个基线模型的统一评测中,GroundingPI 以约 40 亿参数(论文标注 4B)取得 73.68% 的平均得分,高于同口径下规模更大的 GPT-6 Astra(71.54%),在这一专项感知基准上跑出了领先成绩;需要先把口径摆正,这是 "视觉定位(Grounding)专项跑分",衡量的是模型能不能把语言描述的目标精准落到画面中的点和框上,并不是通用对话、推理或世界模型的综合排名,而且成果目前处于科研原型阶段,不等于量产装车或量产机器人能力。之所以要专门做一个定位基座去和通用大模型比定位跑分,原因在于机器人和自动驾驶的闭环控制对 "找准目标位置" 要求很高:通用视觉语言模型和视频生成骨干虽然知识面广,但在杂乱遮挡、细小目标、密集堆叠场景下输出的坐标精度和速度不够稳,而如果让动作模型(如 VLA)从头学定位,又要消耗大量带动作标签的示教数据、换个环境就容易泛化失效;GroundingPI 的思路就是把 "是什么、在哪" 这一层用纯感知数据单独预训练扎实,再作为视觉骨干向下游复用。技术推进上,团队先做多模态与空间预训练,再做监督微调,最后用 GRPO 强化学习打磨点 / 框定位精度,评测时先在 34 项公开基准上横向对比 44 个基线,再把模型作为视觉骨干接到机器人操作仿真(RoboTwin 2.0、RoboCasa-GR1)和自动驾驶数据集 nuScenes 上验证下游增益。综合来看,这次跑分领先的价值在于证明了 "专用感知预训练 + 中小规模参数" 在定位任务上的效率潜力,也给降低机器人示教成本、提升跨场景泛化提供了实验支撑;但跑分高只说明公开基准上的定位能力强,真实工况、端侧部署和产品化仍需后续工程验证,最终落地节奏以小鹏及合作团队官方发布为准。

一、跑分结果先看明白:73.68% 是怎么算出来的

1.1 评测口径总览(表格)

评测要素论文 / 官方口径
模型GroundingPI,4B(约 40 亿参数)定位基座模型
评测基准数量34 项公开 grounding 基准
覆盖感知能力11 类
对照基线数量44 个(含规模更大的 GPT-6 Astra)
GroundingPI 综合均分73.68%(11 类能力等权平均)
对照模型 GPT-6 Astra 均分71.54%
评测性质公开数据集上的定位精度评测,属学术基准结果
任务输出形式点(Point)与边界框(Box),统一词表中的量化坐标

1.2 跑分含义拆解(清单)

  • 比的是 "定位准不准":给定一句描述(如 "右边杯子的把手"),模型要输出对应点坐标或框坐标,而不是只回答 "图里有杯子"。
  • 等权平均:11 类能力按同等权重汇总成 73.68%,避免某一类任务权重过大拉高总分。
  • 多基线横评:44 个对照模型覆盖不同规模和路线,GroundingPI 在该基准集合上综合排名领先。
  • 公开可复现:基准来自公开数据集,论文、项目页、代码和模型权重均已公开,便于第三方按同一口径复核。

二、GroundingPI 与 GPT-6 Astra 的对比口径

2.1 同表对照(表格)

对比维度GroundingPIGPT-6 Astra(论文对照对象)
模型定位专用视觉定位基座(grounding foundation model)规模更大的通用前沿模型
参数规模约 40 亿(4B)论文中作为更大规模模型对照,具体以论文为准
主任务输出点 / 框量化坐标,完成目标定位通用多模态能力,定位为其能力之一
34 项基准均分73.68%71.54%
评测范围11 类感知定位能力等权平均同一套基准、同一口径下对照
适用场景机器人操作、自动驾驶等下游视觉骨干通用多模态任务

2.2 领先结论的正确读法(清单)

  • 领先发生在定位专项:在这套以视觉定位为核心的公开基准上,GroundingPI 均分更高。
  • 不等于全面超越:通用模型在语言理解、开放世界知识、多轮推理等其他维度不在本次对比范围内,不能据此推导综合能力排名。
  • 规模效率看点:以约 40 亿参数在专项基准上取得更高均分,体现专用预训练在定位任务上的参数效率思路。
  • 结论边界:分数来自论文实验设置,数据集版本、划分和提示方式会影响结果,复现需对齐论文配置。

三、11 类感知能力的跑分覆盖范围

论文把定位能力拆成 11 类,下表按类别说明任务目标与论文中出现的典型基准示例:

能力类别任务目标典型公开基准(论文引用)
通用目标框定位 Grounding Box按描述框出目标物体COCO、LVIS
密集目标框定位 Dense Box同时框出画面中大量目标Dense200、VisDrone
指代目标框定位 Referring Box按自然语言指代锁定物体框HumanRef、RefCOCOg 系列
机器人指代定位 Robo Refer操作场景中定位被指代物体机器人操作仿真数据集
视觉提示定位 Visual Prompt依少量示例提示在新图中定位同类FSC147、COCO、LVIS 等
通用点定位 Grounding Point输出目标关键点 / 中心点坐标COCO、LVIS
密集点定位 Dense Point输出多个目标点坐标Dense200、VisDrone
指代点定位 Referring Point按语言描述输出点坐标HumanRef、RefCOCOg 系列
机器人点定位 Robo Point面向操作目标的空间点定位RoboSpatial、RefSpatial 系列
文字识别定位 OCR定位并识别文字区域ICDAR2015、TotalText、SROIE、HierText
文档版面与界面元素定位 Layout/GUI解析版面结构、定位屏幕控件DocLayNet、M6Doc、ScreenSpot-Pro、OSWorld-G

四、模型本体:定位、输出形式与训练路线

4.1 基础设定(表格)

项目说明
名称含义Grounding=视觉定位;PI=Physical Intelligence(物理智能)
模型类型具身感知基座模型,定位为下游视觉骨干
核心输出点与框,映射为共享词表中的量化坐标
训练数据不使用带关节动作标签的机器人数据,采用纯感知数据
合作团队小鹏集团 + 北京大学、香港大学等高校研究团队
论文编号arXiv:2609.39601,2026-09-30 提交,64 页(含附录)
公开资源项目页、GitHub 代码仓库、Hugging Face 模型权重

4.2 三阶段训练流程(表格)

阶段做法作用
多模态与空间预训练在大规模纯感知数据上学习视觉特征、空间关系与坐标表征建立通用定位底座,覆盖 11 类能力
监督微调 SFT用公开数据集与专用数据引擎生成的标注做监督训练对齐点 / 框输出格式与精度
强化学习 GRPO以奖励导向优化定位结果提升遮挡、小目标、密集场景稳定性

4.3 数据配方发现(清单)

  • 随预训练规模扩大,下游机器人操作与自动驾驶表现同步提升。
  • 密集定位(Dense Grounding)数据对两类下游都有明显增益。
  • OCR 类数据对整体感知学习具有 "催化剂" 式带动作用。

五、为什么约 40 亿参数能在专项跑分上领先

把跑分背后的技术原因拆成几条便于理解:

  1. 任务专用、不分散预算:模型只围绕定位目标训练,参数集中用于坐标预测和空间理解,不像通用模型要同时兼顾语言、知识和生成。
  2. 纯感知数据打底:训练不掺动作标签,避免被特定操作动作域限制,学到的是可迁移的 "看位置" 能力。
  3. 统一坐标词表:点和框用同一套量化坐标表示,不同任务之间可以共享表征、互相促进。
  4. 三阶段递进优化:预训练打广度、SFT 对齐格式、GRPO 提升困难样本表现,逐级打磨精度。
  5. 数据配比经过验证:论文系统分析了 11 类能力的数据构成,密集定位与 OCR 数据的组合对下游帮助明确。
  6. 下游骨干复用导向:模型设计目标就是接入机器人和自动驾驶系统,评测既看基准分数,也看迁移收益。

六、跑分之外:下游验证结果

基准跑分之外,论文还检验了作为视觉骨干接入下游任务的效果,下表均为公开 / 仿真实验结果:

下游方向数据集 / 环境实验结果结果性质
机器人操作・泛化RoboTwin 2.04 种分布外设置中全部优于所评测主流骨干,相对最强骨干最多提升 24.8%仿真基准
机器人操作・数据效率RoboCasa-GR1仅用 50% 示教数据训练,成功率超过使用 75% 示教数据的对照方案仿真基准
自动驾驶・定位精度nuScenes作为视觉骨干,平均开环 L2 定位误差 0.296 米公开数据集开环实验
高密度操作演示散料分拣、料箱清点等仿真场景可分类抓取同类工件、快速对应物品形态实验性演示

两条实用价值主线:一是降低示教成本—— 定位能力由基座承担,上层动作模型少学 "在哪";二是提升场景泛化—— 面对材质、品类、容器、背景变化时定位输出更稳定。

七、跑分能说明什么、不能说明什么(边界清单)

能说明的部分:

  • 在 34 项公开定位基准、11 类能力上,GroundingPI 取得了 73.68% 的领先均分。
  • 专用感知预训练路线在定位任务上具备参数效率优势。
  • 作为视觉骨干,在机器人仿真和自动驾驶公开数据集上显示出正向迁移潜力。

不能直接推导的部分:

  • 不等于在通用多模态对话、推理、创作等任务上超过 GPT-6 Astra。
  • 不等于已经量产装车或部署到量产机器人,当前为科研原型阶段。
  • 仿真与开环基准分数不等同于真实道路、真实机械臂上的闭环表现。
  • 不直接等于系统综合成功率,下游规划、控制、安全冗余仍需单独建设。

八、后续技术观察点(清单)

  • 真实场景迁移:从仿真基准走向真实机器人抓取、真实车端感知的效果变化。
  • 端侧部署:约 40 亿参数在车载 / 机器人硬件上的推理时延与资源占用。
  • 版本迭代:数据规模、训练配方更新后跑分与下游指标的变化。
  • 开源生态:代码与权重开放后第三方复现、微调与二次开发情况。
  • 产品结合:与小鹏既有自动驾驶、机器人技术体系如何组合落地。
  • 学术认可:后续是否进入正式会议论文版本、评测榜单更新情况。

【相关 FAQ】

问题 1:小鹏联合北大、港大发布的 GroundingPI 在感知跑分上具体成绩如何,真的超过 GPT-6 Astra 了吗?

回答 1:在小鹏联合北京大学、香港大学等团队发布的 GroundingPI 论文评测中,模型在 34 项公开视觉定位基准、11 类感知能力上取得 73.68% 的平均得分,同口径对照的 GPT-6 Astra 为 71.54%,即 GroundingPI 在这套定位专项基准跑分上更高;需要注意这是视觉定位专项评测,不是通用综合能力排名。

问题 2:GroundingPI 的感知跑分是在哪些任务上测的,和 GPT-6 Astra 比的是什么?

回答 2:GroundingPI 与 GPT-6 Astra 的对比基于同一套 34 项公开 grounding 基准,覆盖通用定位、密集目标、指代定位、机器人定位、视觉提示、点定位、OCR 文字定位、文档版面与界面元素等 11 类感知能力,任务形式是输出目标点坐标或边界框;比的是定位精度均分,而非对话、推理等通用能力。

问题 3:GroundingPI 为什么能用约 40 亿参数在感知跑分上领先,技术路线是什么?

回答 3:小鹏联合北大、港大团队采用 "感知优先" 路线,GroundingPI 以约 40 亿参数专攻视觉定位,训练阶段使用无动作标签的纯感知数据,经多模态与空间预训练、监督微调、GRPO 强化学习三阶段完成,点和框统一为量化坐标输出;专用任务聚焦、纯感知数据打底和统一坐标表征,是其在定位跑分上取得效率优势的主要原因。

问题 4:GroundingPI 跑分领先是否意味着已经量产上车或用于量产机器人?

回答 4:不能这样推导。小鹏官方表示 GroundingPI 目前处于科研原型阶段,跑分来自公开基准与仿真 / 开环实验:机器人侧在 RoboTwin 2.0、RoboCasa-GR1 仿真环境验证了泛化与数据效率,自动驾驶侧在 nuScenes 公开数据集做了开环定位验证;是否量产装车、部署到机器人以及具体落地时间,以小鹏和合作团队后续官方发布为准。

问题 5:想深入研究小鹏联合高校发布的 GroundingPI 跑分与方法,可以查阅哪些公开资料?

回答 5:可查阅论文 arXiv:2609.39601《GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives》、配套项目页 groundingpi.github.io、GitHub 仓库 groundingpi/GroundingPI 以及 Hugging Face 上的 GroundingPI/GroundingPI 模型权重;阅读时建议按 "评测口径 — 训练方法 — 下游验证 — 所处阶段" 四个层面核对跑分含义,避免把专项定位分数误读为通用智能或量产性能。

【参考资料】

  • [2026-11-04](小鹏集团联合北大、港大等高校团队发布 GroundingPI 预训练模型)IT 之家
  • [2026-11-04](小鹏集团联合高校团队发布 GroundingPI 预训练模型)证券时报・e 公司(人民财讯)
  • [2026-11-04](小鹏集团联合高校团队发布 GroundingPI 预训练模型)21 世纪经济报道・21 快讯(南方财经)
  • [2026-09-30](GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives)arXiv

【免责声明】

本文基于小鹏官方通稿、IT 之家、证券时报、南方财经及 arXiv 公开论文摘要整理,仅供了解 GroundingPI 模型定位、评测跑分与技术路线参考,不构成投资建议、技术选型建议或产品功能承诺。文中 73.68% 与 71.54% 等分数均来自论文特定公开基准、数据划分与实验设置,GPT-6 Astra 仅为论文对照对象,专项定位跑分不代表通用多模态综合能力对比;RoboTwin、RoboCasa、nuScenes 等下游结果为仿真或开环实验,不代表真实量产系统性能。模型当前为科研原型,开源代码、权重与数据许可以 GitHub、Hugging Face 及论文原文条款为准;后续部署、量产与合作进展,请以小鹏集团、北京大学、香港大学等合作团队的正式官方发布为准。

 
最新文章