炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!
(来源:智东西)
机器人前瞻(公众号:robot_pro)
作者 李水青
编辑 漠影
机器人前瞻7月7日报道,今日,蚂蚁灵波同时丢出两颗“炸弹”:正式发布空间感知模型LingBot-Depth 2.0,并同步开源其自研的视觉基座模型LingBot-Vision。一套从机器人视觉表征底层到深度感知能力的完整技术方案的首次集中亮相。
▲蚂蚁灵波发文(图源:社交媒体X)LingBot-Depth 2.0在16个公开数据集的深度补全评测中拿下12项第一,边缘清晰度、细小物体识别、远距离检测和复杂场景鲁棒性四个维度的能力全面提升。而支撑这一成绩的,正是蚂蚁灵波首次公开的“空间原生”视觉基础模型LingBot-Vision。
一经发布,这两款模型在外网引起了不少人关注。知名科技自媒体Rohan Paul在社交平台X上发文称:“机器人的‘眼睛’刚刚迎来了一次重大升级。”一位网友称:“解决玻璃和镜子的深度预测问题绝非易事。非常期待看到开发者们利用开源版本创造出什么。”
▲X上的自媒体及网友评论更值得关注的是,这套技术组合已经走出实验室。国产3D视觉龙头奥比中光已将LingBot-Depth 2.0集成进数据采集设备和SDK,并计划年底推出集成LingBot-Depth商业版的一体化相机。
GitHub地址:
https://github.com/Robbyant/lingbot-vision
Hugging Face地址:
https://huggingface.co/collections/robbyant/lingbot-vision
ModelScope地址:
https://www.modelscope.cn/collections/Robbyant/LingBot-Vision
论文地址:
https://github.com/robbyant/lingbot-vision/blob/main/paper.pdf
一、LingBot-Depth 2.0:拿下12项测评第一,空间感知新标杆
深度信息是机器人移动、避障、抓取、操作的前提。没有可靠的深度输入,机器人就像蒙着眼睛在真实世界里行走。
但行业长期面临几个硬骨头:物体边界模糊不清,机器人抓取时不知道该从哪里下手;细小物体容易被漏检,一条电缆、一根细杆都可能成为避障的盲区;远距离目标深度噪声大,移动机器人在导航时对前方判断不稳;而在反光、透明、遮挡、暗光等复杂场景下,深度图频繁破碎和缺失,机器人连续任务动不动就中断。
LingBot-Depth 2.0正是围绕这四个长期痛点做了系统性升级。训练数据规模从1.0版本的300万样本直接扩充到1.5亿,扩大了50倍,模型基底从DINOv2编码器全面切换为LingBot-Vision编码器。这两项改进形成了正向循环:数据规模越大,LingBot-Vision初始化的优势不仅没有被稀释,反而更加明显。
▲LingBot-Depth 2.0支持机器人识别香槟酒杯从基准测试成绩来看,LingBot-Depth 2.0在涵盖不同深度模式和相机类型的16个公开数据集的深度补全评测中拿下12项第一。在最难的室内场景DIODE-Indoor测试中,块掩蔽深度建模的RMSE从1.0版本的0.132直接降至0.062,降低了一半还多。这意味着在纹理稀疏、结构复杂、光照条件苛刻的室内环境中,LingBot-Depth 2.0输出的深度图精度实现了跨越式提升。
▲LingBot-Depth 2.0测评情况除了基准成绩,拉开差距的是LingBot-Depth 2.0对“硬场景”的处理能力。传统主动深度相机在玻璃、镜面、透明物体面前几乎是失效的,要么返回噪声,要么干脆没有测量值。
LingBot-Depth 2.0则在这些场景中表现出色。无论是窗玻璃、玻璃栏杆还是反光地板,原始传感器深度信息在这些区域几乎是一片空白,而LingBot-Depth 2.0能够将这些区域补全为跨帧的稳定连续表面。如下图所示,深度图不再是碎片化的“马赛克”,而是结构完整、边界清晰的空间地图。
▲LingBot-Depth 2.0能胜任玻璃门场景中的任务LingBot-Depth 2.0的发布,为机器人空间感知树立了新标杆。高质量的空间感知能力正在变成一种可被广泛获取的通用能力,而不是少数头部企业的技术壁垒。
二、为什么强?LingBot-Vision“空间原生”底座是关键
LingBot-Depth 2.0的能力跃迁并非偶然。它的底层支撑,是蚂蚁灵波自研的视觉基座模型LingBot-Vision,一个从一开始就为机器人场景设计的“空间原生”视觉模型。
▲LingBot-Vision视觉基座模型识别效果要理解LingBot-Vision的价值,需要先看清一个行业趋势。过去十余年,计算机视觉模型经历了从手工特征到卷积神经网络、再到视觉基础模型的演进。ViT、CLIP、MAE、SAM、DINO等模型的出现,让视觉模型走向大规模预训练和通用视觉表征。
但对于机器人来说,一个新的问题逐渐浮现出来。这些模型大多是为互联网图片设计的,它们擅长回答“图像里有什么”,却未必能够回答机器人真正关心的问题:物体距离多远?边界在哪里?空间结构是否连续?是否能够支撑机器人完成移动、避障和抓取?
LingBot-Vision的区别,可以用四个字概括:空间原生。
首先,它的数据来源和训练目标天然面向机器人所面对的真实物理环境,而不是互联网图片,因此更加关注真实世界中的空间结构。
其次,它在预训练过程中引入几何约束,并提出边界中心(Boundary-Centric)的掩码建模机制。相比传统随机Mask策略,它会主动关注物体轮廓、边界以及形状变化,引导模型同时学习语义信息和几何结构,不仅知道“这是什么”,更知道“它长什么样、边界在哪、与周围物体是什么关系”。
通俗来说,传统语义驱动模型学的是“这是一只猫”,LingBot-Vision学的是“猫耳朵在头顶两侧、猫身在前方、边界在哪里、和周围物体是什么空间关系”。这种基于几何的预训练方式,让LingBot-Vision在保持全局判别力的同时,不会丢失局部几何结构。冻结图像块特征的前三个PCA分量映射到RGB后可以直观看到:LingBot-Vision能够将物体解析为连贯且边界清晰的区域,内部保持平滑,特征过渡点精确落在物体轮廓上,彻底避免了以往骨干网络常见的逐个标记的斑点或块状噪声。
▲LingBot-Vision视觉基座模型识别效果第三,边界忠实的密集特征,让LingBot-Vision成为一个真正的“一专多能”视觉底座。一个模型覆盖分类、检测、分割、深度估计等全部核心视觉任务,机器人不再需要在有限算力下堆叠多个模型,系统复杂度大幅降低。
这种训练范式上的改变,带来了性能上的突破。
博客显示,LingBot-Vision旗舰模型参数规模约11亿,在NYUv2深度估计基准上以约七分之一的参数量比肩甚至超越70亿参数的DINOv3,而其消耗的训练样本量不足其三分之一。
▲LingBot-Vision与同类模型效果对比与此同时,蚂蚁灵波还同步发布ViT-G、ViT-L、ViT-B和ViT-S四个版本。其中,仅约3亿参数的ViT-L模型,在NYUv2上的表现便已与70亿参数级别模型相当,参数规模仅约为后者二十三分之一,更适合机器人端侧部署。
▲LingBot-Vision版本情况这意味着无论是云端大规模训练还是边缘端实时推理,LingBot-Vision都能提供匹配的部署方案。
三、3D视觉龙头已上车:从模型到产品已交付
技术好不好,不能只看benchmark,还要看谁在用、用在哪。国产3D视觉龙头奥比中光是最直接的例证。
作为机器人和 AI 3D视觉领域的标杆企业,奥比中光长期布局3D视觉传感器、深度相机以及机器人视觉解决方案,其产品已经广泛应用于服务机器人、工业机器人、人形机器人、物流自动化等多个领域。据悉,LingBot-Depth 2.0已经通过奥比中光深度视觉实验室专业认证,在深度精度、稳定性以及复杂场景适应能力方面均达到行业领先水平。
▲LingBot-Depth 2.0可应用于机器人领域更重要的是,双方合作已经开始进入产品化阶段。
首先,在数据采集领域,奥比中光最新推出的EGO RGB-D数采设备已经接入LingBot-Depth 2.0 API。EGO RGB-D基于Gemini 330系列双目3D相机和MX6800深度引擎芯片,能够同步输出RGB图像和高精度深度数据,而LingBot-Depth 2.0则进一步承担深度增强的角色,对原始深度信息进行补全和优化,尤其针对玻璃、镜面、反光地面以及遮挡边缘等传统深度算法容易失效的场景,输出更加连续、更可靠的空间信息,为具身智能训练提供质量更高的数据底座。
其次,在机器人开发生态方面,奥比中光已经将LingBot-Depth能力集成进Gemini 330系列相机SDK。这意味着机器人开发者无需单独部署复杂的空间感知算法,只需调用SDK,即可直接获得经过增强的深度数据,在机器人导航、避障、抓取、三维重建等任务中快速完成开发,大幅降低机器人厂商使用先进空间感知能力的门槛。
更进一步,双方计划于今年年底推出集成LingBot-Depth商业版模型的一体化相机产品,将3D相机硬件与空间感知能力直接融合,实现“硬件+模型”的一站式交付。对于机器人企业来说,这意味着未来购买的不再只是一个能够输出深度信息的相机,而是一套已经具备空间理解能力的视觉系统。
可以看到,LingBot-Depth 2.0正在完成从算法到产品的完整闭环。这种闭环不仅验证了模型自身的工程价值,也意味着蚂蚁灵波开始真正进入机器人产业链,成为机器人视觉基础设施的重要提供者。
结语:机器人视觉的新竞争,正在从模型走向生态
LingBot-Vision和LingBot-Depth 2.0的同时发布,是一套完整技术路线的集中亮相:用“空间原生”的视觉基座重新定义机器人如何看待世界,再用空间感知模型验证这条路线在真实任务中的有效性。
更值得关注的是蚂蚁灵波正在推动的生态构建。把核心视觉基座开源,让任何机器人厂商和开发者都能基于LingBot-Vision做自己的下游任务;与奥比中光这样的产业龙头深度绑定,让空间感知能力从模型变成SDK、变成数采设备、变成一体化相机,这条路径正在降低整个行业使用高质量视觉和空间感知能力的门槛。
当机器人视觉的竞争从单一模型走向系统生态,行业的下一个分水岭或许正在到来。而蚂蚁灵波已经在为这个新阶段布局。
下一篇:没有了