Meta猛攻CV,发布超强SAM抠图模型,可拯救元宇宙?
巨头们正在 AIGC 领域上激战,Meta在“计算机视觉(Computer vision,CV)”领域有了大动作。
本周三,Meta 研究部门发布了一篇名为其 “Segment Anything(分割一切)”的论文,文中介绍了一个全新的 Segment Anything Model(即SAM),可以用于识别图像和视频中的物体,甚至是从未被 AI 训练过的物品。
所谓的“图像分割”,通俗来讲就是抠图。Meta此次所展示的 AI 抠图能力,被认为是计算机视觉的 “GPT-3 时刻”,强到 CV 工作者直呼:AI 来抢饭碗,准备下岗了。
强在哪里?
如果你亲自尝试过抠图,即使借助了市面上较为成熟的“智能抠图”工具,你依然发现,想把照片抠得快、抠得准、抠得自然是件费时费力的事。
Meta此次发布的 SAM 给出了近乎完美的解决方案。
SAM 的第一项重大突破在于“识别速度和精度”有了显著提升,而速度和精度是计算机视觉领域的经典且复杂的任务。
SAM 的另一惊艳点在于,它并不局限于训练过的数据集,在遇到从未见过的物品和形状,SAM 也能将其准确识别并分割出来。
此外,SAM 支持用户使用交互性方式分离物体。比如经鼠标定位自动识别物体轮廓。即使是颜色非常相近、甚至连人眼都难以快速分辨的倒影,SAM 都能非常准确的找出轮廓边线。
用户还可通过“关键字查询”,SAM 可监测并标记出这个图片中的搜索对象。
还能支持对图片上物品的编辑。比如,识别出一张图片上模特的服饰,抠出来便可以改变颜色和尺码大小。
SAM 不仅仅能处理静态图片,还可以对动图、视频中的取片进行准确识别,并快速标记、统计出品类、大小和颜色等信息。
从静态图片中“抠”出来的椅子,进行3D渲染和编辑,让它动起来,还可以继续改变形状等创意操作。
未来,这一技术将和 Meta 的 AR/AR 头显进行广泛结合,助力元宇宙,将电影中的钢铁侠头盔将推向生活场景。
将有更大应用空间
SAM 发布之后,很多人第一时间进行了实测,一些网友还结合自身的工作领域打开了 SAM 更广的应用想象空间。
自然科学研究者——将SAM和卫星图像结合在了一起,表示SAM能够很好的识别和找到他标记的风貌类型。
神经外科影像学从业者——将SAM用到了一个脊髓血管病的病例文件之中,认为SAM在帮助判断和分析病情上有很大帮助。
生物学家——输入一张显微镜下的组织图片,即使图中形状特征毫无规律,SAM也能够自动识别多细胞结构中的腺体、导管、动脉等,SAM 在未来能够节省大量手动注释的时间。
骑行爱好者——将地图和SAM结合起来,认为能够帮助自己未来更快更高效地给地图做标记。
农场管理者——借助 SAM 监管农场动物,进行作物培植生产研究等。
AI研究专家——英伟达人工智能科学家 Jim Fan 表示 SAM 已经基本能够理解“物品”的一般概念,即使对于未知对象、不熟悉的场景(例如水下和显微镜里的细胞)。
SAM 之于计算机视觉,就像是 GPT 之于大语言模型。
论文解读
在 Meta 的论文《Segment Anything》中,新模型全名为Segment Anything Model,图像注释集名为Segment Anything 1-Billion (SA-1B),据称这是有史以来最大的分割数据集。
论文地址:https://arxiv.org/abs/2304.02643
此前解决分割问题大致有两种方法。第一种是交互式分割,第二种是自动分割。前者需要人通过迭代完善一个遮罩来指导模型,后者需要大量的手动注释对象来训练。两种方法都无法实现全自动的图像分割。SAM 很好的概括了这两种方法,可以轻松地执行交互式分割和自动分割。
本篇论文中,研发人员提到了SAM 的灵感来源于自然语言处理领域。在 NLP 领域,基础模型可以使用prompting技术对新数据集和任务执行零样本和少样本学习。
而在CV领域,具体到 SAM 中,研究人员训练的 SAM 可以针对任何提示返回有效的分割掩码。提示可以是前景、背景点、粗框或掩码、自由格式文本等等能指示图像中要分割内容的任何信息。
在Web浏览器中,SAM有效映射图像特征和一组提示嵌入来生成分割掩码
除了新模型 SAM,Meta还发布了迄今为止最大的分割数据集 SA-1B。
数据集由 SAM 收集,此数据集已是迄今为止最大的数据。注释员使用 SAM 交互式地注释图像,然后新注释的数据反过来更新 SAM,重复执行此循环来改善模型和数据集。
SA-1B 图像数据集包含超过11亿个掩码,这些掩码是从1100万张已经获得许可、并且保护隐私的高分辨率图像中收集的,这些图像的分辨率达到了1500×2250 pixels,平均每张图像约有100个掩码。甚至可以媲美以前规模小得多、完全手动注释的数据集中的掩码。
Meta 官方称,通过在业内共享这项研究和数据集,进一步加速对分割图像视频的研究,为AR/VR、内容创作、科学领域和更普遍的 AI 系统等领域的强大组件,释放出更加强大、通用的人工智能系统。
最新活动更多
-
11月28日立即报名>>> 2024工程师系列—工业电子技术在线会议
-
12月19日立即报名>> 【线下会议】OFweek 2024(第九届)物联网产业大会
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
-
精彩回顾立即查看>> 2024 智能家居出海论坛
-
精彩回顾立即查看>> 【在线会议】多物理场仿真助跑新能源汽车
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论