一张图生成一个世界!李飞飞世界模型首秀,空间智能时代已经到来

钛度号
比Sora还炸裂

文|AI大模型工场,作者|参商,编辑|星奈

今天凌晨,AI教母李飞飞创立的World Labs推出第一个重磅成果:世界模型,一张单个图像便可生成3D世界。

此消息一出,业界炸开了锅。李飞飞也第一时间在X上宣传:

在大家还在2D视频生成赛道卷生卷死的时候,World Labs已经进入Next Level,AI生成3D世界。

据World Labs官方介绍,目前大多数GenAI 工具都制作图像或视频等 2D 内容,存在缺乏控制和一致性的问题,而3D生成则可以提高控制和一致性,其模型可以预测3D几何图形,填充场景中看不到的部分。这将改变我们制作电影、游戏、模拟器和物理世界的其他数字表现形式的方式。 

一、一张图生成一个世界

输入任意一张图,World Labs还你一个世界。

比如,丢给World Labs一张左边的图片,它能给你一个这样的3D世界:

你可以通过WASD建控制3D世界得上下左右视角,还可以拖动鼠标逛这个世界的每一个角落。

同时,官方也给了很多玩法。

相机效果

生成场景后,我们可以使用虚拟摄像机进行实时渲染。通过精确控制虚拟摄像机的各项参数,可以实现各种艺术摄影效果。

例如,我们可以模拟浅景深效果,使得只有距离摄像机一定距离的物体才清晰对焦,从而突出主体并增强画面的层次感。

此外,还可以模拟推移变焦效果,即同时调整摄像机的位置和视野,创造出独特的视觉冲击力和动态感。

3D效果

World Labs官方介绍,大多数生成模型是预测像素。而生成3D场景则不仅限于像素层面的表现,其优势更多地体现在:

持久的现实:一旦生成了一个世界,它就会一直存在。如果你把视线移开并回来,场景不会在你的背后改变。

实时控制:生成场景后,可以实时移动场景。可以徜徉于花朵的细节,或者偷看角落看看揭示了什么。

符合物理规则:生成的世界遵循现实世界的基本物理规则。它们具有坚实感和深度感,与某些 AI 生成的视频的梦幻般的性质形成鲜明对比。

World Labs生成的3D场景通过深度贴图技术,使得其中每个像素都按其与相机的距离着色,更具空间感。

不仅如此,World Labs还可以添加各种动效,比如声效、灯光等,构建3D场景的交互式效果,瞬间进入“真赛博空间”。

走进绘画世界

World Labs 团队还展示了他们从梵高、霍珀、修拉和康定斯基等作品中生成了世界。

创意工作流程

除了以上玩法外,3D生成还可以与其他AI工具组合,比如Midjourney、Runway、Suno等,这将极大地改变创作者的工作流程。

例如,可以先使用文生图模型生成图像,不同的模型生成的图像风格不尽相同,而World Labs可以继承这些风格。

比如我们输入相同的Prompt,可以得到不同风格得3D世界:

一间充满活力的卡通风格青少年卧室,床上铺着五颜六色的毯子,杂乱的书桌上放着一台电脑,墙上贴着海报,运动装备散落。一把吉他靠在墙上,中间是一块舒适的图案地毯。窗外的光线为房间增添了温暖、年轻的氛围。

看到现在是不是已经迫不及待想上手试试,不过遗憾的是,目前还在内测中,可以申请候补名单。

附上地址: https://forms.gle/tkfW7yMqMsCXWw4F7 

二、3个月估值10亿,空间智能时代才刚刚开始

今年4月,被称为“AI教母”的斯坦福大学教授李飞飞,带队成立World Labs(空间智能)。这是她2018年从谷歌离职重返斯坦福后,第一次直接下场参与的创业项目。

World Labs是一家专注于打造世界模型进行3D世界的感知、生成和互动的AI初创公司。

在短短3个月的时间里,World Labs就进行了两轮融资,融资总额超过2.3亿美元,估值突破10亿美元,投资方包括硅谷知名风投a16z和AI基金Radical Ventures。

李飞飞认为,未来AI的核心在于“空间智能”,即让AI具备感知、推理并与3D世界交互的能力,这是实现更高级AI应用的关键。

在她看来,视觉在人类理解和与世界互动中占据核心位置,AI发展应优先提升视觉能力,超越语言模型的局限,让AI从“大语言模型”过渡到“大世界模型”,以应对更复杂的3D环境感知和交互需求。

也因此,她希望通过 World Labs 推动这一领域的发展,实现更高层次的空间智能。

World Labs堪称超级明星团队,除了李飞飞外,还有李飞飞徒弟,在实时风格转换和超分辨率领域有突出贡献的贾斯汀·约翰逊、神经辐射场(NeRF)提出者本·米尔登霍尔以及3D重建专家克里斯托夫·拉斯纳。

尽管World Labs在技术研发和团队配置上具有领先优势,此次发布的最新成果也惊艳众人,但面临的挑战也不少。

首先,从技术角度来看,构建一个具有高精度的3D世界理解和生成模型需要大量的数据和计算资源,同时还需要解决实时交互的技术难题。

在3D生成赛道,并不是一片蓝海,除了World Labs外,英伟达、Meta等多家公司也在积极布局物理AI与3D世界的相关技术,市场竞争激烈。

再有,在商业化路径上,尽管LWM的潜力巨大,但如何找到合适的商业模式,尤其是平衡研发投入与市场回报,是创业公司面临的共同难题。

如果找不到盈利模式,能活下去的概率很小,毕竟已经不少AI领域的明星初创公司卖身大厂了。

不过,不得不承认的是,在潮水的变化面前,空间智能,一切才刚刚开始。 

本文系作者 AI大模型工场 授权钛媒体发表,并经钛媒体编辑,转载请注明出处、作者和本文链接
本内容来源于钛媒体钛度号,文章内容仅供参考、交流、学习,不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

19:09

宏柏新材:两股东拟合计减持不超4.97%公司股份

19:01

中信建投策略陈果:跨年行情进行时,AI+是中期主线

18:54

肖钢:加强金融AI算法和模型治理

18:44

墨西哥总统:相信国会明年将禁止在该国种植转基因玉米

18:32

星巴克员工在纽约等四个美国城市扩大罢工

18:31

国泰集团行政总裁林绍波:希望明年航点数量增至超过100个

18:14

“女子实名举报前公公”,农发行通报:未发现巨额财产来源不明问题

18:04

香港餐饮业界:冬至生意额料达4亿胜预期,预计圣诞元旦市道乐观

17:51

信息发展:交信基金的实际控制人尚未发生变更

17:38

“第三次世界大战是否正在进行”?普京回应

17:35

外交部:中方决定对加拿大2家机构及20名机构人员采取反制措施

16:43

新希望:向特定对象发行股票申请获深交所受理

16:42

2025年就业援助月专项活动启动,将开展摸排走访、精准帮扶

16:38

中金公司:港股市场整体呈震荡格局

16:36

陈茂波:香港须推动更多跨境合作创新,提升金融市场体量

16:35

天顺股份:涉嫌信披违规及违规转让股票,公司实际控制人王普宇被证监会立案调查

16:32

新易盛:涉嫌违反限制性规定转让股票等行为,公司实际控制人高光荣被立案调查

16:30

日本监管机构计将裁定谷歌违反反垄断法

16:28

香港证监会批准国泰君安作为存续公司,在本次合并后成为海通证券相关境外子公司大股东

16:24

2024年贺岁档电影票房破20亿

5

扫描下载App