Transcription
这期视频
和大家评测一下Marble这个产品
Marble是AI教母李飞飞
她创办的世界实验室的首个商业产品
它主打的是3D世界的生成
这期视频呢
会和大家一起来实战操作
测一测Marble它的世界生成能力啊
到底有多强
它和我们所熟悉的文生图
文生视频相比啊
它代表了哪个AI的新方向
和最近比较火的Veo3.1 Sora2
还有谷歌Deepmind的Genie 3
有什么区别和特点
它所代表的
空间智能的这个AI的前沿方向
在这个产品中体现了多少
并且呢它值不值得我们现在就上车
把它用来搭建场景
做节目和做业务
这期节目啊
看完之后相信你就会有答案
而且我觉得这个产品真的挺有意思的
很值得你上手去玩一玩
玩了这个产品
你对空间智能的理解
会非常的具象和有自己的认知
我们先一起来看一下这个产品
进入到它的官网
Marble Dot Worldlabs dot AI
这个就是它的官网
在它的首页这个界面啊
这里是explore
可以看到
这里有非常多的
它生成的3D世界的模板图
我们可以随便进去一个
现在啊它正在loading中
我们现在就进入了一个3D的世界
看到没有
它是360度无死角的啊
有不同的图层
而且呢可以不断的进入
相当于它是不断的拓展的
它和我们玩的这个Sora2或者Veo3.1
他们也讲啊
非常讲求这个世界模型
但是Marble啊
它的这个世界
模型是3D的
你可以进入这个沉浸式的场景
你用的那个Sora2或者Veo3.1
它实际上是对真实的世界的场景
进行一段视频的录制
而这个李飞飞的Marble这个产品啊
实际上我们是进入到一个3D的界面
我们是进入到一个真实的环境
那么你看这个
就有非常多的应用的场景
好这是其中的一个界面
我们再回到主页
在左侧这个侧边栏啊
explore下面是create
点击这个create
你就可以去生成自己的3D世界
这里能看到两个选项
一个是2D input
一个是3D input
我们用的比较多的呢
可以用这个2D input
你可以直接给它写一段这个文字
让它给你生成一个3D的世界
给大家看一下我所生成的3D世界啊
点击左侧的这个Worlds
我们就可以进入到历史
我们生成的3D界面
这个就是我
历使用来生成这个3D界面的
这个文字
在这个3D的世界啊
我是纯粹的用文字生成的
以前呢我们是用文字生成视频
生成图片
现在我们可以用文字去生成3D的世界
这里的文字呢
我是让它生成一个
霍比特的这种小木屋
可以看一下我生成的这个文字啊
它的3D世界
它的效果是这个样子的
同时呢我又用这个文字
我把这个文字呢给到了Sora2和
Veo 3.1大家可以对比的去看一下
同样一段文字给到这种不同的模型啊
它生成的效果是怎么样
给大家看看Sora2的
这个就是用同样的提示词
用Sora2来生成的视频
再给大家看一下Veo3.1的
它整个页面效果也挺不错的
而且你发现立体感也很不错
同样是对物理世界的对齐
时间
空间时序的这种一致性的拉齐哦
在Sora2和Veo3.1上面和Marble上面
它所表达出来的东西是不一样的
你看在Marble这里
你的整个的空间是可以拓展的
而且它的整个空间是有完整性的
你完全可以在这个空间上面
去加上特定的视角
加上人物
加上更多的一些描述啊
这个空间啊
在这个虚拟世界和在VR世界
我觉得都有很强的应用性和可用性
在这里呢
我是给了它一段文字直接生成的
那么我们在实际的使用上面啊
我们还可以给他上传这个图片
视频或者是全景的照片
再给大家看一个
我生成的3D世界的作品啊
就是这个
这个呢
我用的是文字加图片的方式去生成的
大家看啊
原图是这个样子的
这个呢
是我让AI基于王者荣耀的风格
和整个的王者峡谷的一个意向场景
来设计出的一张AI生成的图片
它是用豆包生成的啊
我建议整个的生成图片
可以用豆包或者Nano Banana去生成
这张图片
它整体的立体感和沉浸感
层次性都是比较好的
其实是非常适合生成3D的作品的
大家在给Marble的这张图片啊
大家在让AI生成的时候啊
最好要讲清楚你的背景
这样你生成的图片啊
在Marble上去还原成3D世界的时候
会更加可用
而且这张图片
其实还是蛮有
王者荣耀的这种风格和感觉的
然后生成完了之后呢
我就把这个图片啊
给到了这个Marble
大家看一下我最后的成像
其实是不是还原度挺高的
而且啊我给的图片啊
大家可以看到大概是这样的一个角度
对比一下
看一下
是不是整体的还原度还是非常高的
两个石狮子像
然后这里的光影啊
还有这个路
包括草地啊
整体的还原度可以看到是非常高的
我给他一个单张的图片啊
大家看到他
其实这里他就开始想象
他觉得这条路啊
应该都有这样的石像啊
都有这样石像
而且你是可以通过鼠标拉远拉近的
当然越往远啊
他这个清晰度就会下降
但如果这个是你需要的场景
你是可以继续创建
和继续把它清晰化的
我们再把他移过来
如果说我这里设置为一个王者的角色
或者是一个游戏角色
那完全这就是其中的一个场景啊
以前我们花很长时间去搭建的
一些游戏场景
在这里啊
可能用这样的模型就可以完成了
你看这里可以往不同的这个视角去拉
包括我们玩一些什么真人CS类的游戏
其实我觉得它的应用度就会比较高啊
它自己也说啊
它的这个产品
现在主要是面向一些内容的创作者
影视的创作者
还有一些游戏行业
建筑行业
像这些行业啊
就有机会最快速的把这个技术去应用
落地和使用起来
而且在Marble里面啊
还有一个很好玩的是什么呢
你可以记录你的整个视角
我给大家演示一下
点击一下
然后我起个名字吧
好我写好名字之后
点击创建项目
好它就进入到了这个项目的界面
在下面就出现了一个时间轴
大家看好怎么演示啊
你也可以自己去复刻的
他这里啊会有一个
预览然后在这里呢
会有一个时间轴
你可以创建一个步伐的记录
点击这个位置啊
点击这里的加号
创建关键帧
然后呢我们可以改变视角
比如说啊
我们把它拉近一点啊
第二关键帧在这里
我们在这里啊
把这个时间轴拉到前面
这里再点击一下加号
然后我们建立好关键帧
之后呢它就会自动想象
这个中间的视角变化是怎么样子的
好我们再往前啊
我们再创建一个新的视角
比如说我们拉前往前一点啊
再往前换一个视角
在第四秒这里我们再拉一个这个视角
点击一下
好的我们再换个视角
比如说我们在这里
在朝上有个视角啊
在第6秒的时候
我们再点一下增加关键帧
然后呢
我们把时间轴移到这个 0 秒
点一下播放
看一下整体的效果
在这里啊
它会出现我的这个运动轨迹
在这里呢
会出现这个视角的预览啊
我点击播放
大家看一下
相当于你设计了几个关键帧
它就可以自行脑补其中的画面
并且了可以形成一个主观的
第一人称的这个视角
其实啊我觉得它对于这种游戏行业
真的有非常大的帮助
以前可能要花很多时间
去搭建这个界面
现在就会有比较好的
这种3D的布景工具
帮你去想象整个的
游戏的构建
当然像王者这样的这个国民游戏啊
它的整个的制作和细节的把握度
肯定是比这个呃基础上
要再花很多时间去把它修饰
调优和细化的
如果说你对这个页面
这个场景生成的比较满意
你是可以把它下载下来的
呃点击右边的这个export
这个位置啊
你可以点击export
然后呢
就可以把刚刚的这个场景的画面
下载下来
你来进行保存和使用的
除了我刚刚文字加一张图片的方式啊
在这里2D input这个地方啊
你可以直接给它多张图片
除了那样的方式
你也可以同时上传多张同一个空间
不同角度的照片
把这个照片直接发给Marble
然后呢在这里啊
就不用加任何提示词
它就直接基于你多角度的空间照片
给你生成 3 d的世界
或者说你直接拍一个环绕的
10秒左右的这样的短视频
也可以帮你去生成3D的世界
也不用加任何的提示词
这个呢我尝试了
不过好像生成的速度啊
有点慢我尝试了好几个
你看一直是在生成中
这个大概生成了好几个小时了吧
一直没有生成出来
我也不知道到底是比较慢
还是说呃
今天生成的人比较多
所以他一直在进行中
确实我给的这个房间的信息啊
会复杂一点
里面的细节会很多
在后面呢
我也会在我的评论区和大家同步一下
生成的效果
和我自己生成的体感
另外呢在这里啊
它有一个3D input
通过3D的方式
去生成和构建3D世界的一个方式啊
给大家看一下这个界面吧
他这个界面呢
他自己也说啊
在测试中
首先呢你是有不同的视角的
这里有个全景相机
你点这个全景相机啊
你是可以去选择你现在所在的位置的
你可以去调整这个全景相机的位置
向上或者向下
它是有个空间和视觉的概念的
或者说用手工不好调呢
你还可以直接在这里硬调
用这个XYZ的坐标轴来调
还有呢这里有个wall
你可以根据这个房间的位置啊
在这里去画一些你具体的位置
比如说啊
这里的wall
选中这里的wall
点击这里的这个空间生成
选择对应的坐标轴和点
比如说像这里就画了很多点
然后你看
点击一下它就会生成一个这样的空间
然后通过调整这个视角
根据你的给的空间来生成对应的画面
还有啊在这里啊
你可以直接给它一个你的提示词
看看它生成的效果
我这个之前生成过
我感觉我自己感觉就是呃
有可能有一方面是我不是这种呃
绘画影视和建筑专业相关的
我对3D的这个很多的概念
没有那么理解
我自己生成出的好几个效果
我觉得一般
我自己觉得没有非常的顺滑
比如说啊
在这里啊
我刚刚随便啊搞了一个空间界面
我给他一个提示词
我这里给的提示词呢
是说让他给我生成一个现代版的
YouTube创作者的工作室
里面有摄像头啊
有沙发有桌子
有电脑有显示屏等等一系列东西
然后大概说了一下
然后呢我让他去生成
我们可以等会儿也看一下
整体的生成效果是怎么样子的
好他这里说生成失败
API error 500 unknown error
这个反正我用的没有特别的顺畅
在3D这一块
大家可以自己再去研究一下
但是呢
我觉得整个你对Marble的这个操作啊
就是我觉得你对空间智能
未来的3D这种世界啊
其实它加上时间
可以理解为是4D的世界了
你会对这种空间的智能的应用和理解
会有更深刻的一个洞察
如果说你对你编辑的3D世界啊
比较满意
你是可以进入这个左侧这里的studio
把它生成项目
在这个项目里面啊
对这个3D世界进行进一步的编辑
分层应用
或者说把一些局部啊做的更清晰
调整光线啊等等
李飞飞做的Marble这个产品啊
我觉得真的挺有意思的
非常强烈的建议大家去体验一下
你会对空间智能啊有更多的理解
可能比你去
看这个万字长文啊
更加有直接的体感
而且啊他现在我觉得这个3D世界生成
他的应用啊
首先呢在内容创作领域
还有包括一些游戏领域啊
已经开始可以有一些应用了
我觉得这个应用啊
是他的首要的这么一个阶段
如果说这个技术再往后面走的话呢
他的第二个阶段的应用呢
我觉得就是这些智能的机器人
他们对空间的感知和识别
有的人会问啊
李飞飞做的这个Marble和Deepmind
他们做的这个Genie 3
他们有什么共同点和不同点
实际上呢
这两个他们做的这个方向啊
都是一致的
都是去讲求这个空间物理
还有时间序列的一致性
需要很好的去预测
下一帧它是什么内容
它是什么图像
什么环节
包括按照时间序列发展
这里会出现什么样的一个展现
Marble和Genie3
我认为
他们对物理世界的这个还原的追求上
是一致的
甚至啊
技术方向在某种程度上也是一致的
但是啊
它们的这个路径有一点不一样
Marble呢
你看现在它做了是一个商业化产品
那么Deepmind的
它的Genie 3
是对这种普通用户是不开放的
它更多的是做出一个这样的模型
让AI去更好的去理解世界
就是说Genie 3做出来这个模型啊
是给机器人玩的
那么Marble做出来呢
是给我们普通人
在一些具体的行业应用啊
可以用的
对于这样的空间智能
近期呢是行业应用
中期呢是机器人的对空间的识别
从长期来讲啊
我觉得它可以应用在非常多的
很多高级的领域
比如说在医药方面
在材料学方面
甚至在一些医学领域啊
这个空间智能啊
它可以达到一个
比人类更高的精确度啊
未来如果技术比较成熟的话
它所应用的范围广度和深度啊
都会比现在的文本大模型啊
更深更强
现在呢Marble
它是有一些免费的试用额度的
而且它的现在的整个的试用的计划
还挺好的
现在呢免费的用户啊
一共有7,000个信用点
大概可以生成3-4个3D世界
并且呢
它还提供了一个Pro用户的试用计划
第一个月只用花一个美刀
就可以体验4万点积分的3D世界的创作
我现在购买的也是它这个Pro会员
我去试用一下
我觉得这个一美刀是非常值得的
再说回来啊
李飞飞这次创业啊
她背后的合伙人
核心团队啊
都是大佬级别的
非常豪华的一个团队啊
包括他自己
他的四个合伙人都是在图像领域
NeRF、ImageNet、数字人
3D世界生成这一系列领域啊
有非常好的历史成就的
这么一些大佬
相当于这个公司啊
就把这些大佬绑在一起
就奔着3D世界生成这个方向去走
而且他现在的估值啊
也蛮高的
不过呢我自己是觉得啊李
飞飞她作为一个教授是成功的
她搞技术也是没有问题的
不过我对像Marble
它的商业化并没有非常看好
现在Marble所体现出来的
3D世界的生成能力啊
我觉得还没有那么完美
但是啊它是一个很好的
非常先进的产品的雏形
关于Marble未来的走向
和它未来的商业化路径
你有什么看法呢
欢迎啊在评论区给灵姐留言
如果觉得这个频道比较有意思
也欢迎订阅灵姐说AI的频道
打开你的小铃铛
在这个频道的播放列表里面
有非常多宝藏的内容等着你去发掘
我们下期节目再见拜拜
我们现在就进入了一个3D的世界
看到没有
它是360度无死角的啊
有不同的图层
而且呢可以不断的进入
相当于它是不断的拓展的
我给他一个单张的图片啊
大家看到他
其实这里他就开始想象
他觉得这条路啊
应该都有这样的石像啊
都有这样石像
而且你是可以通过鼠标拉远拉近的
这个就是保存下来的画面啊