关注前沿科技 量子位
在AI视频赛道卷麻了之际,英伟达投的Sora竞品,马不停蹄地推出1.5代了!
官方宣传是酱婶儿的:
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3599289406529519620" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtCQ5KJkcMP9K2rAkAxqicQThiaUmd4rOm4FHhXfKo1m0VfGrHUMjD3faltoVfZMW4PB8viaAgUVCNwrg%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1.0018518518518518" data-w="1082" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3599289406529519620"></iframe>
据Luma创始成员介绍,相比6月推出的Dream Machine 1.0,此次升级主要围绕文生视频,整体更加智能。
新版本全民在线可玩,已经尝鲜的网友纷纷直呼:
incredible!(不可思议)
看了下网友试玩,目前的效果雀食不错,下面挑几个例子康康(PS:画质均有一定压缩)
鸡蛋成精了,会骑车的流心蛋黄:
视觉冲击力强,堪比电影运镜的快镜头。
Prompt:FPV, fast moving footage, at light speed, flying through houses before exploding into a volcano.(FPV,快速移动的镜头,以光速飞过房屋,然后爆炸成火山。)
画面上加文字的老大难,貌似也克服了。
上下分屏,丛林和海底世界刷一下就拼接起来了:
Dynamic motion, vertical 2-panel Split-screen view: lush jungle canopy above, underwater coral reef below, UHD, nature documentary style(动态运动,垂直2面板分屏视图:上面茂密的丛林树冠,下面的水下珊瑚礁,超高清,自然纪录片风格)
衣袂飘飘,自然抬头的少女漫也安排上了。
看完这波效果,不难推测为何Luma AI在过去两个月增长迅猛。
网站分析平台Similarweb的数据显示,目前它在所有AI视频中(主要是国外产品)访问量排第一,仅7月份全球访问量达到了2260万次。
实测1.5代
手痒了,量子位第一时间也来试一下Dream Machine v1.5。为了顺带检验官方demo的真实性,咱们直接微调一下官方提示词。(机智如我)
直接看重头戏——文生视频。
第一个,将原玄幻场景中的老头换成了老太太。从生成结果来看,基本要素都齐了,但是细节之处(如手部畸变)还是不能看。
prompt:old woman with a swirling fireball(手持旋转火球的老妇人)
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3599301164052824075" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtCQ5KJkcMP9K2rAkAxqicQThwKW4KxZLw2NjDTFGFjoQj7gJ9WD7axRL5cj5GXjzdKqlnllNWWvVrQ%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1.8085106382978724" data-w="1360" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3599301164052824075"></iframe>
第二个,将考察视频运动能力的原绿色puppy换成了猫咪。这个效果相当不错,猫咪大佬的气质简直扑面而来!不仅烟雾在空中的运动轨迹非常逼真,而且猫咪的耳朵还会动。
prompt:green cat smoking a cigar(抽烟的小猫咪)
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3599301580933087236" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtCQ5KJkcMP9K2rAkAxqicQThtyIibC7hNzt1bcAXNTibkctrDmTKCpmzG1Bg17HibWmacUZS1hnibDjwuQ%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1.8085106382978724" data-w="1360" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3599301580933087236"></iframe>
第三个,将考察视频添加文字能力的原“WOW”换成了”STOP”。整体倒是挺自然,但是犯了一个致命错误:单词拼错了。(且这个视频生成最耗时)
prompt:“STOP” in balloons in the sky(”STOP”出现在天空中的气球上)
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3599300696320819204" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtCQ5KJkcMP9K2rAkAxqicQThbacAibjKrhlQK3T3GoW2kOfGOQUDZ9yeaQIsVGdkAjfJkIewwzpu5tQ%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1.8085106382978724" data-w="1360" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3599300696320819204"></iframe>
对了,知道大家肯定会被提示词难倒,有网友已经贴心整理好了大礼包。(文末链接可取)
来自Luma AI
Dream Machine是由英伟达投资的Sora竞品,背后公司是Luma AI。
联合创始人兼CEO Amit Jain是前苹果AR/CV工程师;联合创始人兼CTO Alex Yu 2021年毕业于加州伯克利,曾与Angjoo Kanazawa教授一起研究NeRF相关的3D计算机视觉。
最近一轮融资是在今年1月(B轮4300万美元),a16z领投,Anjey Midha、Amplify、Matrix、NVIDIA、South Park Commons等参投。
而且在国外一众AI视频生成工具中,用户访问数据较好。
根据Similarweb的统计,当前Luma AI领先于许多类似的AI视频生成应用。7月份全球访问量达到2260万次。
试玩地址给大家放文末了,欢迎来波反馈~
体验地址: https://lumalabs.ai/dream-mac... 参考链接: [1]https://x.com/LumaLabsAI/stat... [2]https://x.com/SwayMolina/stat... [3]https://x.com/Similarweb/stat...
— 完 —
量子位年度AI主题策划正在征集中!
欢迎投稿专题 一千零一个AI应用,365行AI落地方案
或与我们分享你在寻找的AI产品,或发现的AI新动向
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。