关注前沿科技 量子位
将音频、图像、视频整合进同一工作流,这个由斯坦福初创公司发布的视频工具火了!
预览版支持生成30S逼真视频,网友们直呼不输Luma。
抢先看性转版马斯克激情说唱:
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510909584540123143" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkTAdbqJo8ugu4ZREIAyjvlUUkEEI3W0EVgibuncba00qdXBHWRBPqJFwg%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="512" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510909584540123143"></iframe>
与Luma一样,目前这个名为Hedra的工具可以免费试用。
在给大家带来一手实测前,再来看一波新鲜整活儿~
让面值10德国马克上的“数学王子”高斯自我介绍:
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510911445603139593" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkTl5ImKfMg14pVlY7gKdA6TjpDb4OQ1IMWWcyuRSgrFyayWHIwMxKZ3w%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="512" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510911445603139593"></iframe>
让石像说话、眨眼、摆动头部:
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510911772473638915" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkToWI0FXm8lZOtakh59xUpK6Rv5ChjuGQxHQ09YNpbib5hCby9d7eibiaIg%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="512" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510911772473638915"></iframe>
生成虚拟土豆人角色:
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510910082118795271" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkTupib9gAmMoZQ72JjvkXAgX0YjD2xBmaZa2ZYR8dZaPLkJCOZ9umCCNQ%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="512" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510910082118795271"></iframe>
让僵尸管家变换表情:
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510912101961383938" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkTVufW9micqw6VhKsOceomWkYCbRiamBuaAdMjAIIpfNsZDYALJHPO2tqQ%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="512" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510912101961383938"></iframe>
好了,鉴于近期翻车事件过多,让我们直接启动实测。
Hedra究竟如何?
Hedra目前可在桌面和移动设备使用,这里我们直接访问官网。
Hedra的目标是建立一个人人都可访问的多模式创作工作室,因此将音频、图像、视频都结合在了一起。
在音频部分,官方预置了6种音色,可以文字转音频,也可以直接上传音频文件。
然后输入你的角色描述,中间可以直接生成图像,当然也支持上传图像。
最后一键生成视频,以下为实测结果(约50秒时间生成了2秒视频):
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510910982082215936" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkTiang98VQg3GgMESFE1VcTR3ChDic7AAAHhsCfqgzic2OD50ZoLXn0iciasQ%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="512" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510910982082215936"></iframe>
顺便一提,一开始本来想传Sam Altman的图片,结果被官方识别为“名人”予以拒绝了。
除了以上小编实测,已经体验了Hedra的网友们也反馈了一大波实测结果。
而且官方挨个在线回应了,接下来一起瞅瞅~
有网友细心捕捉到了Hedra视频中的动漫人脸畸变情况。
不过在镜头拉近,类似特写时这种情况有所改善。
官方坦言,目前Hedra确实还在与非人类角色作斗争。
但是对于人兽混合的情况,官方表示效果还行,比如有网友生成了如下视频:
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510916227629793287" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkT2OA3RunB0bIK1MiaicbDIVt8l4eDFiaXjOspOibdTPvLZ1lXqpLhH1BtUw%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="512" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510916227629793287"></iframe>
此外,也有网友提到了Hedra审核过严的问题。
网友想用以上3张及其他图像试着生成类似电影的片段,结果被系统判定为“名人”而拒绝生成。
该网友表示:
这些是AI生成的,不是名人。虽然安全很重要,但误判过多。
对此,官方多次回应后续会看情况调整。
- 无限时长(开放预览为30秒)
- 每60秒生成90秒(如果官方H100供应充足)
- 模型目前提供音频到视频,但正在扩展其他输入形式
- 即将推出16:9的视频尺寸
- 模型主要测试了中文和英文输入,且中文表现还不错
- 模型目前提供API,可加入官方Discord
谁造出了Hedra?
Hedra此次发布的基础模型Character-1由前斯坦福大学顶尖研究团队领导。
首席执行官Michael Lingelbach,斯坦福大学前博士生,从事空间智能研究。
另一负责人Alex Bergman,同样来自斯坦福大学,研究领域包括计算成像、计算机视觉、计算机图形学和机器学习。
在谷歌学术页面,Alex Bergman发表或参与发表了数量颇丰的论文。
除了Hedra,最近几天视频生成工具正在迎来爆发期。
有网友也借机整合了Hedra、Luma、elevenlabsio等,不到1分钟制作了一个短片。
<iframe class="video_iframe rich_pages" data-vidtype="2" data-mpvid="wxv_3510910564849631237" data-cover="http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FYicUhk5aAGtBF88ult7g9icAe9orbWZpkTmUACx1zTRs9ElzGRflMyU4TmW7CCKtzCIt8c0vWzuibV82qwyXfz5jw%2F0%3Fwx_fmt%3Djpeg" allowfullscreen="" frameborder="0" data-ratio="1" data-w="720" style="border-radius: 4px;" data-src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3510910564849631237"></iframe>
你觉得效果如何?欢迎在评论区分享使用反馈。
工具地址: https://www.hedra.com/ Discord: https://discord.com/invite/KX... 参考链接: https://x.com/HBCoop\_/status/1803100686306972128 https://x.com/JDL4\_/status/1803207271981150594 https://x.com/seirdotmk/statu... https://x.com/Shane\_\_Willett/status/1803204476473401603 https://x.com/danielpikl/stat... https://x.com/amorvobiscum/status/1803142141260210436 https://x.com/janusch\_patas/status/1803095423806062770 https://x.com/ammaar/status/1...
— 完 —
量子位年度AI主题策划正在征集中!
欢迎投稿专题 一千零一个AI应用,365行AI落地方案
或与我们分享你在寻找的AI产品,或发现的AI新动向
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。