门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
公社水吧
›
大话智能
›
首部纯AI拍摄电影上映,人工智能如何冲击电影工业 ...
返回列表
首部纯AI拍摄电影上映,人工智能如何冲击电影工业
[复制链接]
allanboy12
2024-5-18 12:04:05
显示全部楼层
|
阅读模式
01
好莱坞“审判日”
“人工智能的世界,一个月等于一年。”重制版《终结者2:审判日》(下简称《终结者2》)的执行制片人内姆·佩雷斯(Nem Perez) 的感慨已经得到证明。当从去年10月开始制作的《终结者2》终于在今年3月6日正式上映,而在今年1月制作完成时,整个制片团队发现,曾经使用过的AIGC工具都已经升级了不知道多少回,甚至还出现了Sora这类颠覆性的创作工具。
《终结者2》原本是一部33年前的科幻电影,佩雷斯的团队的“重制”并不是我们常见的翻拍经典,而是利用文生图软件Midjourney,文生视频软件Runway、Pika,AI语音生成软件Eleven Labs,AI影像设计处理软件ComfyUi、Adobe等多个AIGC工具进行创作。尽管还只是一次“实验性质的非盈利尝试”,但这种尝试几乎把传统电影制作的流程彻底颠覆——无论是编剧、导演、场记还是美术指导、拍摄、剪辑,统统被AIGC所替代。
当然这部重制影片的口碑远远不及曾开创初代机械美学的《终结者》系列。这部电影是由50位艺术家在不使用原电影中的任何镜头、对话或音乐的前提下,用AI创造出了50个片段,再剪辑拼接而成。因此,有好莱坞影评人认为,这部重制电影根本不算是剧情连贯的剧情片,只是一种模仿或“艺术诠释”。
但重要的是,这部《终结者2》让市场看到了在AI参与的背景下,电影创作过程能变得多么高效。而这还是Sora出现前的场景。
02
配音都省了,什么原理?
龙年春节期间,Sora横空出世,以相较Pika、Runway跃进级的效果震撼世界。除了极其逼真的视频效果外,在硬性约束上的突破也让人惊叹Open AI的统治力。比如在视频时长方面,Pika只支持3秒视频,Runway也只支持4秒,而Sora直接把时长拉至60秒,甚至包括不同角度、景深的运镜。
经过这样的冲击,冷静之后的Pika也终于献出了反击。近日,Pika在社交平台X宣布,将上线唇部动作同步功能“Lip Sync”。它可以帮视频中的人物匹配和声音一致的口型,配合Eleven Labs的音频生成技术,让人物在说话时表现得更自然;没过几天,又公布了可以为视频无缝生成音效的功能“Sound Effects”。
公开的视频显示,Pika生成引擎发动、欢呼声、小号、煎肉声等等音效的方式有两种,一种是给一句提示(Prompt),描述你想要的声音,或者直接让Pika根据视频内容自动生成。
上述这两个功能表面上只是把我们比较熟悉的AI配音,与AI生成视频相结合,好像难度不大?毕竟对于人类来说,视觉和听觉事件往往同时发生:看到音乐家拨动琴弦自然会流出旋律,酒杯摔碎耳朵会听到破裂声,摩托车加速一定会发出轰鸣声……但是要让机器理解相同起因的视觉和听觉刺激会同时发生,就要在机器视觉-音频联合学习(Audio-Visual Learning)上下功夫。
拆解来看,首先要训练基于深度学习、采用了先进的神经网络技术的语音合成模型,其核心思想是通过训练大量数据,自动学习生成语音信号的规律。这种技术能够处理复杂的语言环境和多样性的发音,并且能够生成更为自然、流畅的语音。
Foley Music的任务定义过程
然后就是要让AI学习怎么准确地把图片或视频识别到相应的音频上。麻省理工大学甘闯团队的3D视觉和语言基础模型“Foley Music”可以作为一个例子,该模型就是将视频作为输入,检测视频中的人体动作,识别其与乐器之间的交互作用,再预测相应的MIDI文件即音频文件。
但到了复杂的视频中,模型要识别每个物体的类别、材料、空间位置,还要判断物体间的高阶互动,比如金属和木棍间以不同速度击打;还要识别整个环境是在雪山还是餐厅等等问题。
这都要求多模态模型通过学习得到的物理规则,来组合和调整声音模式的参数,甚至即时创造全新的声音。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
发表新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
allanboy12
高级会员
0
关注
0
粉丝
88
帖子
Ta的主页
发布
加好友
最近发表
智能家居离互联互通还有多远?
智能家居离互联互通还有多远?
智能家居产品“鸡肋”功能引热议 八成网友直呼“不太实用”
新华网财经观察|智能家居离互联互通还有多远?
新车 | 官宣:特斯拉无人驾驶出租车Robotaxi将于10月10日亮相
10例——“智能家居”产品设计!
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们