AI生成视频:有点惊艳,有点离谱短视频视频文件ai生成视频

此前,我们已经见识了完全由AI制成的科幻预告片《Trailer:Genesis》,以及用AI合成的《芭比海默》预告片。这两部脑洞大开的片子,让我们见识了AI的神奇。

现在,越来越多AI视频工具正在被开发出来,批量制造短视频和电影片段,其生成效果让人惊叹,使用门槛却低到“令人发指”。

不需要复杂的代码,也不需要深奥的指令,只需要一句话,或者一张图片,AI就能自动生成动态视频。如果想修改,同样只需要一句话,指哪改哪。喜欢做视频的同学,再也不用四处找素材、熬夜剪辑了。

AI视频这阵风,能吹多久?

AI生成视频,这次有点东西

用AI生成一段视频不是什么难事,区别在于生成什么样的视频。

经常剪视频的人可能知道“一键成片”,在剪映等视频工具里输入脚本,系统可直接生成与脚本匹配的视频;在一些数字人平台上传一张照片,AI生成一个数字人,在口播时能自动对口型。

这是AI,但不是我们今天讨论的AI。

本文提到的AI生成视频,指的是生成有连续逻辑的视频,内容之间有关联性与协同性。它不是根据脚本把图片素材拼接成视频形式,也不是用程序驱动数字人“动手动嘴”。它更接近于“无中生有”,实现难度更高。

视频中的汽车、树叶、光影,是AI靠自己的知识储备和经验“画”出来的,或者说是“瞎编”的。当然,是根据用户的要求“瞎编”。

就靠一张静态图片,AI自动拓展成视频。图片中的人物、船只、水流本来都是静止的,AI将它们变成了动态。

AI还可以对原视频进行扩充,把场景“补”齐,比如从只有上半身扩充到全身,以及构造出人物背后的全景。这跟最近很火的AI扩图有点像,AI根据自己的理解,以小见大,以树木见森林。

以上三种生成视频的方式,就是现在流行的AI视频“三件套”:文生视频、图生视频、视频生视频。简言之,无论是文字、图片还是视频,都能作为原始素材,通过AI生成新的视频。

从技术角度,这依托跨模态大模型。在输入端,输入自然语言、图像、视频等形式的指令,最后都能在输出端以视频的形式呈现。

生成只是第一步,后续还能用AI修改。

Pika的视频还可以一键换装,一键增减物品。这也是Pika在1.0版本上线时重点介绍的功能。在Pika的宣传片中,只需要一句话输入指令,就能给猩猩戴上墨镜,给一位行走中的女士换装。

这其中的厉害之处不在换装,而在换装的方式——用自然语言的方式下指令,且整个过程非常丝滑,毫无违和感。通过AI,人们能够轻松编辑并重构视频的场景。

AI还能改变视频风格,动漫、卡通、电影,通通不在话下,比如将现实中的实拍镜头转换为卡通世界,它的效果跟P图软件的滤镜有点像,但更高级。

现在用AI生成的视频,已经能达到以假乱真的效果,国内还有一批公司在研发更新的技术。

两排人物,每排的六个人动作都一模一样,就像“一个模子里刻出来的”。没错,它们就是通过人物静态图片,绑定骨骼动画生成的。

这是阿里研究院正在进行的一个项目,叫AnimateAnyone,它能让任何人动起来。除了阿里,字节跳动等公司也在研发类似技术,且技术迭代很快。

效果很好,但别高兴太早

用简单的自然语言让AI生成定制化的视频,给行业带来的兴奋跟去年的ChatGPT差不多。

现在很多厂商都会用到扩散模型,Runway的Gen2、Meta的Make-A-Video,都是这方面的代表。

不过,跟任何技术一样,刚开始产品化时让人眼前一亮,同时也会有一些漏洞。

Pika、Runway等公司,在宣传片中展示的效果非常惊艳,我们相信这些展示是真实的,也的确有人在测试中达到类似的效果,但问题也很明显——输出不稳定。

不论是昨日明星Gen-2,还是当红炸子鸡Pika,都存在这个问题,这几乎是所有大模型的通病。在ChatGPT等大语言模型上,它体现为胡说八道;在文生视频模型上,它让人哭笑不得。

瀚皓科技CEO吴杰茜对「定焦」说,可控性是文生视频当前最大的痛点之一,很多团队都在做针对性的优化,尽量做到生成视频的可控。

张金表示,AI生成视频确实难度比较大,AI既要能理解用户输入的语义,图与图之间还要有语义连贯性。

AI生成视频的评估标准,通常有三大维度。

首先是语义理解能力,即AI能不能精准识别用户的指令。你让它生成一个少女,它生成一个阿姨,你让一只猫坐飞机,它让一只猫出现在飞机顶上,这都是理解能力不够。

提示词为Acatflyingaplane,Cartoonstyle

其次是视频生成效果,如画面流畅度、人物稳定性、动作连贯性、光影一致性、风格准确性等等。之前很多生成的视频会有画面抖动、闪烁变形、掉帧的问题,现在技术进步有所好转,但人物稳定性和一致性还有待提高。我们把一张马斯克的经典照片输入给Gen-2,得到的视频是这样的:

马斯克的脸怎么变得这么有棱角了?还有,这个手是怎么回事......

另外,画面主体的动作幅度一大,就很容易“露馅”,比如转动身体的少女一会儿是瓜子脸一会儿是大饼脸,或是奔跑中的马甩出“无影腿”。

还有一点是产品易用度。AI生成视频最大的变革之一,是大幅降低了使用门槛,只用输入很少的信息就能实现丰富的效果,过去视频工作者用PR、AE制作视频,要在复杂的操作界面点击各种按钮,调节大量参数,现在你只用打字就可以了。

产品是否易用,是技术能否大规模普及的一个重要前提。AI扩图最近被人们“玩坏”,也是因为操作简单,但效果感人。当普通小白也能像P图一样P视频,那离爆款产品诞生就不远了。

就当前而言,以上三项指标已有很大进步,尤其是刚上线不久的Pika1.0,各方面表现均衡。但输出不稳定依然是共性问题。

因此很多人不得不使用“续杯”的方式,同时还得结合其他素材,才能实现理想效果。而在《芭比海默》《Trailer:Genesis》这两部预告片中,作者用到了Midjourney(处理图像)、Gen-2(处理视频)、CapCut(剪辑视频)等多种工具。

吴杰茜表示,当前市面上的AI文生视频产品,生成的视频时长最多也就十多秒,瀚皓科技即将推出的产品试图做到生成任意时长,比如15秒短视频、1分钟左右的短剧,这也能成为一个差异化的特色。

所以就当前而言,想靠AI直接生成一整部大片,还有点早。

争抢AIGC的最后一块拼图

在AIGC的各大细分赛道中,AI文生视频被认为是最后一块拼图,是AI创作多模态的“圣杯”。整个行业的热潮,已经逐步从文生文、文生图,转向了文生视频领域。

成立于2018年的美国公司Runway,一度引领AI生成视频浪潮。它在2023年2月推出的Gen-1,主打视频转视频,能改变视频风格;3月推出的Gen-2,实现了用文字、图像或视频片段生成新视频。

Gen-2将生成视频的最大长度从4秒提升到了18秒,还能控制“镜头”,用“运动笔刷”随意指挥移动,一度是文生视频领域最先进的模型。

Runway的创始团队有很强的影视、艺术背景,因而客户主要是电影级视频编辑和特效制作者,他们的技术被用在了好莱坞大片《瞬息全宇宙》中。2023年下半年,Runway完成一笔过亿美元的融资,公司估值超过15亿美元。

最新玩家是Pika,这家公司由两个在美国读书的华人女博士退学创办,公司成立仅8个月,员工4人。Pika进展神速,11月底发布的全新文生视频工具Pika1.0,在各大社交媒体迅速走红。再加上创始人爽文大女主的人设,被国内媒体疯狂报道。

一位AI创业者对「定焦」说,Pika采用了差异化的打法,主打动画生成,规避了AI生成视频在逼真度和真实性方面的缺陷。另外Pika在正式推出1.0版本之前,已经在discord积累了一定数量的用户。

除了这两家公司,AI视频领域的玩家还有StabilityAI,它最知名的产品是文生图应用StableDiffusion,11月刚发布了自己的首个文生视频模型StableVideoDiffusion;Meta发布了Make-A-Video;Google推出了ImagenVideo、Phenaki。

中信建投制图

国内的进展相对慢一些,还没有明星产品出现。已经推出或正在研发文生视频应用的公司有右脑科技、生数科技、万兴科技、美图等。

其中,右脑科技的视频功能在8月开启内测申请。这是一家年轻的公司,2022年9月才成立,已获得获得奇绩创坛、光速光合的投资。生数科技在2023年3月才成立,由瑞莱智慧RealAI、蚂蚁和百度风投联合孵化。

也有一些公司擅长蹭热点,无论主动或被动。

炒概念,一直都是资本市场的惯常操作。

360集团在2023年6月发布大模型产品时,顺带也演示了文生视频功能,号称“国内首个实现文生视频功能的大模型产品”“全球最先进的人工智能技术之一”。当然,这些自封的称号有多少人会信、这些产品有多少人会用,我们不得而知。

在图片领域有优势的美图,也在Pika上线后一周内,发布了视觉大模型MiracleVision4.0版本,主打的功能就是AI视频。不过,这些功能目前尚不可用,得到2024年陆续应用到美图秀秀等产品中。

AI行业太嘈杂,我们常常搞不清,哪些公司是做产品,哪些是来炒股的。

抛开这些杂音,AI文生视频技术本身是好的,有望推动生产力革命,加速AIGC技术产业化的进程。中信证券认为,文生视频有望率先在短视频和动漫两个领域落地,短视频制作中的传统实拍模式有望被生成式技术替代。

或许用不了多久,短视频就不再需要真人出镜、拍摄和录制。这不仅仅指口播场景,而是任何你能想象得到的场景,以及大量你想象不到的形象。随之而来的,是AI生成的视频大举入侵互联网,AI像流水线一样批量制造短视频,短视频的游戏规则也要变了。

THE END
1.免费的ai生成视频软件免费的ai生成视频软件有哪些"免费的ai生成视频软件",哪些软件是我们想要的呢,下面多特小编就跟您推荐几款比较合适的软件或者app给您参考。 1. AI视频生成软件 软件类型:电脑软件 软件页面:https://duote.com/soft/1064914.html 点击下载 软件介绍: AI视频形成不言而喻是一款可以帮助你将视频素材资料一键生成成视频的app,软件免费根据客户https://www.duote.com/tech/rjxz/401266.html
2.ai视频绘画生成软件有哪些素材网站图片免费下载共有216868个ai视频绘画生成软件有哪些相关内容为您呈现 摄影师城凍 没头王子 Sora发展史与Ai焦虑症 | 设计史太浓 24 远麦刘斌 AI绘画生成类APP 11 桥九 ai生成—国风绘画 11 旅途与图 旅途与图 Z625101907 零点66 Z756627139 Z756627139 桃花谷 https://www.zcool.com.cn/tag/ZODE5MDU5Ng==.html
3.ai视频换脸软件有哪些免费的ai视频换脸软件推荐ai视频换脸软件有哪些?本期专题为大家分享免费的ai视频换脸软件,借助这些软件用户可以随时为视频中的角色进行换脸,中间过程使用十分简单,无需用户额外的付费,可以用户带来最佳的使用体验,有需要的用户快来下载这些软件换脸试试吧。https://www.7xz.com/special/aisphlrj.html
4.免费的ai视频生产软件ai视频生成软件免费免费的ai视频生产软件有哪些?有什么软件能够AI自动生成视频?ai生成视频哪个免费软件好用?ai一键生成视频什么软件好?小编为大家带来超好用的ai视频生成软件合集,用户可以自定义打造关键词,快速为你进行视频内容生成,对软件感兴趣的话可以点击下载! 其他视频推荐:正规小视频app免费好用的看视频app成为视频人的免费app软件https://www.fxxz.com/k/aispscrj/
5.ai自动生成视频软件下载免费ai自动生成视频手机端ai自动生成视频软件是可以帮助我们自动生成各种短视频和长视频的工具,直接让我们的视频导入之后就可以自动的进行剪辑生成,或者是直接套用模板,快捷的解决剪辑问题,ai自动生成视频手机端可以直接一键生成,减少用户的剪辑视频时间,减少工作量,还可以分享给自己的好友,很多用户想要知道ai自动生成视频软件有哪些,下面就让小编给http://www.downcc.com/k/aizidongshengchengshipin/
6.15个免费的AI视频生成工具和软件,视频创作提效神器AI工具集视频,作为最吸引人的媒介之一,已经成为传达信息、讲述故事和创造影响力的强大工具。高质量的视频制作往往需要昂贵的软件和专业的技能。随着人工智能技术的飞速发展,现在有了免费的AI视频生成工具,本文将介绍15个免费的AI视频生成工具,降低了视频制作的门槛,为创意表达打开了新的可能性。帮助用户无需专业知识就能创造出https://ai-bot.cn/best-ai-video-generation-tools/
7.AI应用有哪些?盘点10个常见的AI应用领域AI翻译:支持主流语言的翻译,优化外语对话和表情符号生成。 AI顾问/角色扮演:AI助手可以扮演不同的角色,如作曲家、说唱歌手、面试官等,提供多样化的互动体验。 ? 500 个AI点数免费领取 如果你正在寻找一款能够提高办公效率的AI软件,boardmix AI是一个值得考虑的选择。你可以通过访问 Boardmix 官网 来了解更多信息或https://boardmix.cn/article/what-are-the-application-fields-of-ai/
8.ai生成视频软件有什么?免费黑科技分享,国内可用效果惊艳点进来文章的各位朋友!你是否曾经厌倦了传统视频制作的高昂成本和繁琐过程?那么,你一定会对ai生成视频软件感到无比兴奋。 首先,万彩AI提供免费使用的基本功能。用户只需在官方网站上注册账号,就可以享受到它所提供的服务技术,体验软件的各种功能,并制作出高质量的文案、图片、视频作品,这对于初学者或者个人用户来说是https://www.animiz.cn/blog-8994.html
9.ai自动生成视频的软件有哪些随着技术的发展,AI智能扮演着越来越重要的角色。在视频制作领域,AI自动生成软件的出现,正重塑着我们对创作与表达的理解。无论是短视频创作者,还是大公司的市场营销部门,都在朝着更高效、更富创意的方向不断探索。 我们来看一看市面上主流的AI自动生成视频软件。这些软件的共同点在于,它们都利用深度学习与机器学习等https://fuwu.11467.com/info/31733421.htm
10.ai视频配音软件有哪些好用(视频ai配音软件免费版)ai绘画的配音是一款工具类型的小程序。衍生的工具有,AI智能配音神器,文字转语音,短视频配音神器,文字自动生成配音广告,抖音快手视频号短视频背景配音,男女机器人中文配音讲解mp3格。 3. 视频ai配音软件免费版苹果 AI配音App是一款很多大V都在用的配音软件,只需要输入文字,AI配音软件就能生成媲美真人说话的声音,各种音https://tool.a5.cn/article/show/810.html
11.根据脚本自动生成视频的软件有哪些比较好用?根据脚本自动生成视频的软件有哪些比较好用? 进入AIGC元年当然会有不少根据脚本自动生成视频的软件诞生,我在这里给大家推荐一款在线即可一键生成视频的工具:万彩AI。我们打开它的官网界面就能看到AI短视频、AI换脸秀、AI写真集等功能。接下来我们来看看如何用这些功能让我们的视频更加出彩。https://www.yunzhan365.com/blog/9102.html
12.ai生成视频工具领先的AI自动生成视频免费在线制作工具,一句话,一张照片,即可AI一键生成原创视频!基于国际领先的AI视频技术研发,提供文生视频、图生视频等全场景视频制作需求,让每个人都能轻松地创作出高质量的视频内容。https://www.aimp4.cn/
13.3款免费好用的AI视频软件,超好用分享3款免费好用的AI视频软件 在当今这个数字化、视觉化日益增长的时代,AI视频软件无疑成为了视频内容创造者的利器。它们不仅提高了视频生产的效率,还以智能化、自动化的方式大幅度提升了视频的质量。下面将为您介绍三款市场上表现优异的AI视频软件工具,助您在视频制作的旅程中如鱼得水。https://reccloud.cn/ai-video-tools.html
14.ViggleAI手机中文版下载ViggleAI视频生成app安卓版下载v1.1.1ViggleAI手机中文版app这个软件是一个可以制作动起来的ai视频的软件,要使用这个软件,你首先需要一个来源图片或者视频。之后你将自己想要的人物替换进入图片或者视频里就可以看到自己的角色动起来了,是一个很好用的ai人工智能视频生成软件。 ViggleAI软件怎么用 1、在本站免费下载viggle ai; 2、进入软件以后点击跳过;https://www.juxia.com/sjwy/ruanjian-680812.html
15.AI混剪视频软件下载AI混剪视频免费版下载v1.0.2AI混剪视频是一款全新的智能AI视频生成器,可以根据您自己的创意编辑制作出更加精致的视频图像。它拥有海量的艺术编辑模板,可以开启智能视频编辑体验,展现你脑海中的所有创意。有丰富的剪辑素材和特效内容可供大家免费使用,感兴趣的用户快在86ps软件园下载吧。 软件特色 1、创新的视频编辑工具,使视频生成快捷方便,提供http://www.86ps.com/soft/32114124.html
16.Tailor:免费开源的AI视频编辑神器,智能裁剪视频生成视频优化是个啥?有哪些功能呢? Tailor,一款令人惊叹的视频编辑神器。 因为直接有了 AI 的加持,人脸识别能够锁定人物画面,语音捕捉和裁剪上十分的独特。 所以,在人脸和语音剪辑方面做到非常精准。 而在视频生成这一块,不管是口播生成、字幕、色彩还是音频,都非常出色。 https://wpok.cn/1055256.html
17.视频制作软件下载AI视频生成(视频制作软件)V1.2绿色便携版下载软件授权:免费软件 软件类别:媒体制作 应用平台:Windows平台 软件官网:未知官方 更新时间:2023-01-30 网友评分: 360通过腾讯通过金山通过 79.9MB 详情介绍 AI视频生成专业的视频制作软件,该软件支持帮助用户快速的生成需要的视频,只需要提供视频素材即可,操作简单,易于上手,本站提供的是这款软件的安装版本,欢迎需要的https://www.jb51.net/softs/865015.html