智东西（公众号：zhidxcom）
作者 | ZeR0 程茜
编辑 | 漠影
掀起视频大模型风暴的Sora，终于正式发布！
智东西12月10日报道，今日凌晨，OpenAI推出文生视频模型Sora的新版本Sora Turbo，称其比2月预览的(de)Sora模型快得多。
Sora可生成最高1080p分辨率、最长20秒、16:9 / 1:1 / 9:16 画(hua)面比(bi)例的(de)(de)视频，支持用(yong)(yong)户输入文字或上传(chuan)图像，并(bing)上线全新UI界面，以便对生成视频进行修改、创建、扩(kuo)展、循环、混合(he)，或用(yong)(yong)文本生成全新的(de)(de)内容。
OpenAI在(zai)Sora.com上发布(bu)一个独立产品(pin)，免费(fei)提供给ChatGPT Plus和Pro用户。
Plus用户每月最多可以生成50个480p分辨率视频，或更少的720p分辨率、5秒视频，对应月费20美(mei)元（折合人民币145元）。
Pro订阅者则最多可生成500个视频，并支持20秒时长、1080p分辨率，可下载(zai)无水(shui)印版(ban)视频(pin)，对应月费200美元(yuan)（折合人(ren)民币1450元(yuan)）。
平摊(tan)下来生成一个视频花(hua)2.9元。
ChatGPT Plus和(he)Pro每月(yue)分(fen)别(bie)为用户提供1000和(he)10000积(ji)(ji)分(fen)。其中480p视(shi)(shi)频需(xu)要20-150个积(ji)(ji)分(fen)，720p视(shi)(shi)频需(xu)要30-540个积(ji)(ji)分(fen)，1080p视(shi)(shi)频需(xu)要100-2000个积(ji)(ji)分(fen)。Pro用户则享受无(wu)限量的relaxed视(shi)(shi)频。
OpenAI正(zheng)在为不同类型的(de)用户制(zhi)定不同定价(jia)，计划于(yu)明年(nian)初推出。
Sora一发布，ChatGPT氪(ke)金党们立即(ji)疯玩(wan)起来(lai)，纷纷在社交平台上晒出(chu)自己的第一个Sora生成(cheng)视频大(da)作。
例如下面这个新闻播报视频，虽然最终生成的视频中有一堆乱码文本，但(dan)视(shi)频画(hua)面切(qie)换的节点、文字滚动条、新闻风格镜(jing)头……这些都是Sora自(zi)主完(wan)成的，并(bing)且新闻主播的形象也十分(fen)逼真。
还有此前体验许久的艺术家，直接用Sora生成了一个1分38秒的MV。
不过有网友发现，同为付费用户，ChatGPT Plus并不能生成带有人物的视频，只有ChatGPT Pro才可以。
服务器很快就(jiu)火爆到(dao)进不去了。
OpenAI联合创(chuang)始人兼CEO Sam Altman转发了Sora团队(dui)技术人员(yuan)关于注册(ce)被(bei)禁用的帖子：“需求高于预期，注册(ce)将被(bei)禁用，生成(cheng)将在一段时间内(nei)变慢。尽力而为。”
他还抽空发文恭喜(xi)谷歌刚(gang)刚(gang)发布的量子计算(suan)芯片(pian)Willow。
▲阿尔(er)特曼回应Sora注册被(bei)暂时禁用
一、Sora专属页面上线：预设风格、多种选项、社区分享
OpenAI开发了新的界面(mian)，以便更轻松地使用文(wen)本、图像和视频提示Sora。
页面下方有输入框，可以输入想(xiang)要(yao)生(sheng)成视(shi)频(pin)的文(wen)字描述，并提供“预设”、“屏幕比例(li)”、“分辨率”、“时长”、“变(bian)体”等(deng)选项。如(ru)果鼠标移到“？”图标，会显示生(sheng)成视(shi)频(pin)所需消耗(hao)的积分值。
画面比(bi)例可(ke)(ke)(ke)选16:9、1:1、9:16。分辨率可(ke)(ke)(ke)选1080p（慢8倍）、720p（慢4倍）、480p（最快(kuai)）。时长(zhang)可(ke)(ke)(ke)选20秒、15秒、10秒、5秒。一次可(ke)(ke)(ke)生成1个(ge)、2个(ge)或4个(ge)视频变体。
预设有6个选项。
点击“Create”即可创建视频。
打开每个(ge)视频(pin)，底部还能进(jin)一步编辑(ji)(ji)提示词、观看故事、Re-cut（重剪辑(ji)(ji)）、Remix（基于(yu)此(ci)修改或创(chuang)建新视频(pin)）、Blend（两个(ge)视频(pin)无缝(feng)过(guo)渡）和Loop（无缝(feng)循环播放）。
页面右上角(jiao)有“喜欢”、“分享”、“下载”等选项。
OpenAI还提供精选和最(zui)新动态，不断更新社区的创作(zuo)。点击页面(mian)左(zuo)侧(ce)Featured，可看到分(fen)享的作(zuo)品。
点击页面右上(shang)方账户，可以(yi)看到视频(pin)教程。
二、画面元素丝滑替换，逐帧分镜头讲故事超便捷
具(ju)体来看看Sora不同功能的效果。
1、Remix：替换、删除或重构视频中的元素
你可以输入指令，要求Sora生成的视频反复修改画面元素。有“强”、“中”、“微”、“定制”四种Remix强度选项。
比如(ru)把视频画面中的“猛犸象换成机器(qi)人”：
再比如(ru)生成“打开通(tong)往图书馆的大(da)门”的视频：
然后“把门换(huan)成法(fa)式(shi)门”：
“把图书馆变成一艘宇(yu)宙飞(fei)船”：
“移除宇宙飞船，添加丛林”：
“把丛林换成月球(qiu)景观”：
2、Re-cut：找到你最满意的视频片段，将它截取出来，向任一方向延展以完成场景
3、Storyboard工具：在时间轴上组织和编辑视频的独特序列，精确指定每一帧的输入
使用故事板（Storyboard），视频(pin)画(hua)面能被控制(zhi)得非常(chang)精细(xi)。用户可通过(guo)输入文字(zi)提示、上传图片或基于已有视频(pin)，在页(ye)面添加多个分镜头。
比如指定第一(yi)帧是(shi)“一(yi)只(zhi)美丽的黄尾白鹤(he)站在小溪里”，第二(er)帧画面是(shi)“鹤(he)把头伸进水里，捞出一(yi)条鱼”。
系(xi)统会自动扩写提示词。
有了(le)这个工具(ju)，你就可以制作多镜头(tou)视频大片了(le)。
例如生成一个“一片(pian)广阔的红色景观，远处有(you)一艘停靠的宇宙(zhou)飞船”的视频：
将下一个(ge)镜(jing)头指定(ding)为“从(cong)宇宙飞船内(nei)部向外(wai)看，一位太空牛仔站在画面(mian)中央”：
然后来个“针织布面罩框住宇航(hang)员(yuan)的(de)眼睛的(de)详(xiang)细特写(xie)视图”：
视频(pin)就(jiu)有了清晰的(de)故事(shi)线。
4、Loop：使用循环剪辑并创建无缝重复的视频
Loop有“短(duan)”（2秒）、“中”（4秒）、“长”（完整(zheng)版）三种循环选(xuan)项。
示例1：花
示例2：楼梯(ti)
5、Blend：将两个视频合成为一个无缝剪辑
Blend曲线有过渡（Transition）、混合（Mix）、采样（Sample）、定(ding)制（Custom）四个选项。
可将两个视频画面(mian)无(wu)缝融合：
6、Style presets（样式预设）：使用预设创建和分享激发想象力的风格
右(you)(you)下角是两个猛犸象在步(bu)行(xing)的视频，你可以将风格切换成“硬(ying)纸(zhi)板和纸(zhi)质工艺品”（左上）、“复古电影”（右(you)(you)上）、“怀旧档案”（左下）。
三、网友玩出Sora各种bug：搞错性别、文字乱码、镜头变化不听指令
Sora公开(kai)上线后，首批ChatGPT试用者们积极在社交平台晒作品。许多视频乍一看都非(fei)(fei)常(chang)逼真，其中也不乏(fa)一些(xie)令人啼(ti)笑皆(jie)非(fei)(fei)的画面细节。
这个用户的提示词是“一只鹈鹕沿着俯瞰港口的沿海小径骑自行车”，不过最后生成的视频中，鹈鹕在中途莫名其妙地变为向相反的方向骑行。
还有用户的生成视频中，Sora直接把人物性别搞反了。网友的提示词是“一个30多岁的男人，黑头发，戴着眼镜，和一位黑发女人一起走在尼斯的长廊上。天气很好，有几个人在海滩上晒日光浴”。但视频中出现了两位女士。
再来看下面的用户体验视频，网友称这条视频Sora花费了大约30s，不过其(qi)并没有公开(kai)提示词。
还有用户立即对比了Sora、Runway、快手可灵、MiniMax海螺的效果。提示词是“维京演员的情感表演。当演员皱眉时，镜头推到脸上”。
从结果来看，Sora的视频镜头多变，且颇有大片风范，但没有实现“当演员皱眉时，镜头推到脸上”。
快手可灵的生成效果是最契合提示词的，人物有细微的皱眉动作，且镜头聚焦到了人物脸上。
MiniMax的海螺生成的视频则是拉远了镜头。
Runway的人物表情相比其他三家在皱眉的同时带动了脸部其他位置的变化。
四、公开、专用、人类三类数据来源，数百名创意人士已体验10个月
OpenAI还(hai)发布了Sora System Card来分享(xiang)其(qi)安全和监控方法的详细信息。
Sora构建于DALL·E和GPT模型的基础之上，是一种采用Transformer架构的扩散模型，从一个看起来像静态噪声的基础视频开始生成视频，然后通过多个步骤消除噪声，逐渐对其进行转换。通过让模型一次预测多个帧，Sora生成的视频可以确保主体即使暂时消失在视野之外也能保持不变。
该模型使用了DALL·E 3中的重新标注技术（Recaptioning Technique）。该技术可以为视觉训练数据生成高度描述性的字(zi)幕(mu)，使(shi)模(mo)型能够(gou)更忠(zhong)实地遵循生成的视频中用户(hu)的文本(ben)指令。
除了能(neng)(neng)够仅根据文本指令生成视频(pin)外，该模型还能(neng)(neng)够利用现有的(de)静态(tai)图(tu)像生成视频(pin)或(huo)者利用现有视频(pin)进行扩展或(huo)填充(chong)缺失的(de)帧。OpenAI相信这一能(neng)(neng)力将是实现通(tong)用人工智能(neng)(neng)（AGI）的(de)重要里程碑(bei)。
1、训练数据来源：公开可用、企业专有数据、人类数据
与语言模型拥有文本token不同，Sora拥有视(shi)觉块（visual patches），这已被证明是视觉数据模(mo)型(xing)的有效表示。
基于(yu)此，OpenAI的研究人员发现视(shi)觉块是一种(zhong)(zhong)高度可扩展且有效的表示形式，可用于(yu)在各种(zhong)(zhong)类型(xing)的视(shi)频和(he)图像上训(xun)练生成(cheng)(cheng)模型(xing)。在高层次上，他们(men)首先将(jiang)视(shi)频压缩成(cheng)(cheng)一个低(di)维的潜在空间，然后将(jiang)表示分解成(cheng)(cheng)时空视(shi)觉块。
此外，Sora接受了各种数据集的训练，包括公开可用的数据、通过合作伙伴关系访问的专有数据以及内部开发的自定义数据集。这些包括：主要从行业标准的机器学习数据集和Web爬虫中收集到的公(gong)开可用数据；OpenAI建立合作伙伴关系以访问非(fei)公开可(ke)用的专有数(shu)据，并合作调试和创建适合其需求的数据集；来自AI培训师(shi)、红队成员和员工的反馈。
2、四项输出前安全措施，数百名专业人士已测试10个月
Sora的能(neng)力(li)可能(neng)带来新的风险，例如(ru)滥用相似或产生误导性(xing)或露骨(gu)视频内(nei)容的可能(neng)性(xing)。
在安全方面，自2024年2月发布Sora以来，OpenAI与来自60多个国家/地区的数百名视(shi)觉艺术家、设计(ji)师和电影(ying)制(zhi)作人(ren)(ren)合作，以(yi)获得有关如何推进该模型以(yi)对创意(yi)专业人(ren)(ren)士最有帮助(zhu)的反馈。
▲动画师上传微缩模(mo)型图片后生(sheng)成的视频(pin)
OpenAI采(cai)用(yong)了以下形式(shi)，作(zuo)为Sora向用(yong)户显示其(qi)请求(qiu)输出(chu)之(zhi)前采(cai)取的安(an)全缓(huan)解措施：
通过多模(mo)态(tai)审核分类器进行(xing)文本(ben)和图像审核、自定义大(da)语言模型(xing)筛选(xuan)（定制GPT，利用视频生成的时间窗口，对某些特定主题高精度审核）、图(tu)像输出分类器、 黑名单（提(ti)前设(she)置文本阻(zu)止列表）。
当前(qian)OpenAI屏(ping)蔽了一(yi)些特(te)别有害的(de)形(xing)式(shi)，如儿(er)童虐待、深度(du)性伪(wei)造等。这些题材(cai)上传会被限制。
OpenAI称(cheng)其分类器非常准确，但(dan)偶(ou)尔可能会错误(wu)地(di)标注成(cheng)人或非现实的(de)儿童(tong)图像。他们也承认(ren)研究(jiu)和现有文(wen)献强(qiang)调了年(nian)龄预测(ce)模型存在(zai)种族偏见的(de)可能性。
接下(xia)来几(ji)个月里，OpenAI团(tuan)队将致(zhi)力于(yu)提高(gao)分类器的(de)性能，最大限度(du)地(di)减少误(wu)报(bao)，并加深(shen)其对潜在(zai)偏差的(de)理(li)解。
为了(le)确保(bao)Sora技术(shu)被负责任的(de)使用(yong)，所有Sora生成视(shi)频均附带C2PA元数据。它将识别视(shi)频是否来自Sora，以提供透明度，并可(ke)用(yong)于验证来源。OpenAI默认添加了可见水印等保护措施，并构(gou)建(jian)了一(yi)个内(nei)部搜索工(gong)具，该工(gong)具使用第二(er)代的(de)技(ji)术属(shu)性(xing)来(lai)帮(bang)助验证内(nei)容是(shi)否来(lai)自Sora。
结语：Sora仍有很多局限性
正(zheng)在部署的(de)Sora版本有很多限制，通常会产生不(bu)现实的(de)物理效果，同时长时间复杂动作仍具(ju)挑战(zhan)性。
OpenAI仍在努力(li)使每个人都(dou)负(fu)担(dan)得起这项技术。该团队希望Sora早期版本能让世(shi)界(jie)各地的人们探索新(xin)的创意形式，讲述自(zi)己(ji)的故事，并突破视(shi)频讲故事的可(ke)能性。
对于视频创作者来(lai)说，Sora的(de)(de)到来(lai)无疑是最顶的(de)(de)圣诞节礼物之一(yi)。很期待(dai)看到世界将用Sora创造(zao)出(chu)什么。
