智东西AI前瞻(公众号:zhidxcomAI)
作者 | 江宇
编辑 | 漠影

智东西8月19日报道,商汤最近推出了一款名为Seko的AI视频创作工具,支持用户输入一句话想法,自动生成包含剧本、角色、画面、镜头、配音在内的完整视频。整个(ge)创作过程中,不需要编剧(ju)、音效师(shi)(shi)、摄影师(shi)(shi)、打光师(shi)(shi)、剪辑师(shi)(shi),只要有一个(ge)想法,Seko就能帮你把这部片子拍(pai)出(chu)来。

为(wei)了测试这款工具的完整能力,智东西也(ye)进行了实际(ji)体验(yan)。

一、一句话创意,Seko拆解成“成片策划”

与传统的“文字转视频”工具不同,Seko能将一句话的创意直接拆解为一套可执行的完整方案

用户只需输入大致的剧情设定,无需补充参数或说明细节,系统便会自动生成涵盖六大环节的策划文档:包括策划摘要、美术风格、角色主体、场景概念、音乐风格和分镜剧本,从叙事节奏到镜头语言一应(ying)俱全。

用户还可以在策划文档右侧的对话栏中提出问题,进一步微调内容细节

我们用商汤Seko做了一部AI短剧,花了10分钟

这套流程背后,是Seko以多AI Agent协作为核心的系统,每个(ge)模块围绕用户的想法展开(kai)工作:有(you)(you)(you)人负责建模,有(you)(you)(you)人调(diao)镜头,有(you)(you)(you)人生成配音与对白(bai),搭建起一支无需协(xie)调(diao)的“AI剧组”。整(zheng)条(tiao)创作链条(tiao),从人物出场顺序、镜头节奏、配乐情绪(xu)到转场方(fang)式(shi),都由系统自(zi)动(dong)衔接完成。

用(yong)户也不需要理解技(ji)术细(xi)节或指定模型(xing)调用(yong)逻辑,系统会根据内(nei)容自动完成分工(gong)与调度。

在角(jiao)色生成方(fang)面,Seko支(zhi)持上传图像(xiang)来(lai)自定(ding)义角(jiao)色。用户(hu)也可选(xuan)择根据剧情设定(ding)自动生成角(jiao)色形象。

我们用商汤Seko做了一部AI短剧,花了10分钟

二、体验:拍一部比格逆袭的AI爽剧

为了(le)体验Seko在复杂故(gu)事关系和多角色场景下的适配能力,智东西(xi)尝(chang)试拍一部宠物版AI短剧。

在“剧本创作”模式下,输入自然语言指令:拟人形象,写实卡通。一(yi)只(zhi)贫穷比(bi)格犬带着一(yi)个小(xiao)车模型,想(xiang)要(yao)送给(ji)白(bai)(bai)猫(mao)女朋(peng)友(you),却被(bei)白(bai)(bai)猫(mao)女朋(peng)友(you)和另(ling)一(yi)只(zhi)富裕(yu)泰(tai)迪狗(gou)一(yi)起(qi)嘲(chao)笑他。比(bi)格犬非常伤(shang)心,然后(hou)(hou)每日努(nu)力工作(zuo),最后(hou)(hou)靠自己的努(nu)力赚钱(qian)买(mai)上了豪华轿车,白(bai)(bai)猫(mao)女朋(peng)友(you)和富裕(yu)泰(tai)迪狗(gou)后(hou)(hou)悔不已(yi)。

全员宠物阵容,走的是(shi)经典逆袭剧(ju)路线。

系统在几分钟内自动生成了策划文档。生(sheng)成(cheng)结果的亮点之一(yi)是自动生(sheng)成(cheng)的角色形象与设定高(gao)度贴合(he):我们并未(wei)上传图片(pian),而(er)是让(rang)系统根据设定自动生(sheng)成(cheng)三个角色(包括比格犬逆袭前(qian)后),最终呈现(xian)出的外观、语(yu)气、配音与剧情设定一(yi)致性(xing)较高(gao),也(ye)丰富了很多道具细节(jie)。

我们用商汤Seko做了一部AI短剧,花了10分钟

另一个体验亮点在于“先确认分镜静帧,再生成视频”的机制。Seko会(hui)先(xian)给(ji)出(chu)每个镜(jing)头的静态画面,用户可(ke)在此阶段(duan)提出(chu)修(xiu)改。这个阶段(duan)Seko也出(chu)现了(le)一些小Bug。例如(ru),“富裕泰迪犬”设定下系统(tong)默认(ren)生成了(le)一位(wei)穿(chuan)西(xi)装的人类男主,而(er)非狗(gou)狗(gou)角色。我(wo)们尝试再次(ci)修(xiu)改设定,但(dan)系统(tong)未及时响(xiang)应。

此外,也有不(bu)少的镜头中角色动作或(huo)外观会出现(xian)不(bu)一致。

我们用商汤Seko做了一部AI短剧,花了10分钟

所有分镜(jing)确认后,用户(hu)可点(dian)击“一键转(zhuan)视频”,分镜(jing)即可转(zhuan)为(wei)动画。

智东西最终生成的视频共3个场景,25个镜头,时长约90秒。节奏流畅,剧情连贯,配音、对白与分镜脚本一一对应。用户还可以逐帧修改台词、配音和镜头结构,编辑过程直观可控

我们用商汤Seko做了一部AI短剧,花了10分钟

不过(guo)整体(ti)来看,成片的节(jie)奏(zou)与内容完成度(du)相对可观,也可以通过(guo)编辑功(gong)能(neng)进一步(bu)调优(you)。

结语:创意说出口,Seko能接住也能剪出来

从角色生(sheng)成到(dao)(dao)镜(jing)头设(she)计,从配音对白到(dao)(dao)成片(pian)导(dao)出,Seko几乎(hu)把(ba)视频(pin)创作(zuo)能(neng)自动的环节全包了下来。

这次体验中,不用(yong)写(xie)分镜(jing)、不用(yong)配音、不用(yong)剪(jian)辑,我们就拍出了完整的宠物(wu)短(duan)剧。

虽(sui)然细节上还(hai)有优(you)化空间,但整(zheng)体流程顺畅、内容完整(zheng),确实让人看到(dao)AI剧组的潜力。对于想(xiang)(xiang)快速把想(xiang)(xiang)法变成(cheng)视频的创作者来说,Seko已经是一(yi)个值得一(yi)试的拍(pai)档。