智东西(公众号:zhidxcom)
编译 | 程茜
编辑 | 李水青
智(zhi)东(dong)西11月10日消息,本(ben)周二,谷歌为其艺(yi)术(shu)与(yu)文(wen)化(Arts and Culture)应用(yong)程序(xu)推出了“宠物肖像(Pet Portraits)”的(de)AI新(xin)功能:用(yong)户拍摄(she)的(de)宠物照片可以匹配艺(yi)术(shu)作品,例如古(gu)埃及雕像、墨西哥(ge)街(jie)头艺(yi)术(shu)、中国水彩画等。
谷(gu)歌艺(yi)(yi)术(shu)(shu)与(yu)文化应(ying)用程序于2016年推(tui)出(chu)(chu)。它最初(chu)提(ti)供了大量的艺(yi)(yi)术(shu)(shu)作(zuo)品(pin),用户(hu)可以(yi)在(zai)上面浏览(lan)艺(yi)(yi)术(shu)(shu)家和(he)艺(yi)(yi)术(shu)(shu)史的信息。此前(qian),谷(gu)歌就(jiu)已经推(tui)出(chu)(chu)用于人脸匹配艺(yi)(yi)术(shu)(shu)作(zuo)品(pin)的Art Transfer和(he)Art Selfie功能。
你的宠(chong)物像哪个艺术作品的形象呢(ni)?谷歌艺术与文(wen)化(hua)应(ying)用程序的新功(gong)能将(jiang)告诉(su)你答案。
一、为爱宠匹配到名画,主人惊了
在体(ti)验“肖像功(gong)能”时,用户可(ke)以为自己(ji)的宠物(wu)拍照(zhao),无论是狗、猫或马(ma)、鸟等动物(wu),都可(ke)以在数万件艺术作品(pin)中找出与照(zhao)片相(xiang)匹配的艺术作品(pin)。
用(yong)(yong)户可以(yi)拍摄或从相册上传(chuan)宠物的(de)(de)照片,而得到(dao)与之(zhi)相匹配的(de)(de)艺(yi)术作品,谷歌(ge)称(cheng)之(zhi)为“艺(yi)术化(hua)身”。“艺(yi)术化(hua)身”的(de)(de)艺(yi)术成分占(zhan)多少呢(ni)?谷歌(ge)说了不(bu)算,还要看用(yong)(yong)户的(de)(de)体验(yan)。
谷歌官网展(zhan)示(shi)了好多动物的案例,看下面这(zhei)只小猫,虽然(ran)表情、颜(yan)色(se)都十分相像(xiang),但总(zong)觉得哪里不对(dui),明显左(zuo)边更可爱一点。

终于有(you)一(yi)只小猫(mao)、小狗以外的动物了,连脸上白色的部分都一(yi)模(mo)一(yi)样。

新(xin)动物又来了!这(zhei)只(zhi)可爱(ai)的(de)玄凤(feng)鹦鹉的(de)腮红去哪(na)里了?怪不得(de)匹配度只(zhi)有76%。

看(kan)到下面这张图片,主(zhu)人只(zhi)能(neng)惊呼:“这是哪位?”

一张照(zhao)片(pian)也(ye)可(ke)以匹配多(duo)张艺(yi)(yi)术作(zuo)品,我也(ye)感受了一下(xia),上传图片(pian)之后,得到(dao)了三个可(ke)爱的艺(yi)(yi)术化身,看起来(lai)相(xiang)似度还挺高。

但The Verge上(shang)展示的(de)案例(li),就让主人喜忧(you)参半了。下面这只小狗的(de)花色、表情都(dou)近(jin)乎完美匹配(pei),连(lian)眼(yan)白(bai)都(dou)“模(mo)仿”地(di)恰如其分!

但还是(shi)有一些被吐(tu)槽的(de)地(di)方,看(kan)这只(zhi)小猫,它匹(pi)配到的(de)艺(yi)术(shu)化身,表情(qing)相(xiang)似(si)(si)但花色完全不(bu)同,令人好奇(qi)这89%的(de)相(xiang)似(si)(si)度(du)是(shi)怎么来的(de)。

下(xia)面这只花色完全一致的(de)小(xiao)猫,虽然高达90%的(de)匹配度(du),但这惊恐的(de)表情是(shi)怎么(me)回事?

宠物(wu)肖像与艺(yi)术化身的匹配度就(jiu)像过(guo)山车,忽(hu)(hu)高忽(hu)(hu)低,但究其原(yuan)因不知道是受宠物(wu)形(xing)象、位置(zhi)的影响还是AI算法(fa)的识别问(wen)题(ti)。
二、AI锁定宠物,比对数万件艺术品
谷歌最新推出的(de)“宠(chong)物肖像”功(gong)能,依靠算法识别照(zhao)片,并(bing)对(dui)照(zhao)片内容(rong)作(zuo)出分(fen)析(xi),从其数据库中(zhong)寻找相似的(de)艺术作(zuo)品。
当用户使(shi)用“宠(chong)物(wu)肖像”功(gong)能(neng)为自(zi)己的宠(chong)物(wu)拍照(zhao)时(shi),该(gai)应(ying)用程序(xu)会用计算(suan)机视觉算(suan)法(fa)识别宠(chong)物(wu)所(suo)在(zai)的位(wei)置,裁剪(jian)图像并将它们放在(zai)相应(ying)的位(wei)置,使(shi)得宠(chong)物(wu)的正面(mian)形(xing)象位(wei)于(yu)照(zhao)片(pian)中央。

照片内容的(de)(de)位(wei)置(zhi)调(diao)整(zheng)完(wan)成(cheng)后,机器学习算(suan)法会将宠物的(de)(de)照片与数万件艺(yi)术作(zuo)品(pin)进行(xing)匹配,以找到(dao)看(kan)起来最(zui)相似(si)的(de)(de)艺(yi)术品(pin)。
最后,用户可(ke)以将宠物的照片和艺术作品分享为单个静止图(tu)像,或选择(ze)多张(zhang)图(tu)像生成(cheng)GIF进行发布。
此外,“宠物肖像”功能还会提供(gong)每件艺术品背后的(de)故事以及(ji)艺术家的(de)信息,供(gong)用(yong)户阅读。
三、从人“画”到宠物,背后AI技术起底
谷歌艺术(shu)与文化应用程序早(zao)期(qi)的(de)自拍匹配功能Art Transfer可让用户将自己的(de)脸与著名艺术(shu)作品进(jin)行比(bi)较。

该功(gong)能中包含(han)的(de)艺(yi)术(shu)(shu)作品是基于英(ying)国国家美(mei)术(shu)(shu)馆、日本MOA艺(yi)术(shu)(shu)博物馆和其他(ta)文化(hua)机构的(de)艺(yi)术(shu)(shu)作品,包括文森特·梵(fan)高、弗里达·卡罗、爱(ai)德(de)华·蒙(meng)克(ke)和列(lie)奥纳多·达芬奇等艺(yi)术(shu)(shu)家的(de)作品。
2018年1月,谷歌的(de)(de)艺术(shu)与文化应用程序(xu)推出了人像自拍匹配艺术(shu)作(zuo)品(pin)的(de)(de)功(gong)能Art Selfie,进入(ru)这一功(gong)能上(shang)传照片后(hou),用户就可以看到匹配后(hou)的(de)(de)艺术(shu)作(zuo)品(pin)以及系统估计每个匹配项(xiang)和用户脸(lian)部的(de)(de)视(shi)觉相似度的(de)(de)百分比。
相(xiang)比于宠物照片,人脸照片相(xiang)似(si)度就很高了(le),看起(qi)来也十分舒服。但为(wei)何下面这位(wei)匹配度只(zhi)有53%,不(bu)知(zhi)道是不(bu)是因(yin)为(wei)找(zhao)不(bu)到戴眼(yan)镜的艺术化身。

但(dan)下面(mian)这个,为什么(me)把微笑的(de)小姐姐变成如此严(yan)肃的(de)表情?

Art Transfer功能(neng)的实现(xian)是基于(yu)麻省理工(gong)学院(yuan)沃森人(ren)工(gong)智能(neng)实验室(shi)的研究人(ren)员构建(jian)的小部件,让用户(hu)可以对他们的照片(pian)应用进行(xing)相似度艺术(shu)转换(huan)。
该研(yan)(yan)究(jiu)小组的论文表(biao)(biao)(biao)示,卷(juan)积神经网络中的内容和风格(ge)表(biao)(biao)(biao)示是可(ke)分离的。也就是说,我们(men)可(ke)以独(du)立地(di)操纵它们(men),以产生新(xin)的、具有感知意义的图(tu)(tu)像。为了证明这一发现,研(yan)(yan)究(jiu)人员(yuan)从两个不同的源图(tu)(tu)像生成混合(he)内容和样式表(biao)(biao)(biao)示的图(tu)(tu)像。

▲研(yan)究小组(zu)(zu)匹配艺术作品和照片的过程(cheng)(图片来源为研(yan)究小组(zu)(zu)论文(wen))
通过找到(dao)同时匹配照(zhao)(zhao)片(pian)(pian)内容表示和相应艺(yi)(yi)(yi)术(shu)作(zuo)品(pin)风格表示的(de)(de)图像来合成图像。虽然保(bao)留了原始照(zhao)(zhao)片(pian)(pian)的(de)(de)整体布局(ju),但构成全部风景的(de)(de)颜色和局(ju)部结(jie)构由艺(yi)(yi)(yi)术(shu)品(pin)提供。实(shi)际上是以艺(yi)(yi)(yi)术(shu)品(pin)的(de)(de)风格渲染照(zhao)(zhao)片(pian)(pian),使得(de)合成图像的(de)(de)外观类(lei)似于(yu)艺(yi)(yi)(yi)术(shu)品(pin),但它(ta)显示的(de)(de)内容与照(zhao)(zhao)片(pian)(pian)相同。
谷(gu)歌艺术与文化应(ying)用(yong)程序(xu)最(zui)初的(de)功(gong)能(neng)只是展示艺术作(zuo)品的(de)信息,直到其匹配艺术作(zuo)品的(de)功(gong)能(neng)上线,其iOS和Android上下载次数(shu)迅速增(zeng)长。
结语:趣用AI,让艺术与普通人产生交集
谷歌(ge)艺术与(yu)文化应用程(cheng)序最初(chu)的(de)功(gong)(gong)能只是展示艺术作品的(de)信息,后来陆续上线人(ren)脸和宠物(wu)照(zhao)片匹配艺术化身的(de)功(gong)(gong)能,冲(chong)淡了艺术的(de)乏味,为你的(de)照(zhao)片添加了一层逼真的(de)艺术滤镜。
从(cong)人脸识(shi)别到(dao)宠(chong)物肖像识(shi)别,谷歌利用AI技(ji)术(shu)将照片和艺(yi)术(shu)作品联系到(dao)一起,但用户的(de)使用体(ti)验却(que)参差不齐,有十分逼真(zhen)的(de)艺(yi)术(shu)化身,也有让主人忍不住(zhu)翻(fan)白眼的(de)匹配对象,为了(le)留住(zhu)用户,谷歌的(de)AI算法(fa)可能要更(geng)加(jia)“精准定位”了(le)。
来源:The Verge、Google、康(kang)奈尔大学官(guan)网