智东西（公众号：zhidxcom）
作者 | ZeR0
编辑 | 漠影
智(zhi)东西(xi)7月(yue)4日报道，今日下午，腾讯云(yun)发(fa)布AI原生（AI Native）向(xiang)量(liang)数据库Tencent Cloud VectorDB。该数据库能(neng)够被广(guang)泛应用(yong)于大模型的训(xun)练、推理和知识库补充等(deng)场景，是国内(nei)首个从(cong)接入(ru)层(ceng)、计算层(ceng)、到存储层(ceng)提供全生命周期(qi)AI化的向(xiang)量(liang)数据库，将(jiang)于8月(yue)正(zheng)式登陆(lu)腾讯云(yun)。
向量(liang)数(shu)据(ju)(ju)(ju)库(ku)(ku)专门用于存储和查询向量(liang)数(shu)据(ju)(ju)(ju)。如(ru)果(guo)把大(da)(da)模(mo)型比作(zuo)人(ren)的大(da)(da)脑，那(nei)么(me)向量(liang)数(shu)据(ju)(ju)(ju)库(ku)(ku)就如(ru)同海马体，能够(gou)为大(da)(da)模(mo)型提供(gong)长期记忆。向量(liang)数(shu)据(ju)(ju)(ju)库(ku)(ku)可以(yi)突破时间和空间上的限(xian)制，助力企业广(guang)泛挖掘数(shu)据(ju)(ju)(ju)价(jia)值。据(ju)(ju)(ju)悉，腾讯云(yun)向量(liang)数(shu)据(ju)(ju)(ju)库(ku)(ku)最高支持10亿级(ji)向量(liang)检索(suo)规模(mo)，延迟控制在毫秒级(ji)，相比传统(tong)单机插(cha)件(jian)式数(shu)据(ju)(ju)(ju)库(ku)(ku)检索(suo)规模(mo)提升(sheng)10倍(bei)，同时具备百万级(ji)每(mei)秒查询（QPS）的峰值能力。
一、腾讯云定义AI原生向量数据库，加速企业在大模型时代的AI化进程
腾讯云数据(ju)(ju)库(ku)副总经理罗云谈(tan)道，向(xiang)量数据(ju)(ju)库(ku)是企(qi)业(ye)数据(ju)(ju)和大(da)模型之(zhi)间的桥(qiao)梁，能够弥(mi)补大(da)模型在时间和空间上(shang)的限制。
向(xiang)量数据(ju)库能(neng)够解决大模型预训练成(cheng)本高、没有“长期(qi)记忆”、知识更新(xin)不足、提(ti)示词工程复(fu)杂等问题，加速(su)大模型落地行业场景。
企业拿到非结(jie)构化数据(ju)后(hou)，通过(guo)神经网络(luo)进(jin)(jin)行向量化，进(jin)(jin)而存(cun)储到向量数据(ju)库中(zhong)，进(jin)(jin)行存(cun)储和(he)查询，这样可以(yi)极(ji)大地(di)提升效(xiao)率和(he)降低成本(ben)。
罗(luo)云认为，AI原生(sheng)(sheng)时代已经到来，“向(xiang)量(liang)数据库+大(da)模型+数据”，三(san)者(zhe)将产生(sheng)(sheng)“飞轮效应”，共同助力企(qi)业(ye)步(bu)入AI原生(sheng)(sheng)时代。
在AI原生时(shi)代，数(shu)据(ju)的使用(yong)范式如(ru)下图(tu)所示，比(bi)如(ru)处理大段PDF文(wen)件(jian)，会先经过文(wen)本分割，把文(wen)字(zi)分解成小段文(wen)字(zi)，然后计(ji)算层会将(jiang)这些文(wen)字(zi)通过向量化（embedding）算法变成浮(fu)点数(shu)数(shu)组，再(zai)调用(yong)向量数(shu)据(ju)接口，将(jiang)数(shu)据(ju)存放到存储层数(shu)据(ju)库。
用(yong)自然语言(yan)提出问题后(hou)(hou)，应用(yong)开发(fa)者后(hou)(hou)台(tai)会计算“问题”向量(liang)(liang)，进行(xing)基于向量(liang)(liang)的(de)知识检索，找到最(zui)相关的(de)20个(ge)片段，整(zheng)理后(hou)(hou)推(tui)给一个(ge)大(da)模(mo)型，让大(da)模(mo)型帮它得(de)出最(zui)终的(de)答(da)案。可(ke)以(yi)看到，客户的(de)数(shu)据加工流程非常复杂，要解决(jue)分(fen)段、embedding、二(er)次embedding等问题。
对(dui)此，腾(teng)讯(xun)云重新定(ding)义(yi)了AI原生(sheng)的(de)开发(fa)范式，提(ti)供了接入层(ceng)、计算层(ceng)、存(cun)储层(ceng)的(de)全面AI化解决方案，让用(yong)(yong)(yong)户在使用(yong)(yong)(yong)向(xiang)量(liang)数据库的(de)全生(sheng)命周(zhou)期(qi)都(dou)能应用(yong)(yong)(yong)到(dao)AI能力(li)。
在接入层(ceng)，腾讯云向量(liang)数据库(ku)支(zhi)持自然语言文本(ben)的输(shu)入，同时采用(yong)“标(biao)量(liang)+向量(liang)”的查(cha)询(xun)方式(shi)，支(zhi)持全内存索引，最高支(zhi)持每秒百(bai)万的查(cha)询(xun)量(liang)（QPS）。
计算层在数据(ju)(ju)库(ku)内部提供分割、embedding、精(jing)排、聚(ju)合等(deng)AI计算的算子，简化(hua)客户使用数据(ju)(ju)的成本(ben)。AI原生开发范式可(ke)实现(xian)全量数据(ju)(ju)AI计算，一站式解决(jue)企业在搭建私(si)域知识(shi)库(ku)时(shi)的文(wen)本(ben)切分、embedding等(deng)难题。
在存储(chu)层，腾(teng)讯云向量数(shu)据(ju)(ju)库支持数(shu)据(ju)(ju)智能存储(chu)分布，助(zhu)力企业存储(chu)成(cheng)本降低(di)50%。腾(teng)讯云内部按照(zhao)AI方式进行预训练，产生一些数(shu)据(ju)(ju)和算法，能够更好帮(bang)助(zhu)客(ke)户动态构建索引。
腾讯云向量数(shu)据(ju)库(ku)有(you)助(zhu)于加(jia)速(su)企业在大模型时(shi)代的AI化进程。
统(tong)计(ji)显(xian)示，将腾(teng)讯(xun)云向(xiang)量(liang)(liang)数据(ju)库(ku)(ku)用(yong)(yong)于(yu)(yu)大(da)模(mo)型预训练数据(ju)的分类、去重和清洗相比传统(tong)方式(shi)，可(ke)以(yi)实现10倍效率的提升。如果将向(xiang)量(liang)(liang)数据(ju)库(ku)(ku)作为外部知识(shi)库(ku)(ku)用(yong)(yong)于(yu)(yu)模(mo)型推理，则可(ke)以(yi)将成(cheng)本降低2-4个数量(liang)(liang)级。企业原(yuan)先接(jie)入一个大(da)模(mo)型需(xu)要花1个月左右时(shi)间，使用(yong)(yong)腾(teng)讯(xun)云向(xiang)量(liang)(liang)数据(ju)库(ku)(ku)后(hou)，3天时(shi)间即(ji)可(ke)完成(cheng)，极(ji)大(da)降低了企业的接(jie)入成(cheng)本。
二、多年存储引擎和AI算法积淀，助力数据接入效率提升10倍
上述(shu)成(cheng)绩(ji)源自(zi)腾讯云多年积累(lei)的(de)存储引(yin)擎(qing)和AI算法。此前(qian)腾讯云向(xiang)量(liang)数据库的(de)向(xiang)量(liang)化(hua)能力曾(ceng)多次(ci)获(huo)得权威(wei)机构(gou)认可，2021年曾(ceng)登顶MS MARCO榜单(dan)第一、相关成(cheng)果已发表于NLP顶会ACL。
腾讯云向(xiang)量数(shu)据库基于腾讯集团每日处理千亿(yi)次检索(suo)的分(fen)布(bu)式向(xiang)量数(shu)据库引擎(qing)Olama。该引擎(qing)已经广(guang)泛应用于大(da)语言(yan)模型、推荐(jian)搜索(suo)广(guang)告系统、音视频(pin)和图片审核以及去重等领域(yu)。
Olama从2019年开始在PCG业(ye)务团队(dui)技术孵化，如(ru)今已面(mian)向腾(teng)讯全部业(ye)务，覆(fu)盖腾(teng)讯6个BG、接入腾(teng)讯视频、QQ浏览器、QQ音乐等(deng)30多(duo)款国(guo)民级(ji)产品，日(ri)均搜索(suo)请求(qiu)超(chao)千(qian)亿(yi)，调用成(cheng)功率(lv)达100%，搜索(suo)成(cheng)功率(lv)达99.995%。
当前Olama能(neng)够支(zhi)持的单索(suo)引行(xing)数(shu)(shu)达到10亿行(xing)，单实(shi)例QPS达100万(wan)，全网(wang)P99响应时延(yan)小于20ms。经(jing)过腾讯内部海(hai)量场景的实(shi)践，使(shi)用腾讯云(yun)向量数(shu)(shu)据(ju)库，数(shu)(shu)据(ju)接入AI的效(xiao)率比传统方案提(ti)升10倍，运(yun)行(xing)稳定性高(gao)达99.99%。
腾(teng)(teng)讯云(yun)向(xiang)量数据(ju)库(ku)能有效(xiao)(xiao)助力产品提(ti)升(sheng)运(yun)营(ying)效(xiao)(xiao)率(lv)。使用腾(teng)(teng)讯云(yun)向(xiang)量数据(ju)库(ku)后，QQ音乐人(ren)均听歌时长提(ti)升(sheng)3.2%、腾(teng)(teng)讯视频有效(xiao)(xiao)曝光人(ren)均时长提(ti)升(sheng)1.74%、QQ浏览器成本降(jiang)低37.9%。
腾讯PCG大数据平台部搜索推荐Senior Tech Lead郑伟分享了腾讯内部应用腾讯云向量数据库的三个案例。
游(you)戏知(zhi)几(ji)是腾讯自研的游(you)戏智能AI产(chan)品(pin)机玩家互动运(yun)营(ying)解决(jue)方案，应用(yong)在超(chao)过(guo)200款游(you)戏上。它相当于是一个游(you)戏智能客服应用(yong)，能够对(dui)玩家的个性化问题给出答(da)案。
在游戏领域，可以先把所有游戏问(wen)(wen)题和答案建成标准问(wen)(wen)答库(ku)(ku)(ku)，然后通过深度学(xue)习技(ji)术(shu)把问(wen)(wen)答库(ku)(ku)(ku)变成一个(ge)个(ge)向量，存储到(dao)Olama引擎，当用户(hu)输入问(wen)(wen)题，也把这(zhei)个(ge)问(wen)(wen)题变成向量，再将该向量存储到(dao)Olama引擎的数据库(ku)(ku)(ku)里做(zuo)检(jian)索，检(jian)索后就可以得到(dao)标准的问(wen)(wen)题和答案，然后把标准问(wen)(wen)题做(zuo)一层排序，将分数最高的问(wen)(wen)题推荐给(ji)用户(hu)。
第二个案例是(shi)QQ浏(liu)览器信息流(liu)推(tui)(tui)荐(jian)(jian)(jian)(jian)。这些(xie)推(tui)(tui)荐(jian)(jian)(jian)(jian)业务(wu)大(da)(da)量(liang)(liang)使(shi)用腾讯云数(shu)据(ju)库(ku)Olama引擎。用户在推(tui)(tui)荐(jian)(jian)(jian)(jian)系(xi)统(tong)(tong)里(li)看(kan)到(dao)的(de)新(xin)闻、视(shi)(shi)频，以及带(dai)(dai)推(tui)(tui)荐(jian)(jian)(jian)(jian)的(de)物(wu)品(pin)推(tui)(tui)荐(jian)(jian)(jian)(jian)池，都(dou)输入到(dao)大(da)(da)模(mo)型层，大(da)(da)模(mo)型有三大(da)(da)类(lei)（DSSM模(mo)型、图数(shu)据(ju)库(ku)、序(xu)列模(mo)型），通过(guo)一个个序(xu)列大(da)(da)模(mo)型，将带(dai)(dai)推(tui)(tui)荐(jian)(jian)(jian)(jian)的(de)物(wu)品(pin)推(tui)(tui)荐(jian)(jian)(jian)(jian)词(ci)变(bian)成一个个向量(liang)(liang)，放到(dao)Olama引擎里(li)。当用户来(lai)到(dao)推(tui)(tui)荐(jian)(jian)(jian)(jian)系(xi)统(tong)(tong)，就可以根(gen)据(ju)用户过(guo)去看(kan)过(guo)哪些(xie)新(xin)闻和视(shi)(shi)频，将用户相(xiang)关行为变(bian)成向量(liang)(liang)，到(dao)数(shu)据(ju)库(ku)进(jin)行检(jian)索，把(ba)检(jian)索结(jie)果(guo)合并，推(tui)(tui)荐(jian)(jian)(jian)(jian)出最终(zhong)感兴(xing)趣(qu)的(de)新(xin)闻和视(shi)(shi)频。
另一个(ge)(ge)案例是(shi)腾讯视(shi)(shi)频(pin)(pin)视(shi)(shi)频(pin)(pin)关系(xi)中台。Olama引擎(qing)能(neng)用在视(shi)(shi)频(pin)(pin)判重和(he)音频(pin)(pin)判重。具体做(zuo)法是(shi)把(ba)一个(ge)(ge)个(ge)(ge)视(shi)(shi)频(pin)(pin)库里的视(shi)(shi)频(pin)(pin)变(bian)成(cheng)(cheng)图片帧(zhen)、音频(pin)(pin)抽出成(cheng)(cheng)音频(pin)(pin)帧(zhen)，或者把(ba)音频(pin)(pin)通过转化成(cheng)(cheng)文本的方式，通过深度学习技(ji)术，变(bian)成(cheng)(cheng)音频(pin)(pin)向(xiang)量(liang)和(he)文本向(xiang)量(liang)。当用户输(shu)入视(shi)(shi)频(pin)(pin)时，就(jiu)能(neng)将视(shi)(shi)频(pin)(pin)向(xiang)量(liang)、音频(pin)(pin)向(xiang)量(liang)、文本向(xiang)量(liang)进(jin)行召回聚合，然后(hou)输(shu)出结果(guo)，告诉用户视(shi)(shi)频(pin)(pin)的相似关系(xi)。
结语：助攻大模型普及，AI原生向量数据库将成企业数据处理标配
在大模型热(re)潮的催(cui)化下，向(xiang)量数(shu)据库(ku)进入飞速(su)发展期。据东(dong)北证券预测(ce)，到2030年(nian)，全(quan)球向(xiang)量数(shu)据库(ku)市场(chang)(chang)规模有望达到500亿美(mei)元，国内(nei)向(xiang)量数(shu)据库(ku)市场(chang)(chang)规模有望超过(guo)600亿人(ren)民(min)币。
向量(liang)数(shu)据(ju)(ju)库(ku)能够帮助企(qi)业更高效、便(bian)捷地使用大(da)(da)模(mo)(mo)型(xing)，将(jiang)数(shu)据(ju)(ju)的(de)价值释放到最大(da)(da)。随着(zhe)大(da)(da)模(mo)(mo)型(xing)的(de)不断(duan)发展和普及，AI原生向量(liang)数(shu)据(ju)(ju)库(ku)将(jiang)成为企(qi)业数(shu)据(ju)(ju)处理的(de)标配。而腾讯云(yun)向量(liang)数(shu)据(ju)(ju)库(ku)希(xi)望走在AI原生时代的(de)前(qian)排。
