今(jin)年9月起，智(zhi)东(dong)西公(gong)开(kai)课品(pin)牌全(quan)新升(sheng)级为智(zhi)猩(xing)猩(xing)。智(zhi)猩(xing)猩(xing)定位硬科技讲解与服务平台，提供公(gong)开(kai)课、在线(xian)研(yan)讨会(hui)、讲座(zuo)、线(xian)上闭门会(hui)、峰会(hui)等线(xian)上线(xian)下产品(pin)。
「线上闭门会」由智猩(xing)猩(xing)全新升级推(tui)出，将邀请行业、领域(yu)专家担任出品人进(jin)行策划(hua)，探讨人工智能(neng)、自动驾驶领域(yu)中的最新技(ji)术研究与应用。
随着深度学习(xi)技(ji)术的(de)飞速发(fa)(fa)展(zhan)，尤其是最(zui)近涌现(xian)出的(de)大型(xing)基础模(mo)型(xing)，人工智能领域(yu)正(zheng)在发(fa)(fa)生(sheng)翻天覆地的(de)变化。这(zhei)(zhei)(zhei)些(xie)模(mo)型(xing)在图像识别、自然语言处理等(deng)各种任务上取得(de)了显著的(de)突破，显示出巨大的(de)潜力。然而(er)，这(zhei)(zhei)(zhei)些(xie)大模(mo)型(xing)往往具有庞大的(de)参数(shu)量、计算量和功耗(hao)，这(zhei)(zhei)(zhei)给它们的(de)实际应用带来(lai)了一定的(de)挑战。特(te)别是在资源受限的(de)环境中(zhong)，如何实现(xian)高效深度学习(xi)成(cheng)为了一个亟待解决的(de)问题(ti)。
为了解决这(zhei)一问题，许多研(yan)(yan)究(jiu)者(zhe)开始(shi)关(guan)注大模(mo)型(xing)的(de)(de)微(wei)调以及边缘(yuan)设备上的(de)(de)应用。通过优化训练方法、设计(ji)高效算(suan)法以及利用边缘(yuan)设备的(de)(de)资源，研(yan)(yan)究(jiu)者(zhe)们(men)试(shi)图(tu)降(jiang)低大模(mo)型(xing)的(de)(de)计(ji)算(suan)成本，提高其在(zai)实际应用中的(de)(de)性能。
12月5日上午10点，智(zhi)猩(xing)猩(xing)AI教(jiao)研组(zu)推出(chu)「大模型微调与推理部署线(xian)上闭(bi)门会」。本(ben)次闭(bi)门会由(you)北京航空(kong)航天大学人工智(zhi)能研究院(yuan)助理教(jiao)授(shou)郭晋阳参(can)与出(chu)品。郭晋阳同时也是国家级青年人才、硕士生导师，主要(yao)研究方向为轻量深度学习(xi)、边(bian)缘智(zhi)能计算，相关技术成果已在(zai)(zai)港(gang)中(zhong)文-商汤(tang) Open-MM、亚(ya)马逊 DGL、百度飞桨等多个开(kai)放平台(tai)中(zhong)集(ji)成验(yan)证，并(bing)在(zai)(zai)商汤(tang)科技业务(wu)场景(jing)中(zhong)上线(xian)应用。
本次闭门(men)会，Monash University 长聘助理(li)(li)教(jiao)授庄(zhuang)博(bo)涵、麻(ma)省理(li)(li)工学院在读博(bo)士朱力耕和(he)商(shang)汤(tang)科技研(yan)究副总(zong)监龚睿昊参与主讲。他们将分别围(wei)绕主题(ti)《大模(mo)型的(de)(de)(de)高(gao)效微调和(he)部(bu)署(shu)》、《边缘设备(bei)上(shang)的(de)(de)(de)大模(mo)型微调训练》和(he)《大语言模(mo)型量(liang)化和(he) LightLLM 高(gao)性能推理(li)(li)部(bu)署(shu)系统设计》，从不同的(de)(de)(de)角度探讨如(ru)何提高(gao)大模(mo)型的(de)(de)(de)效率和(he)性能，并为实际(ji)应用场景提供(gong)有效的(de)(de)(de)解决方(fang)案(an)。
出品人
郭晋阳，北京(jing)航空航天大学(xue)人工智(zhi)能(neng)研究院助理教授(shou)、国(guo)(guo)(guo)家(jia)级青年人才、硕(shuo)士(shi)生导师(shi)；主要(yao)研究方向为(wei)轻量(liang)深度学(xue)习、边缘智(zhi)能(neng)计算；近(jin)年来，主持国(guo)(guo)(guo)家(jia)自然科学(xue)基金(jin)青年基金(jin)、科技创(chuang)新2030重(zhong)大项(xiang)目(mu)子课(ke)(ke)题(ti)(ti)等(deng)(deng)多个(ge)重(zhong)点(dian)课(ke)(ke)题(ti)(ti)项(xiang)目(mu)；发表TIP、CVPR等(deng)(deng)国(guo)(guo)(guo)际(ji)顶级期(qi)刊和会议(yi)论文20余(yu)篇；担任TPAMI、IJCV等(deng)(deng)国(guo)(guo)(guo)际(ji)顶级期(qi)刊审稿人与CVPR、ICCV等(deng)(deng)国(guo)(guo)(guo)际(ji)顶级会议(yi)程(cheng)序委员(yuan)会委员(yuan)；荣获ICCV Doctoral Consortium、无人机视觉(jue)检(jian)测(ce)挑战赛(sai)全(quan)球亚(ya)军(jun)等(deng)(deng)荣誉奖项(xiang)；作(zuo)为(wei)专(zhuan)家(jia)组(zu)成员(yuan)参(can)与国(guo)(guo)(guo)内外标准制(zhi)定2项(xiang)，在国(guo)(guo)(guo)际(ji)会议(yi)上(shang)组(zu)织(zhi)专(zhuan)题(ti)(ti)研讨(tao)会2次；相关(guan)技术(shu)已在港(gang)中(zhong)(zhong)文-商(shang)(shang)汤Open-MM、亚(ya)马逊(xun)DGL、百(bai)度飞桨等(deng)(deng)多个(ge)开放平台中(zhong)(zhong)集成验证，并在商(shang)(shang)汤科技业务(wu)场景中(zhong)(zhong)上(shang)线应(ying)用。
主题介绍
Monash University 长聘助理教授庄博涵：大模型的高效微调和部署
深度学习，尤其(qi)是最近涌(yong)现的(de)基础大(da)(da)模(mo)型，已(yi)经(jing)彻底(di)颠(dian)覆了人工智(zhi)能领域。这些(xie)模(mo)型在图像识别、自然(ran)语言(yan)处(chu)理等各种任务取得(de)了显著的(de)突(tu)破。然(ran)而，大(da)(da)模(mo)型存在参数(shu)量大(da)(da)、计算(suan)量大(da)(da)、功(gong)耗高(gao)等挑战，这些(xie)问题限(xian)制了它(ta)们在资源受限(xian)的(de)环境中的(de)实(shi)际应用。因此(ci)，高(gao)效深度学习已(yi)经(jing)成为一个(ge)热门的(de)研(yan)究领域。
本次(ci)闭门会，庄博涵将介绍近两年 ZIP Lab 在高(gao)效(xiao)深度学习领域的部分(fen)研究成果，涵盖了从(cong)训练、部署到推理(li)的整(zheng)个流(liu)程，例如(ru)参(can)数高(gao)效(xiao)微(wei)调(diao)、可缝(feng)合(he)神经网络、高(gao)效(xiao)注意力机制和(he)大(da)模型压缩(suo)算法等(deng)。
庄博涵是 Monash University 长聘助理(li)教授、博士生导师，ZIP Lab 独立(li) PI。目(mu)前他专(zhuan)注于(yu)高(gao)效机(ji)器学习算(suan)法(fa)和(he)(he)理(li)论研究(jiu)，以及它们在视觉(jue)和(he)(he)语(yu)言领域(yu)的应用，近年(nian)来在计算(suan)机(ji)视觉(jue)和(he)(he)机(ji)器学习领域(yu)的顶级(ji)国际会议（如CVPR、NeurIPS）和(he)(he)期刊（如TPAMI）上发表了40多篇论文(wen)。他还承(cheng)担了多个业界(jie)项目(mu)，部分研究(jiu)成果已(yi)经被业界(jie)广泛引(yin)用，并转化(hua)为工(gong)(gong)业界(jie)实际应用工(gong)(gong)具，还曾(ceng)担任(ren)多个知名(ming)学术(shu)会议的高(gao)级(ji)委员会成员，包括(kuo) ICML、NeurIPS、ICLR、CVPR 和(he)(he) ICCV 等。
麻省理工学院在读博士朱力耕：边缘设备上的大模型微调训练
设备上的(de)(de)学(xue)习和高效(xiao)微调可实现(xian)持续(xu)且保(bao)护隐私(si)的(de)(de)定制（例如(ru)，根据个性(xing)化数据在本地微调大型语言模(mo)型）。 然而，现(xian)有的(de)(de)训练(lian)框架是为具有强大加速(su)器（例如(ru) GPU、TPU）的(de)(de)云服(fu)务器设计的(de)(de)，缺(que)乏(fa)对边缘(yuan)学(xue)习的(de)(de)优(you)化，面临(lin)资源限制和边缘(yuan)硬(ying)件多样性(xing)的(de)(de)挑(tiao)战。
本次闭门会，朱力耕将介绍一个可在各种边缘(yuan)设备上进(jin)行微调(diao)的、微型、稀(xi)疏(shu)且高(gao)效(xiao)的引(yin)擎 PockEngine。 PockEngine 支持稀(xi)疏(shu)反向传播。它会修剪反向图并(bing)通过测量内存节省和延迟减少来稀(xi)疏(shu)更新(xin)模(mo)型，同时保持模(mo)型质量。
同时，PockEngine也支(zhi)持多种应用程序、前端（PyTorch/TensorFlow/Jax）和硬件后端（CPU/GPU/DSP）。 与现成的 TensorFlow (Raspberry Pi) 相(xiang)比(bi)，PockEngine 实(shi)现了高达 15 倍的加速，节(jie)省了 5.6 倍的内(nei)存(cun)反向(xiang)传(chuan)播(bo) (Jetson Orin)。 值得注意的是，PockEngine 能(neng)够以 550 个令牌(pai)/秒的速度在 NVIDIA Jetson Orin 上微(wei)调 LLaMA2-7B，比(bi) PyTorch 快 7.9 倍。
朱力耕师从韩松教授， 研究方(fang)向主要(yao)集中在高(gao)效深(shen)度学习(xi)系(xi)统(tong)(tong)和(he)(he)算法之间。他(ta)设(she)计了(le)第一个软硬协同的 AutoML 算法并可以扩(kuo)展到大规模的数据集的算法 ProxylessNAS，迄今已有(you) 1400 引(yin)用和(he)(he) 1300 Github stars，并开发了(le)高(gao)效推理系(xi)统(tong)(tong)和(he)(he)深(shen)度学习(xi)训练系(xi)统(tong)(tong)，项目已经(jing)被整合到 PyTorch 和(he)(he) AutoGluon 等(deng)(deng)框架中，曾被麻省理工学院新闻和(he)(he) IEEE Spectrum 等(deng)(deng)媒体报道(dao)。
商汤科技研究副总监龚睿昊：大语言模型量化和 LightLLM 高性能推理部署系统设计
大语(yu)言模型动辄上千亿的参数量对(dui)于各种平台的高效、低成本部(bu)署(shu)带来了更大挑战(zhan)。模型量化和高效的推(tui)理(li)系统设计成为提高 LLM 推(tui)理(li)效率的关键(jian)。
本次闭门(men)会，龚睿昊将分享 Outlier Suppression 大语言模型量化系列方法和基于 LightLLM 的高性(xing)能推理部署系统 ，全(quan)面介绍实(shi)现极致性(xing)能和吞吐(tu)的算法与系统设计。
龚(gong)睿昊是(shi)商(shang)(shang)汤(tang)科(ke)技研(yan)究(jiu)副总(zong)监(jian)、模(mo)(mo)(mo)(mo)型(xing)工(gong)具链团队负(fu)责人，主要(yao)负(fu)责工(gong)业级(ji)模(mo)(mo)(mo)(mo)型(xing)工(gong)具链，包括大(da)规(gui)模(mo)(mo)(mo)(mo)模(mo)(mo)(mo)(mo)型(xing)训(xun)练、多平台部署、模(mo)(mo)(mo)(mo)型(xing)压缩(suo)和软(ruan)硬(ying)件协同(tong)技术(shu)体系(xi)。通过算法和工(gong)具实现规(gui)模(mo)(mo)(mo)(mo)化工(gong)业落(luo)地(di)，支持智慧城市、智能驾(jia)驶、AIOT、手机(ji)场景等(deng)(deng)大(da)量业务(wu)模(mo)(mo)(mo)(mo)型(xing)的模(mo)(mo)(mo)(mo)型(xing)生(sheng)产，团队支撑了(le)商(shang)(shang)量等(deng)(deng)商(shang)(shang)汤(tang)大(da)模(mo)(mo)(mo)(mo)型(xing)体系(xi)的底层技术(shu)搭建(jian)，致力于 ML+System 的综合(he)效率提升。他在 ICLR、NeuIPS、CVPR、ICCV、IJCV 等(deng)(deng)期刊会议发表二(er)十余篇论文，多次获得(de)低功耗计算机(ji)视觉比赛(sai)(sai) LPCV 冠军(jun)、无人机(ji)追逐(zhu)赛(sai)(sai)亚军(jun)等(deng)(deng)奖项。
报名方式
线(xian)(xian)上(shang)闭(bi)门会将仅限通过(guo)报名(ming)审核的(de)用户(hu)参(can)与。对本(ben)次线(xian)(xian)上(shang)闭(bi)门会感兴(xing)趣的(de)朋(peng)友(you)，可(ke)以扫描海报上(shang)的(de)二维码，添加小助手小双(shuang)(shuang)进行报名(ming)。已添加过(guo)小双(shuang)(shuang)的(de)老朋(peng)友(you)，可(ke)以直接给小双(shuang)(shuang)私信，发送“ 闭(bi)门会07 ”即可(ke)报名(ming)。
此次线上闭门会设有专(zhuan)属交流群(qun)，将邀请出品人(ren)和三位(wei)主(zhu)讲人(ren)入群(qun)。通(tong)过报名的(de)用户(hu)将可以(yi)受邀入群(qun)，并可获得直播地址(zhi)进(jin)行观看(kan)。
