智东西（公众号：zhidxcom）
编译 | 王涵
编辑 | 漠影
智东西10月14日消息，昨夜，前特斯拉人工智能与自动驾驶视觉总监、OpenAI研究员安德烈·卡帕西（Andrej Karpathy）开源nanochat，号称可以只用不到100美元（约合(he)人(ren)民币711.5元）训(xun)练出(chu)“简易版(ban)ChatGPT”，一经发布在(zai)GitHub上就获得了5.6k星。
▲nanochat Github主(zhu)页（来源(yuan)：Github）
开源地址：
Github：//github.com/karpathy/nanochat
与其早期只涵盖预训练的nanoGPT不同，nanochat是一个极简的、从零构建的全栈训练/推理流程，用最精(jing)简的(de)依赖代(dai)码库(ku)实现了“简易版ChatGPT”。
▲安(an)德烈·卡帕(pa)西（Andrej Karpathy）推文(wen)截(jie)图(tu)（来(lai)源：X）
卡帕西在评论区中回复称，nanochat的基本架(jia)构类似Meta的Llama，但有所简化，并吸收了modded-nanoGPT的一(yi)些改进。
他还透露，截至指令微调（SFT）阶段，整个训练耗时3小时51分钟，总成本为92.4美元（约(yue)合人民币657.4元），“这样我们甚至(zhi)还(hai)能(neng)剩下(xia)8美元买(mai)个冰淇(qi)淋犒劳自己。”他开玩(wan)笑道。
值(zhi)得注意的(de)是，由于目前对强(qiang)化学习（RL）的(de)支持(chi)尚不完善(shan)，卡帕(pa)西(xi)称他并未将其(qi)计(ji)入总运行时间(jian)。
也就是说，开发者只需启动云GPU实例，运行单个脚本，只需不到100美元（约合人民币711.5元），最快4小时，就能训练出可进行简单对话、创作故事诗歌、回答基础问题的“简易版ChatGPT”。
训练约12小时，模型即可在评估模型推理能力、知识基础等基础能力的CORE指标上超越GPT-2。卡帕西还透露，当投入提升至约1000美元（约合人民币7114.7元），训练41.6小时后，模型(xing)表(biao)现还将(jiang)显(xian)著提升(sheng)，能(neng)够解决(jue)基础数学/编程问题并通(tong)过(guo)选择题测试。
例如，深度为30的模型训练24小时（相当于GPT-3 Small 125M的计算量，约为GPT-3的千分之一）后，在多任务的语言理解基准MMLU得分超40分，在简单常识推理任务ARC-Easy超70分，在数学推理能力基准测试GSM8K中获得超20分的成绩。
▲nanochat性能表格(ge)（来源(yuan)：Github）
这个有着8304行代码的项目(mu)实现了以下功能(neng)：
1、使用新的(de)Rust实现训练(lian)分词器(qi)；
2、在FineWeb数据集上预(yu)训练Transformer LLM，并通(tong)过CORE指标多维(wei)度评估；
3、使用(yong)SmolTalk的(de)用(yong)户(hu)-助手对话数据、选择(ze)题数据和工具使用(yong)数据进行中期训练；
4、进行指令微(wei)调，在常识选(xuan)择题（ARC-E/C、MMLU）、数(shu)学（GSM8K）、代码（HumanEval）等基准(zhun)上评(ping)估聊天模型；
5、可选使(shi)用“GRPO”算法在GSM8K数据集上(shang)进行强化学习；
6、通过(guo)带KV缓存的引擎实(shi)现高效推理，支持(chi)简单预填充/解码(ma)和工具调用（轻量级沙(sha)箱中的Python解释器），可通过(guo)CLI或类(lei)ChatGPT网页界面交互；
7、生成(cheng)单页Markdown评估报告，以游戏化(hua)方式总结(jie)全流(liu)程。
在原推文的(de)(de)评论区中(zhong)，卡帕西还给出了(le)一(yi)个nanochat与(yu)用(yong)户(hu)对话(hua)的(de)(de)案例。在这个对话(hua)中(zhong)，基(ji)础版nanochat已经实现AI聊(liao)天机器人(ren)的(de)(de)对话(hua)功(gong)能，并且(qie)可(ke)以根据要求撰(zhuan)写诗(shi)歌。
▲nanochat功能演(yan)示(shi)（来源：X）
在(zai)卡(ka)帕西(xi)(xi)的(de)推文下(xia)，网友们发出一(yi)致好评，有(you)人(ren)(ren)称“非(fei)常(chang)受到启发”，甚(shen)至(zhi)说“这个(ge)人(ren)(ren)（指(zhi)卡(ka)帕西(xi)(xi)）简直是(shi)个(ge)传奇。”
▲网友评论节选(xuan)（来源：X）
还有网(wang)友已经做出了nanochat的可交互实时代码(ma)图谱，能(neng)够更(geng)加(jia)直观地探(tan)索(suo)这个代码(ma)库：
▲nanochat实时代码图谱(pu)（来源：X）
结语：nanochat为AI开发成本控制路径提供参考
nanochat项目的(de)推(tui)出(chu)，为AI模型开发的(de)成(cheng)本控制提供了新的(de)参(can)考。该项目证明了，在适当(dang)的(de)架构(gou)设计和流程(cheng)优化下，以100美(mei)元(yuan)级别的(de)成(cheng)本实(shi)现基础对话AI功能具备技术可行(xing)性。
虽然(ran)当前版本在(zai)性能上仍与商用大模型存(cun)在(zai)差距，但其展现的性价比(bi)优势，为AI技(ji)术(shu)在(zai)更广(guang)泛场景中的应用拓展了可能性。随着开源(yuan)社区对该项(xiang)目的持续优化(hua)，这种(zhong)高效开发模式或将为AI技(ji)术(shu)普及带来新的推动力。
