近日有台媒报道,特斯拉为了扩编超算Dojo的算力规模,可能会加深与台积电的合作。
Dojo的核心是一颗特斯拉自研的芯片D1,其基于台积电7nm制程和先进封装技术打造。今年D1在台积电的投片量约为5000片12吋晶圆,业界预测,这一数字到明年有望增至1万片。
当算力成为数字经济时代的重要生产力,无论是抢购GPU还是争夺代工产能,似乎都再正常不过。而令人好奇的是,Dojo究竟会给特斯拉带来怎样的协同效应?
2021年AI Day上,特斯拉正式发布了自己的超级计算机Dojo。Dojo的发音源自日语,意为“道馆”。通俗点讲,基于自动驾驶及其他AI项目的视频数据,Dojo可以提供大规模的机器学习能力,从而训练神经网络。
要知道,特斯拉之前的超算采用的是英伟达GPU。马斯克曾解释说,如果英伟达能够提供足够的GPU,特斯拉可能就不需要Dojo了。英伟达分给特斯拉的订单显然不够。
但从另外一个角度看,这也许正是马斯克的“礼貌性借口”。Dojo项目负责人最初是这样介绍的,马斯克想要一台超快的训练计算机来训练 Autopilot。所以Dojo诞生了。
又或许也像艾萨克森《埃隆·马斯克传》中所写的,“他对成本的关注,以及他天生的控制欲,让他产生了这样一种想法:尽量多在公司内部制造零部件,而不是从供应商那里购买。”
如果能用更低的成本,换取相当的性能和更高的推理效率,那为什么不自研呢?因而有观点认为,Dojo 存在的意义之一,便是为了FSD能够实现更好的安全性和自动驾驶能力。
按照时间表,特斯拉Dojo在今年7月开启量产。最近一段时间,马斯克也在不断“剧透”FSD的相关成果,更加引得市场关注。
根据特斯拉2021年公布的数据,每台Dojo超级计算机集成了120个训练单元,内置 3000颗 D1芯片,拥有超过100万个训练节点,算力则高达1.09EFLOP(每秒千万亿次浮点运算)。
而英伟达测算过,在4096颗 A100 GPU互联的情况下,训练10000 亿参数的神经网络模型大约需要 3~4 周时间;而在4096颗 H100互联的情况下,时间大约需要1周。
眼下,AI大模型已经进入“万亿参数量”时代,对训练芯片的算力和数量的需求不断增长。包括全球互联网巨头积极采购GPU芯片,特斯拉欲加大D1投片量,都是最好的证明。
另外对于马斯克来说,除了特斯拉,X(原 Twitter)内部也启动了新的AI项目,着手开发大语言模型,所以除了秘密采购GPU外,保证D1的产能也至为关键。
不过,我们也看到出现了一种新的质疑声:特斯拉Dojo初步投产,台积电是否能满足其需求?
首先从产能配额来看,去年年底,有消息称,台积电因遭客户砍单,7nm制程的产能利用率跌至50%以下。来到今年,受惠于AI大模型迅速兴起,高性能计算(HPC)需求尤其旺盛,使得台积电7nm产能利用率不断回升。据悉现已恢复至7~8成,但尚未满载。
结合中国台湾地区产业链的消息,台积电早于计划将7nm制程的月产能提升到了13万片,年底计划提升到14万片晶圆。换句话说,特斯拉的1万片晶圆至少现在来看是可以满足的。
除了采用台积电7nm制程,特斯拉Dojo的D1芯片也用上了InFO等级系统单晶圆(System-on-Wafer,SoW)技术,能将HPC芯片在不使用PCB和基板的情况下,与散热模块整合在一个封装中,从而加速生产流程。
从台积电披露的信息来看,该封装技术的优点包括但不限于,电气性能方面的高带宽密度和低PDN阻抗,以及更好的计算性能和电源效率。这是台积电在2020年推出的,也是其专为超算AI芯片选择的技术路线。
尽管特斯拉尚未公布D1大规模应用的进展,但日前摩根士丹利在报告中指出,超算Dojo可能会推动特斯拉robotaxi和软件服务的普及,从而带动其市值提升近6000亿美元。受该报告影响,特斯拉股价应声大涨10.6%。
截至发稿前,特斯拉市值达8597.93亿美元。接下来,特斯拉是会带来更多惊喜,还是会慢慢挤牙膏,尚需观察。