有钱就能做算力,已经成为过去式。
大模型对于算力的指数级需求,一度让不少企业蠢蠢欲动,2023年,光倒卖英伟达GPU卡就是一门来钱快、利润高的生意,但到了年末,部分企业发现即便有钱能买到GPU卡,算力却不是堆卡就能堆起来的。
量变引起质变,根本原因是大模型算力的复杂度变化,例如业内通常千卡集群训练千亿参数大模型,万卡集群才能较好训练万亿参数大模型,即便是精调等算力相对较小的需求,也存在着大量的算力浪费。
在通用算力为主的算力时代,互联网等上层应用基本趋于稳定,底层通用算力的优化也没有太多文章可做,但是大模型是全新的业务负载,本身还处于快速演进阶段,与之相匹配的算力也较难做到针对优化。
大模型算力,既是服务器厂商的机会,也可能成为洗牌的开始。
宁畅总裁秦晓宁指出,大模型在细分行业落地过程中,已经不再局限于算力性能这一单一竞争要素,面临算效、适配、应用等问题日益复杂,愈发需要系统性AI计算方案提供全方位、全周期支持。
算法协同优化、数据处理能力、模型可解释性以及与特定行业应用的融合度,都成为了智能计算能否成功推动技术创新和实际落地的核心因素。
大模型算力,是系统级工程
据此前报道,OpenAI训练GPT-4在大约25000个A100上训练了90到100天,算力利用率在32%到36%之间,被视为业内标杆的大模型尚且如此,可以想象,更多大模型一边摸索一遍训练,相当比例的算力都会白白浪费掉。
大模型与算力,是新时代的掘金者与卖水人,不管大模型发展得如何,为大模型提供算力的厂商赚得盆满钵满,但随着大模型行业的收敛,卖水这门生意也有了足够高的门槛。
秦晓宁提到,大模型的1.0阶段,即百模大战时期。流行这样一句话,大模型厂商第一要务就是购买更多的GPU服务器,很多算力提供商并不需要过多关注客户需求,大模型客户只需要更快更强的硬件产品。
2024年,大模型从参数竞赛进入到商业化、产业化的落地阶段,企业不仅需要算力硬件,更多是整个支撑能力体系的升级,就像“木桶原理”一样,任何一个短板都可能造成系统的瓶颈。
举例来说,算、网、存、管四个方面,超大规模算力集群需要超强的稳定性,同时需要多台集群GB级数据规模的通信能力,存储的读写和容量也要跟上大模型的需求,管理需要减少损失、设备故障等方面问题。
“今年在产业垂直落地的场景当中,需要我们精调的行业模型客户越来越多,而且客户对于算效的需求不像前一类客户需求那么强烈,他们需要极高的模型精度和效率,95%是行业模型精度的门槛,在To C场景,60%的精准度已经可以满足普通大众的需求了。”秦晓宁透露。
从大模型精度方面看,需要考虑的因素也更复杂。例如行业数据本身涉及到内部信息、客户数据等,需要考虑数据的安全合规性,在此基础上还要进行高质量的数据治理,做好清洗、标注等一系列工作,避免低质量数据导致模型的置换问题。另外,还需要算法、调优硬件加速包括软件工具等各方面的支持。
当大模型训练完之后,在部署阶段需要确保训练推理业务之间的软硬件数据,实现无缝实时对接,同时模型部署阶段会有很多的冗余,需要进一步做好模型的精简、蒸馏、压缩,算力平台也可以实时加速推理,算力调度可实现轻量级一键式甚至分钟级部署。
在管理大模型应用的过程中,需要一个稳定的运行环境,同时对整体资源进行实时全面监管,高效稳定的体系。
“不管是万卡时代的算效彩票还是深入行业的精度盲盒,以及高效调用的服务瓶颈,这是我们当下急需要解决的问题。”秦晓宁总结道。
全局智算,服务器厂商的战略升维
大模型算力的复杂度,已经让算力厂商不得不加速迭代自己的技术栈,宁畅的应对之策是全局智算战略,比起过去以提供硬件产品为主的能力,宁畅相当于给自己来了一次能力升维。
全局智算共分为六个层面,最底层是硬件资源层,也是广泛熟知硬的产品,包括传统通用服务器、GPU、整机柜、存储、网络多种形态产品。
硬件层之上是集群设计层,这一层不是将海量硬件进行简单的连接堆叠,而是分析整个业务运行的特征和系统的量化需求,提供从微架构、网络、存储、AI模型特征等一系列的方案化设计。
集群层之上是算子优化层,宁畅为了降本增效提供了整体AI算子自优化能力,减少模型执行的时间,降低了资源的消耗,提高了能效比,使得大模型能够在有效的资源上高效地运行。
再往上AI中台层,目前宁畅已经全面支持NVIDIA AI Enterprise,并基于此提供AI算力系统深度整合的工作栈。
更高是业务层和场景层,宁畅可以根据不同的业务和场景,针对性优化大模型效果。如此,宁畅可以提供从咨询、测试、运维、售后的全服务场景,满足客户从大模型的开发、适配、部署、全场景的全行业的需求,并且根据客户的不同阶段,提供极具性价比定制化智算部署方案。
以某车企的大模型算力需求为例,宁畅首先搭建了集群互联方案,其中搭载了液冷整机柜产品,实现了电液盲插,非常方便运维和部署。
在软件层面,由于自动驾驶对实时性和延迟性要求非常高,针对于自动驾驶特定的算法和模型,软件栈提供了优化的深度学习框架和加速库,包括了宁畅为自动驾驶场景的预训练模型、模型压缩、加速技术,以及车辆特定的硬件平台优化深度学习库。
为了确保自动驾驶系统的安全性,车企需要进行大量的模拟测试,软件栈包含模拟和测试工具,支持虚拟环境创建、场景重现,测试用例自动生成和执行。自动驾驶企业还需要处理和标注大量的数据,宁畅能够支持数据预处理自动标注等,提高了数据的利用效率,加速模型的训练过程。
大模型算力是全新的复杂系统,不论是宁畅还是其他算力供应商,都在参与并构建新时代的算力生态,这也将成为未来一段时间的行业主旋律。
(本文首发钛媒体APP 作者|张帅,欢迎添加作者mr3right爆料、交流)
根据《网络安全法》实名制要求,请绑定手机号后发表评论