Nvidia推出具有540亿个晶体管和5 petaflops性能的超凡A100 AI芯片
英伟达为其Nvidia A100人工智能芯片进行了包装,而首席执行官黄仁勋称其为推进AI的终极工具。黄仁勋表示,它可以执行超级计算任务,这在与新冠肺炎的对抗中至关重要,它比当今更昂贵的系统更具成本效益和功能。
该芯片有540亿个巨大的晶体管(通断开关是所有电子设备的基础),它可以执行5 petaflops的性能,大约是上一代芯片Volta的20倍。黄在今年的Nvidia GTC活动上的主题演讲中宣布了这一消息。
发射原定于3月24日进行,但因新冠肺炎大流行而推迟。英伟达重新安排了今天的发布时间,因为这些芯片以及使用该芯片的DGX A100系统现已上市并发售。
Nvidia A100芯片使用相同的Ampere架构(以法国数学家和物理学家André-MarieAmpère命名),可用于消费类应用,例如Nvidia的GeForce图形芯片。与Advanced Micro Devices(AMD)相比,Nvidia专注于为其GPU创建单个微体系结构,以用于商业AI和消费者图形使用。但黄仁勋说,芯片上不同元素的混合和匹配将决定它是用于AI还是用于图形。
DGX A100是Nvidia的AI DGX的第三代平台,黄仁勋表示,它实质上是将整个数据中心的功能放在一个机架中。那是夸张的,但是产品管理数据中心和云平台主管Paresh Kharya在新闻发布会上说,代号为Ampere的7纳米芯片可以代替当今使用的许多AI系统。
黄仁勋说:“您获得了56台服务器的额外内存,CPU和电源的所有开销……崩溃了。” “经济价值主张确实不在计划之列,这确实令人兴奋。”
例如,要处理当今的AI培训任务,一位客户需要600个中央处理器(CPU)系统来处理数以百万计的数据中心应用查询。那花费了1100万美元,将需要25个服务器机架和630千瓦的功率。借助Ampere,Nvidia可以以100万美元,一个服务器机架和28千瓦的功率完成相同数量的处理。
卡里亚说:“这就是为什么你听到詹森说:'购买越多,储蓄越多'的原因。”
黄补充说:“它将取代一大堆推理服务器。训练和推论的吞吐量超出了图表,超出了图表的20倍。”
一阶
芯片的第一笔订单将送到美国能源部(DOE)的阿贡国家实验室,该实验室将使用该集群的AI和计算能力更好地理解和应对新冠肺炎。DGX A100系统使用八个新的Nvidia A100 Tensor Core GPU,提供320 GB的内存以训练最大的AI数据集,以及最新的高速Nvidia Mellanox HDR 200Gbps互连。
通过使用A100多实例GPU功能将DGX A100划分为每个系统多达56个实例,可以加快多个较小的工作负载。结合这些功能,企业可以在一个完全集成的软件定义平台上按需优化计算能力和资源,以加速各种工作负载,包括数据分析,培训和推理。
DGX A100立即采用和支持
英伟达表示,许多全球最大的公司,服务提供商和政府机构已下达了DGX A100的初始订单,第一批系统已于本月初交付给阿贡。
阿贡国家实验室计算机,环境和生命科学副实验室主任里克·史蒂文斯(Rick Stevens)在一份声明中表示,该中心的超级计算机正被用于对抗冠状病毒,并在机器上运行AI模型和模拟,以期寻找治疗方法和疫苗。DGX A100系统的强大功能将使科学家能够在几个月或几天内完成一年的工作。
佛罗里达大学将是美国第一家接受DGX A100系统的高等教育机构,它将部署到整个课程中以注入AI,以培养具有AI能力的劳动力。
其他早期采用者包括位于德国汉堡-埃彭多夫大学医学中心的生物医学AI中心,该中心将利用DGX A100推进临床决策支持和流程优化。
目前,全球范围内的公共和私人组织都在使用数千个上一代DGX系统。这些用户中有一些全球领先的企业,包括汽车制造商,医疗保健提供商,零售商,金融机构和物流公司,这些行业正在其整个行业中采用AI。
超级豆荚
Nvidia还展示了其下一代DGX SuperPod,它是140个DGX A100系统的集群,能够实现700 petaflops的AI计算能力。该公司将140个DGX A100系统与Nvidia Mellanox HDR 200Gbps InfiniBand互连技术相结合,构建了自己的下一代DGX SuperPod AI超级计算机,用于对话AI,基因组学和自动驾驶等领域的内部研究。
Kharya说,仅用了三周的时间便构建了SuperPod,该集群是全球最快的AI超级计算机之一-达到了以前需要数千台服务器的性能水平。
为了帮助客户构建自己的基于A100的数据中心,Nvidia发布了新的DGX SuperPod参考体系结构。这为客户提供了遵循Nvidia使用的相同设计原则和最佳实践的蓝图。
DGXpert程序,支持DGX的软件
Nvidia还启动了Nvidia DGXpert计划,该计划将DGX客户与公司的AI专家联系在一起,以及Nvidia DGX-ready软件计划,该计划帮助客户将经过认证的企业级软件用于AI工作流。
该公司表示,每个DGX A100系统都具有八个Nvidia A100 Tensor Core图形处理单元(GPU),可提供5 petaflops的AI功率,总GPU内存为320GB,每秒带宽为12.4TB。
该系统还具有六个采用第三代Nvidia NVLink技术的Nvidia NVSwitch互连结构,每秒双向带宽为4.8 TB。他们有9个Nvidia Mellanox ConnectX-6 HDR每秒200Gb网络接口,每秒总共提供3.6 TB的双向带宽。
芯片是由台积电采用7纳米工艺制造的。Nvidia DGX A100系统的起价为199,000美元,现已通过全球Nvidia Partner Network经销商发售。
黄仁勋说DGX A100使用HGX主板,该主板重约50磅,是“世界上最复杂的主板”。(这是他在预告片中从家里的烤箱中取出的木板)。它具有30,000个组件和一公里的导线走线。
对于消费类图形芯片,英伟达将以完全不同的方式配置基于安培的芯片。A100将高带宽内存用于数据中心应用程序,但不会在消费类图形中使用。他说,核心也将严重偏向于图形,而不是数据中心需要双精度浮点计算。
黄仁勋说:“我们会有不同的偏见,但每个工作负载都在每个GPU上运行。”
Nvidia推出具有540亿个晶体管和5 petaflops性能的超凡A100 AI芯片:等您坐沙发呢!