太阳集团0638IT之家 8 月 24 日信息,英伟达邀请部门媒体举办吹风会,向科技记者初度显示了 Blackwell 平台。英伟达将出席 8 月 25-27 日举办的 Hot Chips 2024 举动,显示 Blackwell 平台正在数据中央参加行使的闭连景况。
英伟达正在本次吹风会上,反对了 Blackwell 推迟上市的信息,并分享了更无数据中央 Goliath 的闭连音讯。
英伟达正在吹风会上演示了 Blackwell 正在其一个数据中央的运转景况,并夸大 Blackwell 正正在按策动促进,并将于本年晚些时刻向客户发货。
英伟达流露 Blackwell 不单仅是一款芯片,它如故一个平台。就像 Hopper 相似,Blackwell 包括面向数据中央、云盘算推算和人为智能客户的巨额策画,每个 Blackwell 产物都由分别的芯片构成太阳集团0638。
英伟达还分享了 Blackwell 系列产物中各类桥架的全新图片。这些是初度分享的 Blackwell 桥架图片,显示了策画下一代数据中央平台所需的巨额专业工程技巧。
Blackwell 旨正在知足今世人为智能的需求,并为大型叙话模子(如 Meta 的 405B Llama-3.1)供应精巧的机能。跟着 LLMs 的领域越来越大,参数也越来越多,数据中央将必要更多的盘算推算和更低的延迟太阳集团0638。
多 GPU 推理本事是正在多个 GPU 进步行盘算推算,以获取低延迟和高模糊量,但采用多 GPU 门途也有其繁复性。多 GPU 处境中的每个 GPU 都必需将盘算推算结果发送给每一层的其他 GPU,这就必要高带宽的 GPU 对 GPU 通讯。
多 GPU 推理本事是正在多个 GPU 进步行盘算推算,以获取低延迟和高模糊量,但采用多 GPU 门途也有其繁复性。多 GPU 处境中的每个 GPU 都必需将盘算推算结果发送给每一层的其他 GPU,这就必要高带宽的 GPU 对 GPU 通讯。
该芯片通过 72 个端供词应 7.2 TB/s 的全对全双向带宽,网内盘算推算才华为 3.6 TFLOPs。NVLINK 调换机托盘配有两个云云的调换机,供应高达 14.4 TB/s 的总带宽。
英伟达采用水冷散热,来提拔机能和服从太阳集团0638。GB200、Grace Blackwell GB200 和 B200 体例将采用这些新的液冷治理计划,可将数据中央措施的电力本钱最多低浸 28%。
英伟达™(NVIDIA®)还分享了环球首张行使 FP4 盘算推算天生的人为智能图像。图中显示,FP4 量化模子天生的 4 位兔子图像与 FP16 模子非凡近似,但速率更疾。
该图像由 MLPerf 正在巩固扩散中行使 Blackwell 造造而成。现正在,低浸精度(从 FP16 到 FP4)所面对的离间是会失掉少少精度。