英伟达Grace Hopper超级芯片在MLPerf推理基准测试中占据主导地位
NVIDIA凭借最新推出的 NVIDIA GH200 Grace Hopper 超级芯片，在人工智能 (AI) 和高性能计算领域引起了不小的轰动。最近的产品在 MLPerf 基准测试中表现出出色的性能，展示了 NVIDIA 在云和边缘 AI 方面的实力。
具有意义的超级芯片
GH200 Superchip 并不是普通的芯片。它将 Hopper GPU 与 Grace CPU 独特地结合在一起，提供更高的内存、带宽以及在 CPU 和 GPU 之间自动调整功率的能力，以实现最佳性能。这种创新的集成让芯片在功耗和性能之间实现微妙的平衡，确保人工智能应用程序在需要时获得所需的资源。
出色的 MLPerf 结果
MLPerf 基准测试是一项受人尊敬的行业标准，NVIDIA 的 GH200 也没有让人失望。该超级芯片不仅运行了所有数据中心推理测试，还展示了 NVIDIA AI 平台的多功能性，将其范围从云操作扩展到网络边缘。
此外，NVIDIA 的 H100 GPU 也不甘落后。HGX H100 系统配备了 8 个 H100 GPU，在所有 MLPerf 推理测试中都展示了卓越的吞吐量。这突显了 H100 GPU 的巨大潜力和功能，特别是对于计算机视觉、语音识别、医学成像、推荐系统和大型语言模型 (LLM) 等任务。
TensorRT-LLM：增强推理性能
NVIDIA 始终走在持续创新的最前沿，TensorRT-LLM证明了这一传统。这款生成式人工智能软件可增强推理能力，并作为开源库提供。尽管它没有及时提交给 MLPerf 进行 8 月份的评估，但它还是有希望的，允许用户增强 H100 GPU 的性能，而不会产生额外的成本。Meta、Cohere 和 Grammarly 等合作伙伴从 NVIDIA 在增强 LLM 推理方面的努力中受益，重申了此类软件开发在 AI 领域的重要性。
根据最新的 MLPerf 基准测试，L4 GPU 在大量工作负载中表现出了值得称赞的性能。当这些 GPU 放置在紧凑型加速器中时，其性能指标比具有更高额定功率的 CPU 的效率高出六倍。专用媒体引擎的引入，与 CUDA 软件的配合，赋予了 L4 GPU 优势，尤其是在计算机视觉任务中。
突破界限：边缘计算等
这些进步不仅仅局限于云计算。NVIDIA 对边缘计算的重视在 Jetson Orin 模块系统中得到了体现，与之前的版本相比，其在对象检测方面的性能提升了高达 84%。
MLPerf：透明的基准测试标准
MLPerf 仍然是全球用户做出购买决策所依赖的客观基准。Microsoft Azure 和 Oracle Cloud Infrastructure 等云服务巨头，以及戴尔、联想和 Supermicro 等知名系统制造商的加入，凸显了 MLPerf 在行业中的重要性。
总之，NVIDIA 最近在 MLPerf 基准测试中的表现巩固了其在 AI 领域的领导地位。凭借广泛的生态系统、持续的软件创新以及对提供高质量性能的承诺，NVIDIA 确实正在塑造人工智能的未来。
如需更深入地了解 NVIDIA 成就的技术信息，请参阅链接的技术博客。那些热衷于复制 NVIDIA 基准测试成功的人可以从MLPerf 存储库和NVIDIA NGC 软件中心访问该软件。
版权声明：本文由用户上传，如有侵权请联系删除！