南京旺德睿信息技术有限公司

NVIDIA NIMs有很多的模型托管，本文创建一个基于NVIDIA NIMs云托管模型的API来创建一个基于翻译大模型的Demo.本次使用的模型NVIDIA托管的megatron-1b-nmt，由英伟达训练的翻译模型，下面我们就来演示一下Demo。(a)中文翻译为英语示例(b)中文翻译为俄语示例(c)英语翻译为中文示例(d)英语翻译为法语示例首先安装Install Riva Python ...

这篇文章讨论了up/down InfiniBand路由算法。这个帖子还是比较基础的。但是，读者应该对网络有很好的理解，并且熟悉InfiniBand的概念。多个InfiniBand路由引擎可以在网络上进行配置，例如Min Hop、Up Down、Down Up、Fat Tree等（请参阅opensm）。在Clos/fat tree网络中，最常用的InfiniBand路由算法是Up/Down（U...

使用NVIDIA RAPIDS加速器进行大规模数据上运行的Apache Spark的ETL（抽取-转换-加载）操作可以实现成本节省和性能提升。我们在以前的文章中进行了演示，"ETL用于GPU？使用NVIDIA RAPIDS加速器为Apache Spark和Databricks运行更快、成本更低的工作负载"。在本文中，我们深入探讨了为给定的处理架构加速哪些Apache Spark SQL操作。...

在2020年全球数字超算大会（SC20大会）上，NVIDIA宣布推出NVIDIA® Mellanox® 400G InfiniBand产品，这是全球第一代400Gb/s网速的端到端网络解决方案，可为全球的AI和HPC用户提供最快的网络互连性能，同时将计算、可编程性和软件定义三种技术成功地融于一体，成为业界领先的软件定义、硬件加速的可编程网络，为全球的科研人员和工程人员设计新一代计算系统和提升...

GDS（GPUDirect Storage）使GPU内存和存储之间的直接内存访问（DMA）传输具备直接数据路径，避免通过CPU进行反弹缓冲。这个直接路径增加了系统带宽，减少了CPU的延迟和负载利用率。本指南提供了关于GPUDirect Storage（GDS）的高级概述，以帮助您为GDS启用文件系统，并提供有关文件系统功能及其与GDS的关系的一些见解。1、介绍1.1 开发者的收益GDS 为应...

NVIDIA DGX SuperPOD™超级计算机平台具有NVIDIA DGX™ A100系统，它是下一代人工智能（AI）超扩展到数百个节点。3. 快速部署和更新系统的能力。利用RA，数据中心员工可以开发出具有较少设计迭代的完整解决方案。4. 快速部署和更新系统的能力。利用RA，数据中心员工可以开发出具有较少设计迭代的完整解决方案。4.1 compute fabriccompute fabr...

1、DGX SuperPOD 架构DGXSuperPOD 架构是 DGX 系统、InfiniBand 和以太网、管理节点和存储的组合。下图显示了单个 SU 的机架布局。在此示例中，每个机架的功耗超过40kW。可以调整机架布局以满足本地数据中心的要求，例如每个机架的功率以及DGX系统之间的机架布局以及配套设备，以满足当地的电力和冷却分配需求。完整的单SU机架布局...