南京旺德睿信息技术有限公司

NVIDIA NIMs有很多的模型托管，本文创建一个基于NVIDIA NIMs云托管模型的API来创建一个基于翻译大模型的Demo.本次使用的模型NVIDIA托管的megatron-1b-nmt，由英伟达训练的翻译模型，下面我们就来演示一下Demo。(a)中文翻译为英语示例(b)中文翻译为俄语示例(c)英语翻译为中文示例(d)英语翻译为法语示例首先安装Install Riva Python ...

SuperNIC是一种用于AI云数据中心的网络加速器，可在GPU服务器之间提供强大而无缝的连接。生成式人工智能是快速变化的数字领域中的最新转折点。其中一个使其成为可能的突破性创新是一个相对较新的术语：SuperNIC。什么是SuperNICSuperNIC是一种新型的网络加速器，旨在为以太网为基础的云中超大规模AI工作负载提供超高速的网络连接。它通过远程直接内存访问（RDMA）技术在GPU之...

ChatGPT、Stable Diffusion、DALL-E 以及类似的应用程序让生成式 AI 震惊了世界。ChatGPT 是有史以来发展最快的应用程序。其易用性和令人印象深刻的功能在短短几个月内吸引了超过一亿用户。生成式 AI 为企业重塑其产品和商业模式带来了紧迫感。正如 NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2023 主题演讲中所说：“AI 的 iPhone 时刻已经到来。...

2023年5月29日,老黄在台北的Computex 2023大会上发布了很多硬件产品的更新，印象最深刻的是面向AI以太网的Spectrum-X方案和支持大语言训练的超级AI集群GH200。今天我们来聊聊其中的Spectrum-X方案。简单来说我理解Spectrum-X是全球第一款专为生成式AI提供的完整端到端以太网络方案，这里包括Spectrum-4系列交换机，Bluefield-3 DPU...

几十年来，传统的云数据中心专注于为广泛的用户群提供各种资源，基础设施组件虚拟化方面的进步使系统和应用程序能够根据需要快速启动以满足需求。这些数据中心非常适合支持一组不同的用户和业务应用程序，并且足以支持通过商品级以太网连接的较小规模的工作负载。虽然以太网包含了一个广泛而全面的功能集，但它不适合扩展到几个节点之外。它也不适合高性能计算。今天，我们面临着新的数据中心类别：人工智能云和人工智能工厂...

1、Redis RDMA简介Remote Dictionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统，是跨平台的非关系型数据库。Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的 API。Red...