使用NVIDIA NIMs API创建基于翻译大模型的Demo

2024-10-21 14:25
NVIDIA NIMs有很多的模型托管，本文创建一个基于NVIDIA NIMs云托管模型的API来创建一个基于翻译大模型的Demo.

本次使用的模型NVIDIA托管的megatron-1b-nmt，由英伟达训练的翻译模型，下面我们就来演示一下Demo。

图片

(a)中文翻译为英语示例

图片

(b)中文翻译为俄语示例

图片

(c)英语翻译为中文示例

图片

(d)英语翻译为法语示例

首先安装Install Riva Python Client和streamlit
   pip install -r

   https://raw.githubusercontent.com/nvidia-riva/python-
   clients/main/requirements.txt
   pip install streamlit

通过API请求模型支持翻译的语言

图片

请求后可以得到模型支持中文、英文、俄语、法语等多种语言的互译。
以下是构建Demo的方法
//导入streamlit、grpc验证和riva

图片

//根据上面得到支持的语言，创建列表映射。

图片

//创建翻译器

图片

//使用streamlit创建文本框

图片

//定义提供api接口的服务器地址和元数据进行身份验证。

图片

//简单的用户界面组件定义

图片

启动完成后使用streamlit run translate.py运行，访问http://localhost:8501即可查看页面。


分享
微信
新浪微博
QQ
QQ空间
豆瓣网
百度贴吧
行业动态解决方案
上一篇 AI大模型服务
下一篇 IT运维外包