今日，英偉達宣布其DeepSeek-R1模型現(xiàn)已在build.nvidia.com平臺上以NVIDIA NIM微服務預覽版的形式提供。這一消息標志著英偉達在AI服務部署方面邁出了重要一步。
據(jù)了解，DeepSeek-R1 NIM微服務能夠在單個NVIDIA HGX H200系統(tǒng)上每秒處理多達3,872個tokens，為開發(fā)人員提供了強大的處理能力。開發(fā)人員現(xiàn)在可以通過測試和試驗API，為將來的應用做好準備。該API預計很快將作為可下載的NIM微服務提供，成為NVIDIA AI Enterprise軟件平臺的一部分。
DeepSeek-R1 NIM微服務通過支持行業(yè)標準API，簡化了部署過程。企業(yè)可以在其首選的加速計算基礎設施上運行NIM微服務，從而最大限度地提高安全性和數(shù)據(jù)隱私。此外，結合NVIDIA AI Foundry和NVIDIA NeMo軟件，企業(yè)還能夠為專用AI代理創(chuàng)建自定義的DeepSeek-R1 NIM微服務。
英偉達于2024年3月推出了NIM（Nvidia Inference Microservices）云原生微服務，旨在方便各種規(guī)模的企業(yè)部署AI服務。NIM是一套經(jīng)過優(yōu)化的云原生微服務，旨在縮短上市時間，并簡化生成式AI模型在各種環(huán)境下的部署。
原創(chuàng)文章，作者：AI，如若轉載，請注明出處：http://m.rponds.cn/article/704631.html
