NVIDIA anuncia Hopper Architecture, la propera generació de computació accelerada


GTC—Per impulsar la propera onada de centres de dades d’IA, NVIDIA ha anunciat avui la seva plataforma d’informàtica accelerada de nova generació amb Arquitectura NVIDIA Hopper™donant un salt de rendiment d’ordre de magnitud respecte al seu predecessor.

Rep el nom de Grace Hopper, una científica informàtica pionera dels Estats Units nova arquitectura succeeix l’arquitectura NVIDIA Ampere, llançada fa dos anys.

La companyia també va anunciar la seva primera GPU basada en Hopper, the NVIDIA H100, ple de 80 mil milions de transistors. L’accelerador més gran i potent del món, l’H100 té característiques innovadores com un revolucionari motor de transformació i una interconnexió NVIDIA NVLink® altament escalable per avançar en models de llenguatge d’IA gegantins, sistemes de recomanació profundes, genòmica i bessons digitals complexos.

“Els centres de dades s’estan convertint en fàbriques d’IA: processen i perfeccionen muntanyes de dades per produir intel·ligència”, va dir Jensen Huang, fundador i CEO de NVIDIA. “NVIDIA H100 és el motor de la infraestructura d’IA del món que les empreses utilitzen per accelerar els seus negocis basats en IA”.

Avenços tecnològics H100
La GPU NVIDIA H100 estableix un nou estàndard per accelerar la IA i l’HPC a gran escala, oferint sis innovacions innovadores:

  • El xip més avançat del món — Construït amb 80.000 milions de transistors utilitzant un procés TSMC 4N d’avantguarda dissenyat per a les necessitats de càlcul accelerades de NVIDIA, l’H100 presenta grans avenços per accelerar AI, HPC, ample de banda de memòria, interconnexió i comunicació, incloent gairebé 5 terabytes per segon de connectivitat externa. H100 és la primera GPU que admet PCIe Gen5 i la primera que utilitza HBM3, permetent 3 TB/s d’amplada de banda de memòria. Vint GPU H100 poden suportar l’equivalent del trànsit d’Internet de tot el món, cosa que permet als clients oferir sistemes de recomanació avançats i grans models d’idioma que executen inferències sobre dades en temps real.
  • Nou motor transformador — Ara l’elecció de model estàndard per al processament del llenguatge natural, el Transformer és un dels models d’aprenentatge profund més importants que s’han inventat mai. El motor de transformació de l’accelerador H100 està dissenyat per accelerar aquestes xarxes fins a 6 vegades en comparació amb la generació anterior sense perdre la precisió.
  • GPU multi-instància segura de segona generació — La tecnologia MIG permet dividir una única GPU en set instàncies més petites i totalment aïllades per gestionar diferents tipus de treballs. L’arquitectura Hopper amplia les capacitats MIG fins a 7 vegades respecte a la generació anterior, oferint configuracions multiarrendataris segures en entorns de núvol a cada instància de GPU.
  • Informàtica confidencial — L’H100 és el primer accelerador del món amb capacitats d’informàtica confidencial per protegir els models d’IA i les dades dels clients mentre es processen. Els clients també poden aplicar la informàtica confidencial aprenentatge federat per a indústries sensibles a la privadesa, com ara la sanitat i els serveis financers, així com en infraestructures de núvol compartides.
  • NVIDIA NVLink de quarta generació — Per accelerar els models d’IA més grans, NVLink es combina amb un nou commutador NVLink extern per estendre NVLink com a xarxa ampliada més enllà del servidor, connectant fins a 256 GPU H100 amb una amplada de banda 9 vegades més gran que la generació anterior mitjançant NVIDIA HDR Quantum InfiniBand.
  • Instruccions DPX — Les noves instruccions DPX acceleren la programació dinàmica, utilitzada en una àmplia gamma d’algorismes, inclosa l’optimització de rutes i la genòmica, fins a 40 vegades en comparació amb les CPU i fins a 7 vegades en comparació amb les GPU de la generació anterior. Això inclou l’algoritme Floyd-Warshall per trobar rutes òptimes per a flotes de robots autònoms en entorns de magatzem dinàmics, i l’algoritme Smith-Waterman utilitzat en l’alineació de seqüències per a la classificació i el plegat d’ADN i proteïnes.

Les innovacions tecnològiques combinades de l’H100 amplien la inferència d’IA i el lideratge de formació de NVIDIA per permetre aplicacions immersives i en temps real mitjançant models d’IA a escala gegant. L’H100 permetrà als chatbots utilitzar el model de llenguatge de transformador monolític més potent del món, Megatron 530B, amb un rendiment fins a 30 vegades més gran que la generació anterior, alhora que compleix amb la latència inferior al segon requerida per a l’IA conversacional en temps real. H100 també permet als investigadors i desenvolupadors entrenar models massius com Mixture of Experts, amb 395 mil milions de paràmetres, fins a 9 vegades més ràpid, reduint el temps d’entrenament de setmanes a dies.

Adopció àmplia de NVIDIA H100
NVIDIA H100 es pot implementar en qualsevol tipus de centre de dades, inclosos els locals, el núvol, el núvol híbrid i el perímetre. S’espera que estigui disponible a tot el món a finals d’any dels principals proveïdors de serveis al núvol i fabricants d’ordinadors del món, així com directament de NVIDIA.

El sistema DGX™ de quarta generació de NVIDIA, DGX H100inclou vuit GPU H100 per oferir 32 petaflops de rendiment d’IA amb la nova precisió FP8, proporcionant l’escala per satisfer els requisits de càlcul massius de grans models de llenguatge, sistemes de recomanació, investigació sanitària i ciència del clima.

Totes les GPU dels sistemes DGX H100 estan connectades mitjançant NVLink de quarta generació, proporcionant una connectivitat de 900 GB/s, 1,5 vegades més que la generació anterior. NVSwitch™ permet que les vuit GPU H100 es connectin mitjançant NVLink. Un commutador NVLink extern pot connectar fins a 32 nodes DGX H100 als superordinadors NVIDIA DGX SuperPOD™ de nova generació.

Hopper ha rebut un ampli suport del sector dels principals proveïdors de serveis al núvol Alibaba Cloud, Amazon Web Services, Baidu AI Cloud, Google Cloud, Microsoft Azure, Oracle Cloud i Tencent Cloud, que preveu oferir instàncies basades en H100.

S’espera una àmplia gamma de servidors amb acceleradors H100 dels principals fabricants de sistemes del món, inclosos Atos, BOXX Technologies, Cisco, Dell TechnologiesFujitsu, GIGABYTEH3C, Hewlett Packard Enterprise, InspurLenovo, Nettrix i Supermicro.

NVIDIA H100 a totes les escales
H100 es presentarà en factors de forma SXM i PCIe per donar suport a una àmplia gamma de requisits de disseny de servidors. També hi haurà disponible un accelerador convergent, que combina una GPU H100 amb una NVIDIA ConnectX®-7 400 Gb/s InfiniBand i Ethernet SmartNIC.

L’H100 SXM de NVIDIA estarà disponible a les plaques de servidor HGX™ H100 amb configuracions de quatre i vuit vies per a empreses amb aplicacions que s’escalquin a diverses GPU en un servidor i en diversos servidors. Els servidors basats en HGX H100 ofereixen el màxim rendiment d’aplicacions per a la formació i la inferència d’IA juntament amb l’anàlisi de dades i les aplicacions HPC.

L’H100 PCIe, amb NVLink per connectar dues GPU, proporciona més de 7 vegades l’amplada de banda de PCIe 5.0, oferint un rendiment excepcional per a les aplicacions que s’executen en servidors empresarials convencionals. El seu factor de forma facilita la integració a la infraestructura del centre de dades existent.

El H100 CNXun nou accelerador convergent, combina un H100 amb un ConnectX-7 SmartNIC per oferir un rendiment innovador per a aplicacions intensives d’E/S, com ara la formació d’IA multinode en centres de dades empresarials i el processament de senyal 5G a la vora.

També es poden combinar amb les GPU basades en l’arquitectura NVIDIA Hopper CPU NVIDIA Grace™ amb un ultra ràpid Interconnexió NVLink-C2C per a una comunicació més de 7 vegades més ràpida entre la CPU i la GPU en comparació amb PCIe 5.0. Aquesta combinació — el Superxip de Grace Hopper — és un mòdul integrat dissenyat per servir aplicacions HPC i AI a escala gegant.

Suport de programari NVIDIA
La GPU NVIDIA H100 és compatible amb potents eines de programari que permeten als desenvolupadors i a les empreses crear i accelerar aplicacions des de la IA fins a l’HPC. Això inclou actualitzacions importants del NVIDIA AI conjunt de programari per a càrregues de treball com ara la parla, els sistemes de recomanació i la inferència d’hiperescala.

NVIDIA també va llançar més de 60 actualitzacions de la seva col·lecció CUDA-X™ de biblioteques, eines i tecnologies per accelerar el treball en la informàtica quàntica i la investigació 6G, la ciberseguretat, la genòmica i el descobriment de fàrmacs.

Disponibilitat
NVIDIA H100 estarà disponible a partir del tercer trimestre.

Per obtenir més informació sobre NVIDIA Hopper i H100, mireu el Conferència del GTC 2022 de Jensen Huang, i registra’t al GTC 2022 de forma gratuïta per assistir a sessions amb NVIDIA i líders del sector.