Le lancement de l’accélérateur Intel Gaudi 3 marque une étape majeure dans la course à l’IA générative. Dévoilée lors de l’Intel Vision 2024, cette puce promet des performances inédites pour l’entraînement et l’inférence des modèles d’IA générative. Une véritable révolution pour démocratiser ces technologies d’avenir dans des secteurs critiques comme la finance, l’industrie ou la santé.
Une architecture taillée pour la GenAI
Gravée en 5 nm, la puce Gaudi 3 est une concentré de puissance dédié à l’IA. Elle embarque 64 coeurs de processeurs de tenseurs (TPC) programmables spécialement optimisés, épaulés par 8 moteurs de multiplication matricielle (MME). Chaque MME peut réaliser jusqu’à 64 000 opérations en parallèle, un record.
Cette architecture unique, servie par 128 Go de mémoire HBMe2 offrant une bande passante de 3,7 To/s, permet d’exécuter efficacement les calculs d’IA les plus complexes.
Résultat, Gaudi 3 offre jusqu’à 4X plus de puissance en BF16 et 1,5X plus de bande passante mémoire que son prédécesseur Gaudi 2. Idéal pour les grands modèles de langage et multimodaux au coeur de la GenAI.
| Caractéristique/Produit | Accélérateur Intel® Gaudi® 2 | Accélérateur Intel® Gaudi® 3 |
|---|---|---|
| TFLOPs MME BF16 | 432 | 1835 |
| TFLOPs MME FP8 | 865 | 1835 |
| TFLOPs Vector BF16 | 11 | 28.7 |
| Unités MME | 2 | 8 |
| Unités TPC | 24 | 64 |
| Capacité HBM | 96 Go | 128 Go |
| Bande passante HBM | 2,46 To/s | 3,7 To/s |
| Capacité SRAM sur puce | 48 Mo | 96 Mo |
| Bande passante SRAM sur puce | 6,4 To/s | 12,8 To/s |
| Réseau | 600 Go/s bidirectionnel | 1200 Go/s bidirectionnel |
| Interface hôte | PCIe Gen4 x16 | PCIe Gen5 x16 |
| Bande passante maximale de l’interface hôte | 64 Go/s (32 Go/s par direction) | 128 Go/s (64 Go/s par direction) |
| Décodeurs médias | 8 décodeurs | 14 décodeurs |
Intel Gaudi 3 surclasse les processeurs Nvidia H100 & H200
Comparé aux fers de lance de Nvidia, Gaudi 3 fait des étincelles. Face aux H100, il permet un entraînement des modèles Llama 7B/13B et GPT-3 175B 50% plus rapide en moyenne. Sur l’inférence, l’écart est tout aussi impressionnant avec un débit moyen 50% supérieur et une efficacité énergétique 40% meilleure (modèles Llama 7B/70B, Falcon 180B). Un avantage encore plus marqué sur les séquences longues.
Même face au dernier-né H200 de Nvidia, Gaudi 3 garde l’avantage avec une vitesse d’inférence jusqu’à 30% supérieure. Et pour cause, la puce d’Intel est conçue de A à Z pour l’IA, là où les processeurs Nvidia restent des GPU plus généralistes.
Un écosystème ouvert et évolutif
Au delà de sa puissance brute, la plateforme Gaudi 3 mise sur l’ouverture. Ses accélérateurs communiquent via un réseau Ethernet standard, permettant de créer des clusters de calcul de plusieurs milliers de noeuds. Une scalabilité bien plus flexible que les réseaux propriétaires des concurrents.
Côté logiciel, Gaudi 3 supporte les frameworks et modèles les plus populaires comme PyTorch ou ceux de Hugging Face. De quoi faciliter la tâche des développeurs. Un écosystème orchestré avec des partenaires de renom comme Dell, HPE ou Lenovo pour intégrer Gaudi 3 dans leurs serveurs.
Vers une démocratisation de la GenAI
Disponible auprès des OEM au 3e trimestre 2024, Gaudi 3 aura un impact majeur sur le marché de la GenAI. D’autant que son architecture sera également intégrée aux futurs GPU Falcon Shores d’Intel, offrant une plateforme unifiée pour l’IA, des centres de données jusqu’à nos PC.
En bousculant l’hégémonie de Nvidia, Intel rend l’IA générative plus accessible et performante, accélérant son adoption par les entreprises. Avec un temps de mise sur le marché et un coût total de possession optimisés, la génération Gaudi 3 a tous les atouts pour devenir une plateforme de choix pour démocratiser la GenAI à grande échelle, au service d’une innovation plus rapide et efficace.
Conclusion
Le lancement du Gaudi 3 ne marque pas seulement une nouvelle étape pour Intel, mais redéfinit les standards de l’industrie pour les accélérateurs d’IA générative. Avec ce bond en avant sur les performances, l’efficacité et la scalabilité, Intel pose les fondations d’un écosystème matériel et logiciel ouvert pour rendre cette technologie d’avenir plus accessible aux entreprises.
Un changement de paradigme qui va permettre à la GenAI de passer plus rapidement du stade expérimental à un déploiement industriel, au service de cas d’usage critiques. Finance, santé, industrie… Aucun secteur n’échappera à cette vague d’IA générative qui s’annonce, avec Intel Gaudi 3 comme fer de lance. Reste désormais à transformer l’essai en accélérant la mise sur le marché de ces solutions. La bataille de l’IA générative ne fait que commencer, mais Intel a déjà pris une sérieuse option pour en être l’un des leaders.
NB : Intel va lancer Gaudi 3 HL-328 et HL-388 qui seront deux accélérateurs IA spécifiques pour la Chine
