L’avenir de l’IA se dessine à l’échelle du wafer : Présentation du WSE-3 de Cerebras surpassant le Nvidia H100.

Parmi les avancées les plus significatives, le wafer-scale engine WSE-3 de Cerebras (moteur à échelle de wafer de troisième génération) se distingue comme le processeur IA le plus rapide de la planète. Ce bijou de technologie surpasse tous les autres processeurs en termes de cœurs optimisés pour l’IA, de vitesse de mémoire et de bande passante du tissu sur puce.

L’avantage à l’échelle du wafer : WSE-3 vs Nvidia H100

Le WSE-3 de Cerebras éclipse ses concurrents, notamment le Nvidia H100, dans presque tous les aspects mesurables. Avec une taille de puce de 46 225 mm² contre 826 mm² pour le H100, et un total de 900 000 cœurs contre 16 896 FP32 + 528 Tensor pour le H100, l’avantage de Cerebras est indéniable. Le WSE-3 offre également 880 fois plus de mémoire sur puce et 7 000 fois plus de bande passante mémoire que le GPU leader sur le marché, sans parler de sa bande passante de tissu qui dépasse de 3 715 fois celle entre les processeurs graphiques.

WSE-3Nvidia H100Avantages Cerebras
Taille46,225 mm²826 mm²57 X
Cœurs900,00016,896 FP32 + 528 Tensor52X
Mémoire embarquée44 Gigaoctets0.05 Gigaoctets880 X
Bande passante mémoire21 Pétaoctets/s0.003 Pétaoctets/s7,000 X
Bande passante du tissu214 Pétabits/s0.0576 Pétabits/s3,715 X
Tableau comparatif : WSE-3 vs Nvidia H100 ( source : Cerebras)

Conçu pour l’IA

Chaque cœur du WSE-3 est programmable indépendamment et optimisé pour les opérations algébriques linéaires tensorielles et éparses qui sous-tendent l’entraînement et l’inférence des réseaux neuronaux pour l’apprentissage profond. Cette optimisation permet d’atteindre une performance, une efficacité et une flexibilité maximales.

Capacité et bande passante mémoire : Pourquoi choisir ?

Contrairement aux dispositifs traditionnels, où la mémoire cache de travail est minuscule, le WSE-3 intègre 44 Go de SRAM ultra-rapide sur puce, répartis uniformément sur toute la surface du chip. Cela permet à chaque cœur d’accéder à une mémoire rapide en un seul cycle d’horloge avec une bande passante extrêmement élevée de 21 PB/s.

Performances à l’échelle d’un cluster sur une seule puce

La programmation d’un cluster pour l’apprentissage profond à grande échelle est souvent un processus douloureux qui nécessite des dizaines à des centaines d’heures d’ingénierie. Avec le WSE, aucun goulot d’étranglement n’entrave le progrès. Cerebras offre une ressource de calcul IA à l’échelle d’un cluster avec la facilité de programmation d’une machine de bureau individuelle, utilisant PyTorch standard. L’objectif est de consacrer du temps à la découverte en IA, plutôt qu’à l’ingénierie de clusters.

En résumé

  • Introduction du WSE-3: Le Wafer-Scale Engine version 3 (WSE-3) est le plus grand processeur jamais construit, propulsant le système CS-3 de Cerebras. Il surpasse de loin les GPU traditionnels en termes de taille, de nombre de cœurs de calcul, et de mémoire sur puce à haute performance.
  • Capacités impressionnantes : Le WSE-3 intègre 4 trillions de transistors et 900 000 cœurs optimisés pour l’IA, avec 44 gigaoctets de mémoire sur plaquette de haute performance, ce qui accélère considérablement les travaux d’IA.
  • Conception optimisée pour l’IA: Chaque cœur du WSE-3 est programmable indépendamment et optimisé pour les opérations algébriques linéaires éparses basées sur les tenseurs, essentielles pour l’entraînement des réseaux neuronaux et l’inférence en apprentissage profond.
  • Avantages uniques du WSE-3: Contrairement aux dispositifs traditionnels, le WSE-3 offre 44 Go de SRAM sur puce, assurant un accès à la mémoire rapide et à haute bande passante pour chaque cœur, ce qui élimine le besoin de techniques de programmation distribuée complexes.
  • Performances de communication élevées: L’interconnexion sur plaquette du WSE-3 supprime les ralentissements de communication, offrant une bande passante inter-cœurs de 214 Pb/s, largement supérieure à celle des GPU leaders sur le marché.
  • Comparaison avec les GPU traditionnels: Le WSE-3 est 57 fois plus grand que le plus grand GPU, possède 52 fois plus de cœurs de calcul, et offre une bande passante mémoire 7 000 fois supérieure.
  • Spécifications techniques détaillées: Le WSE-3 est fabriqué avec un processus de 5 nm, couvrant une surface de silicium de 46 225 mm^2, et intègre 4 trillions de transistors et 900 000 cœurs optimisés pour l’IA, avec 44 Go de mémoire sur puce et une bande passante mémoire de 21 Pb/s.

En conclusion, le WSE-3 de Cerebras symbolise un tournant majeur dans le domaine de l’IA, offrant des performances inégalées qui ouvrent de nouvelles possibilités pour la recherche et l’application de l’intelligence artificielle. Cette avancée promet non seulement d’accélérer le développement de l’IA, mais aussi de rendre ces technologies plus accessibles à une gamme plus large d’utilisateurs et d’applications, marquant ainsi le début d’une nouvelle ère dans l’innovation technologique.

Pour plus d’infos consulter la fiche technique WSE-3 Datasheet . Accédez à toute l’actualité de l’actualité IA sur Pause Hardware

Source
Cerebras

Wael.K

Ravi de vous accueillir sur ma page dédiée aux articles ! Je suis Wael El Kadri, et je suis un ingénieur civil de profession. Mais ma véritable passion est le matériel informatique. J'en suis passionné depuis l'âge de 12 ans, et j'aime apprendre et découvrir de nouvelles choses. En 2016, j'ai créé ma page personnelle sur les réseaux sociaux, baptisée Pause Hardware. C'est là que je partage mes créations en modding, mais aussi divers sujets liés au matériel informatique en général. J'ai également crée le site web, pausehardware.com, en 2019 où je publie des articles plus approfondis sur le matériel à travers des tests et revues et articles de news. J'ai eu l'opportunité de participer en tant qu'exposant à plusieurs événements liés aux jeux vidéo, aux côtés de grandes marques, notamment lors de la Paris Game Week en 2018 et 2019. Je reste constamment en quête de nouvelles manières de partager mes connaissances et ma passion pour le matériel informatique avec d'autres passionnés. Voici quelques publications médiatiques qui ont mis en lumière mon travail : Deux articles dans le magazine Extreme PC, parus dans ses  numéros 1 et 21 : Extreme PC Magazine Issue 21 (adobe.com) Également, un article sur Forbes intitulé "Dix Modèles de PC Incroyables en 2021" sur forbes.com : Ten Incredible PC Mods Of 2021 (forbes.com)

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page