Parmi les avancées les plus significatives, le wafer-scale engine WSE-3 de Cerebras (moteur à échelle de wafer de troisième génération) se distingue comme le processeur IA le plus rapide de la planète. Ce bijou de technologie surpasse tous les autres processeurs en termes de cœurs optimisés pour l’IA, de vitesse de mémoire et de bande passante du tissu sur puce.
L’avantage à l’échelle du wafer : WSE-3 vs Nvidia H100
Le WSE-3 de Cerebras éclipse ses concurrents, notamment le Nvidia H100, dans presque tous les aspects mesurables. Avec une taille de puce de 46 225 mm² contre 826 mm² pour le H100, et un total de 900 000 cœurs contre 16 896 FP32 + 528 Tensor pour le H100, l’avantage de Cerebras est indéniable. Le WSE-3 offre également 880 fois plus de mémoire sur puce et 7 000 fois plus de bande passante mémoire que le GPU leader sur le marché, sans parler de sa bande passante de tissu qui dépasse de 3 715 fois celle entre les processeurs graphiques.
| WSE-3 | Nvidia H100 | Avantages Cerebras | |
| Taille | 46,225 mm² | 826 mm² | 57 X |
| Cœurs | 900,000 | 16,896 FP32 + 528 Tensor | 52X |
| Mémoire embarquée | 44 Gigaoctets | 0.05 Gigaoctets | 880 X |
| Bande passante mémoire | 21 Pétaoctets/s | 0.003 Pétaoctets/s | 7,000 X |
| Bande passante du tissu | 214 Pétabits/s | 0.0576 Pétabits/s | 3,715 X |
Conçu pour l’IA
Chaque cœur du WSE-3 est programmable indépendamment et optimisé pour les opérations algébriques linéaires tensorielles et éparses qui sous-tendent l’entraînement et l’inférence des réseaux neuronaux pour l’apprentissage profond. Cette optimisation permet d’atteindre une performance, une efficacité et une flexibilité maximales.
Capacité et bande passante mémoire : Pourquoi choisir ?
Contrairement aux dispositifs traditionnels, où la mémoire cache de travail est minuscule, le WSE-3 intègre 44 Go de SRAM ultra-rapide sur puce, répartis uniformément sur toute la surface du chip. Cela permet à chaque cœur d’accéder à une mémoire rapide en un seul cycle d’horloge avec une bande passante extrêmement élevée de 21 PB/s.
Performances à l’échelle d’un cluster sur une seule puce
La programmation d’un cluster pour l’apprentissage profond à grande échelle est souvent un processus douloureux qui nécessite des dizaines à des centaines d’heures d’ingénierie. Avec le WSE, aucun goulot d’étranglement n’entrave le progrès. Cerebras offre une ressource de calcul IA à l’échelle d’un cluster avec la facilité de programmation d’une machine de bureau individuelle, utilisant PyTorch standard. L’objectif est de consacrer du temps à la découverte en IA, plutôt qu’à l’ingénierie de clusters.
En résumé
- Introduction du WSE-3: Le Wafer-Scale Engine version 3 (WSE-3) est le plus grand processeur jamais construit, propulsant le système CS-3 de Cerebras. Il surpasse de loin les GPU traditionnels en termes de taille, de nombre de cœurs de calcul, et de mémoire sur puce à haute performance.
- Capacités impressionnantes : Le WSE-3 intègre 4 trillions de transistors et 900 000 cœurs optimisés pour l’IA, avec 44 gigaoctets de mémoire sur plaquette de haute performance, ce qui accélère considérablement les travaux d’IA.
- Conception optimisée pour l’IA: Chaque cœur du WSE-3 est programmable indépendamment et optimisé pour les opérations algébriques linéaires éparses basées sur les tenseurs, essentielles pour l’entraînement des réseaux neuronaux et l’inférence en apprentissage profond.
- Avantages uniques du WSE-3: Contrairement aux dispositifs traditionnels, le WSE-3 offre 44 Go de SRAM sur puce, assurant un accès à la mémoire rapide et à haute bande passante pour chaque cœur, ce qui élimine le besoin de techniques de programmation distribuée complexes.
- Performances de communication élevées: L’interconnexion sur plaquette du WSE-3 supprime les ralentissements de communication, offrant une bande passante inter-cœurs de 214 Pb/s, largement supérieure à celle des GPU leaders sur le marché.
- Comparaison avec les GPU traditionnels: Le WSE-3 est 57 fois plus grand que le plus grand GPU, possède 52 fois plus de cœurs de calcul, et offre une bande passante mémoire 7 000 fois supérieure.
- Spécifications techniques détaillées: Le WSE-3 est fabriqué avec un processus de 5 nm, couvrant une surface de silicium de 46 225 mm^2, et intègre 4 trillions de transistors et 900 000 cœurs optimisés pour l’IA, avec 44 Go de mémoire sur puce et une bande passante mémoire de 21 Pb/s.
En conclusion, le WSE-3 de Cerebras symbolise un tournant majeur dans le domaine de l’IA, offrant des performances inégalées qui ouvrent de nouvelles possibilités pour la recherche et l’application de l’intelligence artificielle. Cette avancée promet non seulement d’accélérer le développement de l’IA, mais aussi de rendre ces technologies plus accessibles à une gamme plus large d’utilisateurs et d’applications, marquant ainsi le début d’une nouvelle ère dans l’innovation technologique.
Pour plus d’infos consulter la fiche technique WSE-3 Datasheet . Accédez à toute l’actualité de l’actualité IA sur Pause Hardware
