Gemma 3 tourne sur une imprimante laser Ricoh avec seulement 14,1 Mo de mémoire utilisés

Le document envoyé au bureau contenait davantage qu’une page à reproduire : il faisait calculer la suite d’une phrase par le périphérique lui-même. Au bout du traitement, la réponse est sortie sur papier.

Omar Sanseviero, ingénieur chez Google DeepMind, a fait fonctionner le modèle Gemma 3 à 270 millions de paramètres sur une imprimante laser Ricoh. Il décrit sur X une expérience menée avec Carbon, sans modification du firmware ni ajout d’une carte de calcul externe.

Gemma 3 exécuté dans l’interpréteur PostScript

Le point d’entrée est PostScript, le langage de description de pages intégré à l’imprimante. Turing-complet, il permet ici d’exécuter autre chose que des instructions de mise en page. Carbon, un moteur léger d’inférence pour transformers, a été associé à une version quantifiée du modèle pour constituer un unique fichier d’impression PostScript brut.

L’exécution s’effectue nativement dans l’interpréteur PostScript Level 3, sur le CPU de la machine, et parcourt les 18 couches du transformer. Pour contenir l’occupation mémoire, le dispositif utilise un chargement dynamique des couches : celles-ci entrent et sortent de la mémoire au fil du calcul.

Le pic annoncé atteint ainsi 14,1 Mo, sur les 244,6 Mo de mémoire virtuelle alloués à PostScript. Les quelque 14 Mo mis en avant ne correspondent donc pas à toute la mémoire disponible sur le périphérique, mais à la consommation maximale relevée pendant cette exécution.

Une réponse imprimée après 184 secondes de traitement

La démonstration rapporte un débit de 61,3 tokens par seconde. Le relevé matériel photographié à côté de la Ricoh détaille aussi le traitement d’une entrée de quatre tokens, « Read the fine » : 184 secondes pour la phase de prefill, puis 0,1 seconde pour décoder un seul token généré, avec un total affiché de 184 secondes.

Une fois le calcul terminé dans la pile PostScript, l’appareil a imprimé « Read the fine print ». Le test porte donc sur une complétion très courte, avec une attente initiale importante, plutôt que sur une conversation prolongée.

L’exécution locale d’un LLM de 3 milliards de paramètres sur un Pixel 7 avait déjà illustré les possibilités de matériels grand public. Cette expérience explore une contrainte différente : faire tenir l’inférence dans un environnement logiciel destiné à l’impression. Son intérêt technique réside surtout dans le chargement des couches à la demande, qui réduit fortement la mémoire de travail, sans que ce seul essai permette de juger les performances sur des générations longues.

Source : Wccftech

Wael.K

Ravi de vous accueillir sur ma page dédiée aux articles ! Je suis Wael El Kadri, et je suis un ingénieur civil de profession. Mais ma véritable passion est le matériel informatique. J'en suis passionné depuis l'âge de 12 ans, et j'aime apprendre et découvrir de nouvelles choses. En 2016, j'ai créé ma page personnelle sur les réseaux sociaux, baptisée Pause Hardware. C'est là que je partage mes créations en modding, mais aussi divers sujets liés au matériel informatique en général. J'ai également crée le site web, pausehardware.com, en 2019 où je publie des articles plus approfondis sur le matériel à travers des tests et revues et articles de news. J'ai eu l'opportunité de participer en tant qu'exposant à plusieurs événements liés aux jeux vidéo, aux côtés de grandes marques, notamment lors de la Paris Game Week en 2018 et 2019. Je reste constamment en quête de nouvelles manières de partager mes connaissances et ma passion pour le matériel informatique avec d'autres passionnés. Voici quelques publications médiatiques qui ont mis en lumière mon travail : Deux articles dans le magazine Extreme PC, parus dans ses  numéros 1 et 21 : Extreme PC Magazine Issue 21 (adobe.com) Également, un article sur Forbes intitulé "Dix Modèles de PC Incroyables en 2021" sur forbes.com : Ten Incredible PC Mods Of 2021 (forbes.com)
guest
0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x