Le Shanghai AI Laboratory a dévoilé le 4 février Intern‑S1‑Pro, un grand modèle scientifique multimodal open source affichant 1 000 milliards de paramètres au total. L’équipe revendique le plus grand modèle scientifique open source du moment et met en avant une montée nette des capacités cœur en mathématiques, en raisonnement logique avancé et en agents orientés flux de recherche, avec des résultats de premier plan sur les benchmarks AI4S.
Intern‑S1‑Pro est bâti sur une architecture Mixture of Experts avec 512 experts. À l’inférence, le routage n’active que 8 experts, soit 22 milliards de paramètres effectifs par appel. Le laboratoire indique avoir co‑entraîné compétences générales et scientifiques, et revendique deux percées d’architecture au socle SAGE : introduction d’un encodage de position de type Fourier couplé à un encodeur temporel reconstruit pour renforcer une « intuition physique » couvrant signaux biologiques et phénomènes cosmologiques ; et un mécanisme de routage optimisé pour franchir les goulots de stabilité et d’efficacité de calcul sur un MoE au trillion de paramètres.
Architecture SAGE, routage et stabilité d’entraînement
Le pilier SAGE sert ici de trame « généraliste‑spécialiste » : la modulation temporelle et l’encodage Fourier visent à mieux lier modalités et échelles physiques, tandis que le routage hiérarchique réduit le coût mémoire et les oscillations de gradients typiques des très grands MoE. Le laboratoire affirme avoir verrouillé la robustesse de l’entraînement à très grande échelle sur base de calcul domestique, validant la chaîne complète de l’architecture au déploiement open source.
Côté usages, le modèle cible des tâches scientifiques multimodales et des agents capables d’orchestrer des étapes de recherche réelles. Le positionnement est explicite : rester dans le premier peloton open source pour les workflows scientifiques, tout en gardant un budget d’inférence contenu grâce à l’activation partielle des experts.
Ressources et disponibilité
Une instance en ligne est disponible : chat.intern-ai.org.cn. Le code et les poids sont proposés sur GitHub, HuggingFace et ModelScope. Aucune tarification n’est mentionnée, l’annonce s’inscrivant dans une logique d’ouverture pour la recherche et l’ingénierie d’AGI orientée sciences.
Si les chiffres d’échelle sont marquants, l’intérêt concret repose sur l’équilibre entre spécialisation scientifique et coût effectif d’inférence du MoE. Dans un paysage où les modèles fermés dominent sur certaines tâches de raisonnement, la diffusion d’un 1T param. open source orienté science pourrait accélérer la reproductibilité et les benchmarks d’agents scientifiques, à condition que les jeux de tests et les pipelines d’évaluation soient publiés avec la même rigueur que l’architecture.
Source : ITHome
