Apple collabore avec l’Université du Wisconsin–Madison sur « RubiCap », un cadre d’entraînement pour la description d’images dense, pensé pour produire des légendes précises sur chaque région d’une photo plutôt qu’une phrase globale. L’équipe revendique des modèles compacts de 2, 3 et 7 milliards de paramètres qui surpassent, en aveugle, des systèmes allant jusqu’à 72 milliards de paramètres, avec un taux d’hallucinations minimal.
La description dense d’image sert de brique pour les modèles vision‑langage, la génération d’images guidée par texte et l’accessibilité. Le goulot reste le coût d’annotation humaine et la faible diversité des données synthétiques produites par de grands modèles. RubiCap contourne ces limites avec un schéma de renforcement guidé par « rubrique » qui structure finement le signal de retour.
Renforcement guidé par critères et arbitrage multi‑modèles
Le pipeline part d’un échantillon d’environ 50 000 images. Des modèles de tête (les auteurs citent GPT‑5 et Gemini 2.5 Pro) génèrent des légendes candidates couvrant les régions d’intérêt. Gemini 2.5 Pro agrège ensuite ces sorties, isole convergences et angles morts, puis formalise des critères d’évaluation explicites.
Un modèle Qwen2.5 joue le rôle d’arbitre et note chaque description selon ces critères. Ce retour systématique, plus riche qu’une simple note de qualité globale, oriente l’optimisation par renforcement pour corriger précisément les erreurs de couverture, d’attribution et de granularité. Résultat : un apprentissage échantillon‑efficace et moins enclin aux hallucinations.
Des modèles compacts, des scores en tête
Apple annonce trois modèles RubiCap de 2, 3 et 7 milliards de paramètres. En tests à l’aveugle, la variante 7B arrive en tête et affiche le plus faible taux d’hallucinations, devant des concurrents jusqu’à 72B. Fait notable, la version 3B dépasse parfois la 7B, signe que la qualité des signaux de renforcement et des critères pèse davantage que le seul volume de paramètres.
Les auteurs positionnent RubiCap comme un cadre générique pour entraîner des décrypteurs d’images denses plus diversifiés, plus fiables et moins coûteux en données humaines, avec un intérêt direct pour la formation de modèles multimodaux, les systèmes text‑to‑image et les fonctions d’accessibilité.
Si ces résultats se confirment publiquement, la méthode de renforcement guidé par critères pourrait rebattre les cartes côté VLM compacts : des modèles de quelques milliards de paramètres, intégrables sur des GPU courants ou en edge, deviendraient crédibles pour des flux de légendage denses en production, réduisant la dépendance aux mastodontes cloud tout en améliorant la robustesse.
Source : ITHome
