Alibaba Qwen présente « DeepPlanning », un nouveau benchmark pour agents qui évalue la capacité des modèles à planifier des tâches complexes de bout en bout, avec des contraintes réelles et une exigence de cohérence sur la durée. Contrairement aux jeux de raisonnement classiques, le jeu d’épreuves impose une optimisation globale et une tenue stricte des contraintes tout au long du plan.
Un benchmark centré sur la planification réelle
DeepPlanning met l’accent sur des scénarios à forte contrainte: itinéraires multi-jours au niveau minute, limites fermes de temps et de budget, et cas d’achats avec combinaisons dynamiques de produits, empilement de coupons et calcul de seuils de remise pour atteindre le coût total minimal. Les objectifs doivent rester satisfaits du début à la fin, pas seulement à une étape intermédiaire.
Selon les premiers résultats communiqués, des modèles de pointe comme GPT-5.2, Claude 4.5, Gemini et Qwen 3 gardent des angles morts en optimisation globale et en cohérence longue durée. La marche reste notable avant d’atteindre une autonomie décisionnelle complète sur des tâches d’agent exigeant des arbitrages continus.
Disponibilité open source
Le jeu de données est disponible en open source sur Hugging Face et ModelScope pour évaluation et reproduction:
La mise à disposition sur deux plateformes facilite la comparaison croisée et l’intégration dans des pipelines d’entraînement ou de test d’agents, y compris pour des boucles de planification-révision et des systèmes orientés contraintes.
Ce type de benchmark va pousser les laboratoires à traiter la planification comme un problème d’ingénierie des contraintes et de contrôle à horizon long, au-delà du simple raisonnement local. S’il est adopté largement, il pourrait accélérer l’émergence de piles logicielles agentiques plus robustes, capables de mixer optimisation globale, vérification post-planification et garanties de faisabilité.
Source : ITHome
