Compar:IA

Compar:IA est un comparateur d'IA conversationnelles (une "chatbot arena") développé au sein du Ministère de la Culture avec une double mission :

• Former et sensibiliser au pluralisme des modèles, aux biais culturels et linguistiques et aux enjeux environnementaux des IA conversationnelles.
• Constituer et publier des jeux de données de questions et de préférences utiles à des fins d'observation des usages et d'amélioration des IA conversationnelles en français.

Le comparateur compar:IA est développé dans le cadre de la start-up d'Etat compar:IA (incubateur de l'Atelier numérique et AllIAnce) intégrée au programme beta.gouv.fr de la Direction interministérielle du numérique (DINUM) qui aide les administrations publiques à construire des services numériques utiles, simples et faciles à utiliser.

Lien vers l'arène: comparia.beta.gouv.fr

Lien vers le dépôt Github du projet: https://github.com/betagouv/ComparIA

Pour en savoir plus: https://www.comparia.beta.gouv.fr/a-propos

Les données collectées via compar:IA sont publiés dans trois jeux de données :

• Conversations compar:IA : Jeu de données de l'ensemble des questions posées et réponses reçues sur la plateforme compar:IA.
• Votes compar:IA : Jeu de données regroupant les préférences exprimées par les utilisateurs après une conversation entière. Les votes permettent de comparer deux modèles lorsqu'aucune réaction n'a été donnée sur des messages individuels.
• Réactions compar:IA : Jeu de données regroupant les réactions des utilisateurs de compar:IA à l'échelle d'un message. Il reflète les préférences exprimées au fil des discussions, message par message.