ODU-IA-CULTURELLES

Cette réutilisation présente un audit comparatif des réponses de modèles d’IA conversationnels sur l’offre des festivals en France, à partir du jeu de données officiel Panorama des festivals.

La méthode repose sur un protocole de test reproductible : une liste de biais potentiels (ex. biais territorial, popularité, erreurs factuelles, couverture) est définie, puis évaluée à l’aide de 2 à 3 prompts par biais. Les prompts sont standardisés (action attendue, contexte, identité/ rôle, tonalité et format de sortie) afin de permettre une comparaison entre modèles. Les réponses sont ensuite structurées sous forme de tableau (festival, commune, région, domaine, niveau de confiance) et comparées aux informations présentes dans le fichier de référence (matching avec normalisation des libellés).

La réutilisation propose des indicateurs de synthèse (ex. taux de couverture des festivals présents dans la base, taux d’écarts sur la localisation ou le domaine, sur/sous-représentations territoriales) ainsi que des visualisations permettant d’explorer ces écarts. L’objectif est de faciliter une lecture critique des réponses produites par les IA sur des contenus culturels et de documenter, sur un périmètre donné, les limites et variations de ces modèles face à une source institutionnelle.

Ce travail a été réalisé dans le cadre d’un projet étudiant Open Data University, en lien avec le défi “IA culturelles” porté par le ministère de la Culture.