PIAF, construire un jeu de données francophones ouvert pour l’IA

Le recours à l’intelligence artificielle au sein de l’action publique est souvent identifié comme une opportunité pour interroger des textes documentaires et réaliser des outils de questions/réponses (QR) automatiques à destination des usagers. Interroger le code du travail en langage naturel, mettre à disposition un agent conversationnel pour un service donné, développer des moteurs de recherche performants, améliorer la gestion des connaissances, autant d’activités qui nécessitent de disposer de corpus de données d’entraînement de qualité afin de développer des algorithmes de questions/réponses. Le dataset PIAF est un jeu de données d’entraînement francophone public et ouvert qui permettrait d’entraîner ces algorithmes.

En nous inspirant de SQuAD, le jeu de données bien connu de QR anglais, nous avons l’ambition de construire un jeu de données similaire qui sera ouvert à tous. Le protocole que nous avons suivi est très similaire à celui de la première version de SQuAD (SQuAD v1.1). Néanmoins, quelques modifications ont dû être apportées pour s’adapter aux caractéristiques du Wikipédia français. Une autre grande différence est que nous n’employons pas de micro-travailleurs via des plateformes de crowd-sourcing.

Après quatre mois d’annotathons PIAF, nous avons une plateforme d’annotation robuste, une quantité non négligeable d’annotations et une démarche d’animation de communauté et de participation collaborative bien calée et innovante au sein de l’administration française.

PIAF : un outil mutualisé du Lab IA

En mars 2018, la France a lancé sa stratégie nationale pour l’intelligence artificielle. Pilotée au sein de la Direction interministérielle du numérique, cette stratégie comprend trois volets : la recherche, l’économie et la transformation publique.

La politique de la donnée étant un axe majeur du développement de l’intelligence artificielle, la mission Etalab pilote la mise en place d’un “Lab IA” interministériel, dont la mission est d’accélérer le déploiement de l’IA dans les administrations via 3 activités principales :

  1. Constituer une équipe coeur afin d’internaliser des compétences et de l’expertise autour de l’IA
  2. Accompagner des projets d’IA dans les administrations, par l’intermédiaire d’appels à manifestations d’intérêt
  3. Co-construire des outils mutualisés pouvant être utilisés de la manière la plus ouverte possible

Le projet PIAF est l'un des outils mutualisés du Lab IA.

Descriptif des données mises à disposition

Le dataset suive le format de SQuAD v1.1. PIAFv1.0 contient 3835 pairs des questions/réponses (des nouvelles versions avec plus des pairs QR seront mises à jour de manière mensuelle/bimestrielle). Il s'agit d'un fichier type JSON. Un fichier texte exemplifiant le schéma est inclus ci-dessous. Ce fichier peut être utilisé pour générer et évaluer des modèles de Question-Réponse. Par exemple, en suivant ces instructions.

On a besoin de vous !

Nous remercions profondément nos contributeurs qui ont fait vivre ce projet jusqu’à aujourd’hui. Si toi aussi tu veux rejoindre la communauté et contribuer à PIAF en écrivant des questions-réponses, tu peux le faire ici : piaf.etalab.studio. Ce sera aussi l’occasion d’apprendre plein de choses en lisant des articles Wikipedia !

Liens

Des informations sur le protocole suivi, sur les actualités du projet, sur la plateforme d'annotation et le code lié, sont ici :

Ressources

Fichier principal

piaf-v1.0.json

Dataset PIAF - Questions-Réponses

Documentation

squad-structure.txt

Schéma type JSON suivi par le dataset PIAF Q&A

Ressources communautaires

Vous avez construit une base de données plus complète que celles présentées ici ? C'est le moment de la partager !

Réutilisations

Vous avez réutilisé ces données et publié un article, une infographie, ou une application ? C'est le moment de vous faire connaître ! Référencez votre travail en quelques clics et augmentez votre visibilité.

Discussions

Discussion entre l'organisation et la communauté à propos de ce jeu de données.