Benchmark IA sur matériel

Description
Bancs d'essai d'IA locale, débit mesuré par matériel et par modèle

Ce jeu de données rassemble 2596 mesures de débit d'IA locale, une ligne par grappe de matériel,
modèle, quantification, moteur et nombre de cartes. Il répond à une question concrète : quelle
machine fait tourner quel modèle, à quelle vitesse, dans quelle configuration.

Les mesures sont publiées par la communauté de LocalMaxxing,
qui en expose l'API publique. Le tri, l'agrégation et la sélection sont faits par
gyom.fr, qui documente la méthode sur cette page et sur
Matériel.

Ce que contient le fichier

34 colonnes, 2596 lignes, 589 grappes de matériel et 661 modèles
distincts, du 2026-04-25 au 2026-10-05.

  • Matériel : identifiant et nom de la grappe, classe (carte graphique ou mémoire unifiée), carte
    ou puce, vendeur, famille, variante, nombre de cartes, mémoire, processeur, système.
  • Modèle : nom, identifiant Hugging Face, taille en milliards de paramètres, famille.
  • Configuration : moteur et sa version, quantification, longueur de contexte, taille de lot,
    décodage spéculatif, Multi Token Prediction.
  • Mesures : débit de génération en tokens par seconde, temps jusqu'au premier token en
    millisecondes, VRAM de pointe, puissance annoncée du matériel.
  • Traçabilité : adresse de l'exécution retenue chez la source, contrôle de la mesure par la
    source (oui ou non), nombre d'exécutions derrière la ligne, date.
Méthode de sélection
  1. Seules les exécutions approuvées et portant un débit de génération mesuré sont retenues,
    8585 sur 8585 lues à la source.
  2. Une ligne par combinaison grappe, modèle, quantification, moteur et nombre de cartes,
    2596 combinaisons retenues.
  3. Dans une combinaison, la meilleure exécution contrôlée par la source ; à défaut la meilleure non
    contrôlée, et la colonne metrique_verifiee le dit. 88 lignes sur 2596 portent une
    mesure contrôlée.
  4. Lot de 1 privilégié, parce qu'il décrit la vitesse qu'un particulier obtient. Quand seul un lot
    plus grand est publié, la colonne taille_lot le dit : 2439 lignes sur 2596 sont
    au lot de 1.
  5. Aucune donnée personnelle : ni identifiant ni nom de contributeur, ni extrait de prompt ou de
    réponse exécutés. La colonne metrique_verifiee dit qu'une mesure a été contrôlée, jamais par qui.
Limites
  • La couverture des colonnes secondaires est partielle : temps jusqu'au premier token
    71 %, VRAM de pointe 40 %,
    puissance 16 %. Les cellules vides veulent dire non
    renseigné à la source, pas zéro.
  • Un débit mesuré dépend de la quantification, du moteur, de sa version et de la longueur de
    contexte. Une ligne se lit avec ces colonnes, jamais seule.
  • La colonne moteur_version reprend la chaîne publiée par la source : elle est hétérogène, et
    elle nomme parfois le dépôt public du moteur employé.
  • 474 lignes sur 2596 ont été mesurées avec le décodage spéculatif actif, ce qui
    augmente le débit sans augmenter la qualité du modèle. La colonne le signale.
  • Ce jeu n'est pas exhaustif : il agrège, il ne recopie pas la source, et il renvoie à chaque
    exécution retenue pour la vérification.
Producteur
Guillaume SERRAND
Ce jeu de données a été publié à l'initiative et sous la responsabilité de Guillaume SERRAND.
Dernière mise à jour
  • Fréquence de mise à jour non respectée

Une nouvelle navigation dans les ressources est disponible
1 fichier principal

Schéma:https://gyom.fr/donnees/bancs-ia-locale-schema.json
Mis à jour csv (935,6 Ko)7