Les preuves d'efficacité des ressources payées par l'État, et ce que valent les allégations des offres

Rapport corrigé et complété le 16/10/2026 d'après Q28-verif.md.

Complété le 16/10/2026 d'après le lot navigateur Q31 (§ 1.2 : les pages éduscol du P2IA cycle 2, du P2IA cycle 3 et de Domino ne mentionnent aucune évaluation d'effet ni étude d'impact, celle de Domino ne citant qu'un « témoignage d'usage » ; la page de l'académie de Paris annonce aux écoles des essais en classe et des analyses d'usage sans mesure des acquis ni groupe témoin, une généralisation du P2IA cycle 3 pas avant décembre 2026, et date la R&D de janvier 2025 quand éduscol la date de janvier 2026 ; la liste des ressources recommandées par le CSEN n'est plus en ligne, l'ancienne page Canopé étant en 404 ; § 2 : GraphoGame non lu, le domaine redirigeant vers graphogame.com dont la lecture est refusée ; § 3 : documents des académies de Paris et de Bordeaux non téléchargés).

Corrigé le 16/10/2026 d'après le relevé de la vague 8 (§ 4 point 1 : la conclusion vaut pour les ressources achetées sur marché (P2IA, MIA Seconde, Domino), pas pour tout le numérique financé par l'État, e-FRAN relevant aussi du PIA 2 ; § 4 point 2 et § 2.2 ligne 4 : l'absence de clause d'effet porte sur les seuls avis publiés, et l'étude d'impact indépendante est une intention de la DNE rapportée par l'IGÉSR ; § 3.2 et § 4 point 2 : MIA Seconde a été ouverte sur des indicateurs d'usage et un rapport intermédiaire dont on ignore s'il mesurait un effet, décision connue par une seule académie ; § 2.1 ligne 2 et § 3.2 : les 3,76 M€ sont notifiés, pas exécutés, et la « procédure adaptée » des DECP est à prendre avec réserve ; § 2.1 ligne 1 : les effectifs de l'essai Lalilo sont prévus, pas analysés ; § 3.1 : les 17,76 M€ du Sénat sont un cumul déclaré sans statut d'exécution ; § 3.3 et § 5 : l'antériorité de la collecte d'Adaptiv'Fraction est une déduction ; § 3.5 et § 2.1 ligne 8 : la page de Paris est une annonce d'académie, la généralisation « pas avant décembre 2026 » une borne ; § 3.5 : les montants de l'avis 24-2571 sont des estimations et des maxima, qui rendent douteux les 444 444 € des DECP ; § 3.5 et § 2.2 ligne 8 : la citation « au moins égal à 25% » vient de la page Édu-Up, la fiche 2025 porte « ≤ 25 % », contradiction non levée ; § 3.6 et § 2.2 ligne 7 : les 9 916 935 € d'e-FRAN-Transfert sont une enveloppe ; § 3.7 et § 4 point 6 : CP Maths est observationnel et les trois études sont annoncées ; § 2.3 ligne 10 et § 4 point 5 : les « 2500 élèves » de Fondamentapps ne coïncident pas avec les « plus de 2 300 » d'e-FRAN-Transfert ; § 2.3 ligne 15 : l'agrément du CSEN pour GraphoGame reste non vérifié ; § 4 point 3 : la gratuité des évaluations nationales est un raisonnement du rapport, pas du CSEN ; § 4 point 4 : Lalilo est le seul cas documenté de sponsor éditeur et son délai n'est pas une règle ; § 4 point 8 : trois cas, quatre avec Domino, pas une règle, et la formule « Une ressource impulsée par le ministère » est rattachée à la brochure MIA Lycée).

Vague 8 de l'étude « manuels de cours en ligne ». Relevé du 12/10/2026 (extractions entre 08 h 30 et 10 h 15).

Manque traité : recenser les évaluations publiées des effets sur les apprentissages des ressources éditées ou achetées sur commande publique (P2IA cycle 2, P2IA cycle 3, MIA Seconde puis MIA Lycée, Domino, TNE, e-FRAN), avec leur protocole, leur auteur et leurs résultats ; établir ce que les marchés et les guichets publics exigent comme évaluation ; relever les formules d'efficacité des éditeurs et des edtech et la source qu'ils donnent.

Rapports de l'étude repris, sans les refaire : V09 § 4 et § 5 (recherche sur le manuel, Formalect, e-FRAN de première vague absent des fichiers ANR) ; V08 § 4.12 (EdReports) ; V11 § 3.4 et § 3.6 (plan numérique 2015-2017 et DEPP DT 2026-E11) ; R07 § 2-3 (les services P2IA, leurs consortiums, le passage au payant) ; R13 (MIA Seconde, diaporama DRANE Martinique) ; Z01 (usage de Domino) ; Z20 § 3.2 et § 3.6 (P2IA cycle 3 et Édu-Up comme voies de test) ; Z13 (prescripteurs) ; Q13 § 3.5 (évaluation des TNE) ; Y29 (DECP du P2IA cycle 3) ; 12-vague7 § 3.1 et § 3.5.

Choix de périmètre, annoncés :

• France ; ressources dont l'État a payé le développement ou les licences, plus les dispositifs de recherche publics qui évaluent des outils (e-FRAN, CSEN, IDEE) ;
• « évaluation d'efficacité » = mesure d'un effet sur les acquis des élèves ; les mesures d'usage et de satisfaction sont notées comme telles, jamais comme des effets ;
• le niveau de preuve de chaque évaluation est rangé sur l'échelle en quatre phases du CSEN (« La recherche translationnelle en éducation », 2021) : 1 essai par un enseignant, mesures avant/après ; 2 quasi-expérience à deux groupes ; 3 essai randomisé contrôlé ; 4 passage à l'échelle indépendant des concepteurs ;
• les allégations sont citées mot pour mot depuis la page ou le document de l'acteur, avec la source qu'il donne lui-même.

#1. Sujet, requêtes, jeux de données interrogés

Fichiers rangés dans /home/paul/.cache/manuels-vague8/Q28/ (PDF, texte extrait par PyMuPDF en .txt, réponses d'API en .json, pages en .html et leur texte en .txt).

#1.1 Données ouvertes

#1.2 Textes, rapports, recherche

#1.3 Acteurs

Recherches web (moteur standard et étendu, 12/10/2026) : « MIA Seconde évaluation d'impact J-PAL résultats », « "MIA Seconde" OR "MIA Lycée" résultats évaluation Sciences Po IDEE 2026 », « évaluation P2IA cycle 2 effets apprentissages Lalilo Adaptiv'Math bilan », « Domino "les fondamentaux au cycle 2" Maskott évaluation », « CSEN recommandations outils numériques », « CSEN "recherche translationnelle" », « manuel lecture CP "conforme au guide orange" », « Cour des comptes rapport numérique éducatif 2025 OR 2026 », « DEPP … P2IA effets 2025 2026 », « "P2IA" cycle 3 2026 "étude d'impact" », « Lalilo randomized evaluation Huillery Barone », « "Méthode de Singapour" La Librairie des Écoles efficacité », rapport Calvez.

Le rapport de la Cour des comptes désigné par la mission sous le numéro S2025-0795 n'est pas un rapport sur le numérique éducatif : S2025-0795 est L'instruction dans la famille (26/06/2025), déjà lu par R13, V12, V13 et Y18. La Cour des comptes a publié après le rapport du 08/07/2019 deux travaux qui touchent le numérique éducatif : le chapitre du rapport public annuel 2021 sur la continuité scolaire pendant la crise sanitaire et les observations définitives sur le Réseau Canopé (S2024-1110, 04/10/2024). Aucun des deux ne mesure l'effet d'une ressource sur les acquis des élèves. Les trois sont lus au § 3.11.

Numéros de page : pour le rapport HCÉRES e-FRAN et le rapport d'étape e-FRAN-Transfert, les pages citées sont celles imprimées sur le document (page PDF = page imprimée + 1 pour le HCÉRES, + 5 pour e-FRAN-Transfert) ; pour les autres PDF, page imprimée et page PDF coïncident sauf mention « PDF p. ».

#2. Recensement

#2.1 Les évaluations d'effet, une ligne par évaluation

#2.2 Les exigences d'évaluation des payeurs publics, une ligne par dispositif

#2.3 Les allégations d'efficacité, une ligne par allégation

#3. Fiches détaillées et mesures

#3.1 Lalilo : la seule ressource du P2IA cycle 2 évaluée par un essai randomisé académique n'a pas d'effet moyen au niveau d'usage observé

La fiche IDEE (publiée le 05/02/2024, modifiée le 28/05/2026, texte lu tel quel sur la page) décrit « Une évaluation d'impact randomisée de Lalilo portée par des chercheurs de l'ENS-PSL, de Paris Dauphine-PSL, de PSE, et Sciences Po […] menée sur l'année scolaire 2024-2025. Elle s'intéresse spécifiquement aux élèves de CP et vise à mesurer l'impact de l'outil sur les compétences socio-émotionnelles des élèves et leur apprentissage de la lecture. » Équipe : Elise Huillery, Carlo Barone, Thomas Villemonteix, Marc Gurgand, Alexandre Grellet, Lucie Fourel. L'intervention évaluée : formation en ligne, « accès gratuit à une licence complète Lalilo », accompagnement en classe.

« Résultats préliminaires de l'étude » (même page) :

• « L'utilisation de Lalilo est modeste (en moyenne 13 minutes d'utilisation par élève chaque semaine de cours), hétérogène et en-deça des préconisations des concepteurs de l'application (2 sessions de 20 minutes par élève par semaine). Cet usage n'est par ailleurs pas ciblé sur les élèves les plus faibles académiquement. »
• Les enseignants déclarent 35 minutes par semaine en moyenne et une durée idéale de 46 minutes : le déclaré est 2,7 fois le mesuré (35/13, calcul).
• « A ce niveau d'utilisation, Lalilo n'améliore pas les résultats moyens des élèves, ni leurs compétences socio-émotionnelles ni les pratiques des enseignants. Une incertitude demeure néanmoins quant aux effets de Lalilo sur des sous-groupes d'élèves. »

Le registre. L'essai est enregistré à l'AEA RCT Registry sous le numéro AEARCTR-0017205, « Reading with AI: Can Technology Foster Reading Acquisition and Promote Educational Equity? » (page lue en texte brut le 16/10/2026) : enregistrement initial le 14/11/2025, première publication le 19/11/2025, soit après la première année d'intervention (début de l'essai le 01/09/2024, intervention du 01/11/2024 au 01/07/2026, fin prévue le 31/12/2030) ; chercheur principal Alexandre Grellet (Sciences Po), avec E. Huillery, C. Barone, M. Gurgand, T. Villemonteix et L. Fourel ; sponsor : « Lalilo by Renaissance » ; comité d'éthique de l'École d'économie de Paris (avis n° 2024-030 du 24/06/2024). Plan : les enseignants volontaires de CP sont tirés au sort pour recevoir l'outil en 2024-2025 ou en 2025-2026 (le groupe témoin est servi un an plus tard) ; « The treatment assignment was clustered at the school level and stratified » (usage passé de l'outil, ouverture au numérique, éducation prioritaire, académie) ; effectif prévu : « 223 schools, 258 teachers », « 2180 students », « 113 treated schools, 110 control schools ». Consigne d'usage : 40 minutes par semaine, en deux séances de 20 minutes. Critère principal : « academic scores on the standardized French language exam at the beginning of grade 2 (short term outcome) and grades 3-6 », c'est-à-dire les évaluations nationales de début de CE1 puis du CE2 à la 6e, plus des indices d'anxiété, de sentiment d'efficacité, de motivation et d'engagement. Le plan d'analyse et les documents joints sont réservés (« There is information in this trial unavailable to the public »).

L'essai est donc conduit par des chercheurs académiques avec le soutien méthodologique d'IDEE, mais sponsorisé par l'éditeur évalué ; la fiche IDEE ne le dit pas. Aucun document de travail ni aucune notice HAL n'ont été trouvés (HAL q="Lalilo" : 24 notices, toutes d'ingénierie de la parole ou d'auto-évaluation ; recherche web sur les noms des auteurs) : les résultats préliminaires reposent sur une seule source primaire, la fiche du programme qui a conçu le protocole, lue en texte brut. Ils tranchent avec l'IGÉSR (mai 2025), qui écrivait que Lalilo « est massivement plébiscité par les professeurs que la mission a pu rencontrer » et constatait « un impact sur l'individualisation des apprentissages de la lecture » (PDF p. 22) : le plébiscite et l'impact observé par l'inspection portent sur l'usage et le pilotage de classe, l'essai sur les acquis.

Contexte de diffusion : 25 428 licences Lalilo utilisées au printemps-été 2024, contre 5 044 (Navi), 5 822 (Adaptiv'Math), 6 431 (Mathia) et 2 978 (Smart Enseigno) (Sénat r24-101, tableau ; des licences « utilisées » ne disent pas l'usage par élève) ; dépense de la première vague du P2IA : « 17,76 millions d'euros à ce jour, incluant l'acquisition des licences d'utilisation » (même rapport), un cumul déclaré par le Sénat au 30/10/2024, sans ventilation par service ni statut d'exécution précisé ; passage au payant à la rentrée 2025 (19, 35 ou 49 € par an, R07 § 2).

#3.2 MIA Seconde : un essai randomisé indépendant, un rapport intermédiaire non publié qui a fondé la généralisation

Le marché. Les DECP (decp-v3-marches-valides, ligne 2022130017884400) portent un accord-cadre du ministère (SIRET 11004301500012) notifié le 28/09/2022 à DOCAPOSTE (SIRET 49337600800030) : « Prestations d'ingénierie pédagogique pour la conception, le développement et la mise à disposition d'un service numérique de remédiation et d'accompagnement à destination des professeurs et des élèves des classes de seconde, et prestations associées », 3 760 000 €, 60 mois, procédure adaptée, aucune modification déclarée. EvidenceB n'y est pas titulaire ; l'Assemblée écrit que MIA Seconde a été « Développé dans le cadre du Programme d'investissement d'avenir (PIA) par les entreprises EvidenceB et Docaposte » (rapport n° 2993, p. 169). Aucun avis BOAMP n'a été trouvé pour ce marché. Les 3 760 000 € sont le montant notifié déclaré aux DECP, pas un montant exécuté. La « procédure adaptée » et l'absence d'avis BOAMP pour un accord-cadre de 3,76 M€ sont les déclarations des DECP, non recoupées par un autre texte : elles sont à prendre avec réserve, et la nature réelle de la procédure n'est pas établie.

Le protocole. La DRANE Martinique (diaporama du 04/09/2024) : « L'objectif est de mesurer l'impact des algorithmes adaptatifs sur les apprentissages des élèves et sur les pratiques pédagogiques des enseignants » ; « Une version spécifique de « M.I.A. Seconde » sera attribuée de façon aléatoire aux lycées participants, impliquant ou non des algorithmes d'IA » ; quatre groupes de lycées (Compil et M.I.A Tube seuls ; plus les Modules IA ; plus les modes Duo et Atelier ; plus un accompagnement renforcé) ; mesures : test de positionnement de rentrée, traces d'usage, « Evaluation disciplinaire des élèves et enquête finale » en mai-juin 2025 ; « Restitution des résultats : 2026 » ; séminaire de restitution « Début 2026 » ; cinq lycées retenus en Martinique. IDEE confirme une collaboration DNE, IDEE et département d'économie de Sciences Po (équipe Clémence Lobut, Ghazala Azmat), pour « déterminer l'impact de M.I.A. Seconde sur les apprentissages des élèves et les pratiques ». L'article de Nathan du 21/03/2025 attribue l'étude à IDEE « et l'école d'économie de Paris », lancée en octobre 2024, et donne : « Cette recherche porte sur 500 lycées et 20 000 élèves, avec quatre cohortes distinctes », d'après le dirigeant d'EvidenceB ; aucune source publique de l'équipe de recherche ne donne l'effectif, et la fiche IDEE nomme Sciences Po, pas l'École d'économie de Paris.

Le résultat. La DRANE Martinique (05/09/2025) : « Suite aux indicateurs d'usage sur l'année scolaire 2024-2025 et sur la base d'un rapport intermédiaire d'étude d'impact remis en juillet, le service de remédiation […] est ouvert gratuitement à l'ensemble des lycées généraux, technologiques et professionnels pour une année scolaire à compter de septembre 2025 ». La décision nationale est connue par la page d'une seule académie qui la rapporte, et elle s'appuie aussi sur des indicateurs d'usage. Le rapport intermédiaire n'est publié nulle part, et son contenu est inconnu : on ne sait pas s'il mesurait un effet sur les acquis ; la fiche IDEE n'a pas été modifiée depuis le 29/10/2024 et ne porte aucun résultat ; aucune note IDEE, aucune notice HAL (q="MIA Seconde" : 0) n'a été trouvée au 12/10/2026, soit plus de neuf mois après la restitution annoncée pour « début 2026 ».

La suite commerciale. EvidenceB : « MIA Seconde devient pour 2026-2027 MIA Lycée » ; la page « Obtenir MIA Lycée » renvoie à deux distributeurs (LDE, eMLS) et la page produit aux « dispositifs de soutien et de financement spécifiques à votre Région » ; aucun tarif publié. La page produit écrit que MIA Seconde a été « Développé en collaboration avec Docaposte dans le cadre d'un appel à projets du ministère de l'Éducation nationale », et la brochure que MIA Lycée a été « Développé dans le cadre d'un appel à projets du ministère de l'Éducation nationale » (p. 1), alors que les DECP enregistrent un accord-cadre de prestations notifié à Docaposte seul (ci-dessus). La brochure 2026-2027 affiche « +17,4 % de réussite grâce à la personnalisation par l'IA (vs parcours sans IA) » et « Avec MIA, les lycées aux IPS les plus faibles réussissent autant que les meilleurs », sans source ni définition de la « réussite » (taux de bonnes réponses aux exercices ou acquis mesurés hors de l'outil). La comparaison « avec IA / sans IA » est exactement celle que l'essai randomisé a été conçu pour mesurer ; la brochure ne dit pas si ses chiffres en viennent.

Les critiques des prescripteurs. La CFEM (diaporama du 06/06/2025) rapporte qu'une version de démonstration publique « s'avère peu convaincante : les activités proposées et les retours de l'application suite aux réponses de l'utilisateur sont pauvres et inadaptés aux élèves de 2e » ; que « Les contenus sont de la responsabilité de l'entreprise, avec contrôle qualité a posteriori par l'EN » ; et que la DGESCO lui a dit que « la mesure de l'impact est prévue dans le cahier des charges ». Le SNES-FSU (« MIA Seconde, cheval de Troie de l'IA dans nos métiers », 14/01/2025) écrit que « l'expérimentation s'est réduite à huit académies et à environ 150 lycées, selon le ministère », que la phase d'expérimentation « est censée avoir fait l'objet de « retex » qui n'ont pas été rendus publics », et qu'« On peut regretter qu'une levée de fonds de 4 millions d'euros ait été réalisée pour une phase expérimentale aussi floue ». Les « 150 lycées » du syndicat et les « 500 lycées » du dirigeant d'EvidenceB ne se recoupent pas ; aucune source de l'équipe de recherche ne tranche.

#3.3 Adaptiv'Math et ZPDES : un algorithme évalué, un produit évalué par son vendeur

• ZPDES (Inria Flowers) : essai randomisé de 265 enfants de 7-8 ans, 24 classes de 11 écoles de Bordeaux, approuvé par le comité d'éthique COERLE d'Inria, sur le logiciel KidLearn, pas sur Adaptiv'Math ; quatre versions (parcours prédéfini, 62 enfants ; prédéfini avec choix, 59 ; ZPDES, 76 ; ZPDES avec choix, 68) ; « ZPDES indeed improves learning performance but also produces a positive learning experience » ; « adding choice possibilities to a handdesigned linear pedagogical paths produces deleterious effects on learning » (hal-04433127, 2024 ; une affiliation « EvidenceB, Paris » figure parmi celles des auteurs). L'IGÉSR range les « exerciseurs basés sur l'algorithme ZPDES » parmi les « solutions les plus prometteuses » (PDF p. 34) ; le diaporama MIA Lycée nomme les laboratoires « INRIA-Flowers et Sorbonne Université-LIP6 ».
• Adaptiv'Math cycle 2 : la seule publication HAL est une communication de conception (Bouchet et Roy, COPIRELEM 2021, hal-03625573). Trois études d'effet du produit ont pourtant été annoncées, sans résultat publié au 16/10/2026 :
  • la DRANE Nancy-Metz signale, sur le produit P2IA mis à disposition de toutes les écoles en janvier 2022 avec une « licence, financée par le Ministère pendant 4 ans », une « étude scientifique de 9 semaines avec le laboratoire de la Sorbonne, Paris : 195 classes sur la France, 3 écoles de l'académie de Nancy-Metz », en février 2022 (page de la DRANE, copie de l'Internet Archive) ;
  • EvidenceB écrit le 05/03/2025 que « Depuis le mois janvier, EvidenceB a lancé deux études », l'une sur Adaptiv'Math (« qui accompagne déjà les classes du CP au CE2 »), l'autre sur Adaptiv'Fraction, avec « Des tests standardisés […] administrés avant et après », et des premiers résultats « attendus pour la fin de l'année scolaire » ;
  • la « Global Impact Study » d'Adaptiv'Math, menée « Together with University of Geneva and Paris-Cité University », affecte les élèves « to one of two experimental groups or a control group », avec une heure d'usage par semaine des semaines 2 à 6 (ImpactStudy.pdf, p. 1-2). Seuls les résultats d'Adaptiv'Fraction sont publiés. Aucune évaluation d'effet publiée du produit P2IA n'a donc été trouvée, alors que des études ont été faites ou lancées.
• Adaptiv'Fraction (EvidenceB, LaPsyDé, Inria) : essai randomisé par classe, 565 élèves de CM1, 33 classes, 12 académies, trois groupes (témoin, IA, sans IA ; dans le tableau démographique de la présentation, p. 12, les effectifs par sexe, 194/191, 102/119 et 120/127, font 385, 221 et 247, et les « Number of participants » 237, 167 et 206 : aucune des deux séries ne donne le total de 565, si bien que la taille de chaque groupe n'est pas établie ; la synthèse presse dit 555 élèves de CM1-CM2) ; « No Significant Main effect of Group or Time », « Significant interaction of Group x Time: F(2, 562) = 11.01, p < .001 » ; conclusion de la présentation scientifique : « The module combined with AI seems to have a positive impact on fraction learning. However, the module without AI seems to have a negative impact on fraction learning » (CRECE.pdf p. 13 et 16). La synthèse remise à la presse le 17/06/2025 décrit un autre protocole : « Two randomized groups (RCT) », un groupe expérimental ayant accès à Adaptiv'Fraction et un groupe témoin (p. 2) ; elle retient « progressed twice as much » et « four times as much as boys » (p. 6). Le bras sans IA, et son effet négatif, disparaissent du protocole montré à la presse. L'article d'EvidenceB du 13/08/2025 reprend la même présentation à deux groupes (« Control group » et « EvidenceB Group », +17,5 % contre +36,6 % au test CRESST, 0 % contre +7,9 % au test de Bhatia et al.) et la formule « up to twice as fast ». L'enregistrement OSF « Preregistration » est daté du 06/05/2025 ; il décrit « a three-group, between-subjects design », pose comme hypothèse principale que le groupe avec IA progressera davantage que le groupe témoin passif et que le groupe sans IA, et déclare « Registration prior to any human observation of the data ». Or EvidenceB écrivait le 05/03/2025 avoir lancé ses deux études « Depuis le mois janvier », et le dirigeant annonçait le 28/03/2025 que l'étude avait été faite et que ses résultats « seront partagés en juin et à la rentrée scolaire » (nathan.fr) : on en déduit que la collecte a commencé avant l'enregistrement, ce qui en limiterait la portée de pré-enregistrement ; c'est une déduction tirée de ces déclarations datées, les dates de pré-test et de post-test n'étant pas publiées ; l'OSF déclare l'enregistrement antérieur à toute observation des données, pas au recueil.

#3.4 Mathia : un « rapport d'impact » de niveau 1

Le rapport 2023 de Mathia (titulaire du lot mathématiques du P2IA cycle 2) mesure, « Sur un échantillon de 1939 élèves (premier tercile des élèves les plus en difficulté au départ et ayant réalisé plusieurs exercices sur Mathia sur une compétence donnée) », l'écart entre la « Moyenne initiale » et la « Moyenne après plus de 10 exercices réalisés » : de « + 6,78/20 » à « + 13,17/20 » (p. 12). Aucun groupe témoin ; la sélection du tercile le plus faible au départ produit mécaniquement une remontée (régression vers la moyenne), que le rapport ne discute pas. Le reste est déclaratif : 89 % des 187 répondants recommanderaient l'outil, 75 % disent leurs élèves « plus enthousiastes », 52 % mieux accompagner les élèves à besoins particuliers (p. 13). Le Sénat cite ce document comme exemple d'analyse d'impact « réalisée[s] par les fournisseurs de services eux-mêmes » où « l'efficacité des outils n'[est] souvent analysée qu'à l'aune des notes obtenues par les utilisateurs » (r24-101, axe 3, note 39). Sur l'échelle du CSEN, c'est la phase 1.

#3.5 Ce que les marchés et les guichets exigent : une mesure d'effet absente des avis, renvoyée au cahier des charges ou à venir

• P2IA cycle 2 (avis 17-95035, 23/07/2017, ministère, réf. MEN-SG-PCAN-17033) : partenariat d'innovation en trois phases (« P1. Recherche et développement - P2. Pré-industrialisation - P3. Acquisition »), « jusqu'à 2.4 millions d'élèves », 18 mois fermes puis « 4 fois 12 mois » ; critères d'attribution « CRITERES_CCTP » ; la capacité technique peut se prouver par « des résultats d'expérimentations concluant dans le domaine de l'intelligence artificielle » ; aucune obligation d'évaluer les effets sur les élèves n'est écrite dans l'avis.
• P2IA cycle 3 (avis 24-2571 du 10/01/2024, Caisse des dépôts, réf. 20235449 ; résultat 25-117476 du 22/10/2025) : trois lots (français, mathématiques, langues vivantes) estimés à 4 444 444 € chacun, soit 13 333 332 €, « Le montant maximum du marché est de 24 000 000 euro(s) HT soit 8 000 000 euro(s) pour chaque lot », six participants au plus, R&D de 21 mois (le JSON conservé de l'avis donne 4444444 € et 69 mois pour chacun des trois lots). Ce sont des estimations et des maxima d'avis, pas des montants notifiés ni exécutés ; l'égalité des trois estimations rend d'autant plus douteux le montant de 444 444 € que les DECP portent pour le lot mathématiques (Y29 § 3.5). Dans l'avis de 2024, les critères d'attribution des trois lots sont renvoyés au CCTP (« CRITERES_CCTP »), comme en 2017 ; dans l'avis d'attribution de 2025, les critères qualité et prix portent « voir rc ». Le règlement de consultation et le CCTP ne sont pas publiés ; aucun des trois avis n'écrit d'obligation d'évaluer les effets sur les élèves. Ce qu'une académie annonce à ses écoles se lit sur la page de l'académie de Paris (page 133546, mise à jour janvier 2026, lue le 16/10/2026, Q31 § 1.2), qui n'est pas un protocole national : un « marché public innovant » porté par la DNE ; une phase 1 où six solutions sont testées dans des écoles volontaires pour « identifier les plus-values pédagogiques » et « recueillir les retours des enseignants et des élèves », par des « essais en classes » et des « analyses d'usages » ; une phase 2 de généralisation qui « ne se mettra pas en place avant décembre 2026 », une borne annoncée et non une date. Les modalités annoncées sont des retours d'expérience et des analyses d'usage, sans protocole de mesure des acquis ni groupe témoin. La page date la R&D du cycle 3 de janvier 2025 (« Dès janvier 2025 »), la page éduscol 6717 (datée juillet 2026) de janvier 2026 (« à compter de janvier 2026 ») : les deux pages divergent. La page éduscol 6717 ne mentionne aucune évaluation d'effet.
• La DNE décrit à l'Assemblée un dispositif où « le ministère conserve la possibilité d'ajuster ou d'interrompre le dispositif en fonction des résultats observés » (n° 2993, p. 168), sans nommer de mesure d'effet ; l'IGÉSR écrit qu'une « étude d'impact indépendante […] n'était pas demandée jusqu'ici » et que la DNE prévoit de l'intégrer « aux prochaines expérimentations d'outils » (PDF p. 36) : c'est une intention rapportée par l'inspection, sans texte ni appel publié, après avoir écrit que les expérimentations P2IA « ont permis la création d'outils spécifiques (exerciseurs la plupart du temps) souvent plébiscités par les enseignants expérimentateurs mais dont la plus-value reste à établir » (PDF p. 6).
• Édu-Up : aucune des sept conditions d'éligibilité ne porte sur la preuve d'effet. La condition financière se lit différemment selon le texte : la page écrit « un apport propre en numéraire au moins égal à 25% du montant total du projet », la fiche 2025 porte « apport propre ≤ 25 % du montant total du projet » ; c'est la contradiction entre page et fiche que relève 12-vague7 § 5.2, et elle n'est pas levée. La commission (inspection générale, DGESCO, DNE, DRANE, Canopé, CNED, BPI, Agoranov, Éditeurs d'éducation, AFINEF, EdTech France) juge sur « pédagogie, juridique, économique, technique, pilotage » (fiche 2025), et la page décrit une convention signée « à l'issue d'une expertise pédagogique, juridique, technico-économique et financière du dossier et son examen en commission » ; 107 conventions de 2018 à fin 2024 (fiche 2025). Des lauréats font état d'un « rapport d'impact de la phase 1 » (ExoPRO) ou d'un objectif de « documenter son impact pédagogique » (DERi School) sur la page Édu-Up, sans que le guichet l'exige.
• e-FRAN était le seul dispositif lu dont le texte exigeait la mesure : « assurer un suivi et une évaluation précise, notamment des effets sur les résultats des élèves » (convention citée par la Cour des comptes, 2019, p. 30). Le HCÉRES constate en 2021 que cette exigence n'a pas été tenue partout (§ 3.6).

#3.6 e-FRAN : la seule commande publique évaluée projet par projet, et des résultats contrastés

Le HCÉRES (rapport publié le 02/06/2022) évalue les 22 projets (19,5 M€ de subvention, plus de 890 établissements, 1 240 enseignants, 25 000 élèves, 49 thèses) : « Seize projets ont atteint complètement (7 projets […]) ou partiellement (9 projets […]) l'ensemble de leurs objectifs » ; six non (p. 6-7). Faiblesse générale : « Les effets des outils, des dispositifs ou des interventions sur les apprentissages des élèves ne sont pas systématiquement évalués » (p. 7). Recommandation : « Les recherches doivent comporter au moins une étude quasi-randomisée, à large échelle, avec un ou plusieurs groupes-contrôle (actif ou passif) afin d'isoler clairement les effets du système informatique testé » ; les porteurs doivent « davantage faire la différence entre les outils numériques conçus par et pour la recherche en EIAH et les outils numériques produits par le commerce ou par des entreprises EdTech » (p. 8).

Résultats chiffrés publiés (lignes 13 à 20 du § 2.1) : trois interventions à effet positif mesuré par essai (GraphoGame, applications FLUENCE/TRANS3, IntuiGéo selon TRIANGLE « dans certaines études »), une à effet qui ne persiste pas (Kalulu), une à effet négatif (séquences Scratch d'Expire : « détérioration des apprentissages »), une à effet limité à un sous-groupe (AppLINOU hors éducation prioritaire). Les entreprises qui deviendront titulaires de commandes publiques y figurent : Maskott (e-P3C, futur titulaire de Domino), Tralalère (futur membre du consortium Mathia), les éditions Hatier (TRANS3).

e-FRAN-Transfert (France 2030, ANR, enveloppe de programme de 9 916 935 €, neuf projets 2022-2025) prolonge les projets « ayant atteint leurs objectifs » ; restitution au colloque du 19/11/2025 (rapport d'étape hal-05354475v2). V09 § 5 avait établi que la première vague e-FRAN et le P2IA n'apparaissent dans aucun fichier ANR lu ; les résultats ci-dessus viennent des rapports HCÉRES et Monteil et des publications.

#3.7 Le CSEN : une échelle de preuve publiée, une exigence posée aux entreprises, des essais en cours sur les manuels

• L'échelle. « La recherche translationnelle en éducation » (2021) propose « une granularité plus fine en 4 phases » : « 1. Observations informelles, essai par un enseignant dans sa classe […] tests quantitatifs avant et après intervention ; 2. Étude quasi-expérimentale […] ; 3. Etude expérimentale : essai randomisé contrôlé […] ; 4. Etude de passage à l'échelle » (p. 32 de la copie CARDIE), et demande que les résultats portent « un code facile à la lecture » du niveau de preuve, sur le modèle de l'EEF (p. 40).
• L'exigence. Recommandations IA d'avril 2026 : « Prendre le temps d'évaluer si les progrès des élèves sont bien réels (sans se contenter de recueillir simplement leur impression, celle des enseignants, encore moins celle de l'entreprise). Le dispositif des évaluations nationales est pleinement adapté pour cela » ; « Exiger des entreprises qui entendent déployer des outils d'IA qu'elles respectent les propositions du document CSEN « la recherche translationnelle en éducation » et franchissent plusieurs étapes de validation, jusqu'au test en grandeur réelle » ; « Réserver l'usage de l'IA aux situations où ces tests ont démontré une « plus-value pédagogique avérée » » (p. 4).
• Les études sur le manuel que le CSEN soutient (page mise à jour le 09/07/2026 ; études annoncées, en cours) : le CSEN « ne conduit pas directement ces travaux, mais apporte son soutien aux chercheurs qui les portent ». FormaCP (« Évaluer l'effet causal d'une formation à l'utilisation d'un manuel structuré d'enseignement, soit de la lecture (Je lis, j'écris), soit des mathématiques (Méthode de Singapour) », 100 classes de CP ; porteurs : J. Deauvieau, ENS, écrit « Deavieau » sur la page ; J. Ziegler, AMU ; P. Gioia, pôle Ampiric ; M. Neagoy) ; CP Maths (« Évaluer l'effet des manuels et pratiques enseignantes en mathématiques en CP sur les résultats des élèves », 20 000 à 25 000 enseignants de 25 départements, équivalent de Formalect ; porteurs : J. Deauvieau, ENS ; J. Ziegler, AMU ; c'est une étude observationnelle, pas un essai) ; Pionniers des maths (porteurs : Collège de France, Université de Genève, IDEE). Pour ce dernier, la page du CSEN donne « 147 classes dans six académies » dans son texte et « 148 classes dans 6 académies » pour 2025-2026 dans sa fiche, puis « 543 classes dans 10 académies » en 2026-2027 en essai randomisé, et une durée « sur deux ans (2025-2028) » ; la page du programme (pionniersdesmaths.excellolab.org) donne « 147 classes », un essai « dans 566 classes dans les dix académies » nommées et une durée « sur deux ans (2025-2027) ». Les deux pages écrivent : « Si les résultats sont positifs, le programme, conçu d'emblée pour passer à l'échelle, pourra être étendu à l'ensemble du territoire, avec des contenus pédagogiques ouverts et libres de droits » (page du CSEN). Aucune de ces trois études n'a de résultat publié au 12/10/2026. FormaCP mesure une formation à l'usage de deux manuels, pas les manuels seuls.
• Le soutien. Outre la sélection des études par ses 30 membres, le CSEN met les chercheurs en relation avec l'administration, intercède pour les données de la DEPP et, « en cas de réussite à grande échelle », promeut les recommandations (même page).
• La grille des manuels et l'exigence d'un groupe contrôle (2018-2019). Le groupe de travail « Pédagogies et manuels scolaires » du CSEN a publié avec l'académie de Paris Pédagogie et manuels pour l'apprentissage de la lecture : comment choisir ? (analyse menée en 2018-2019) : neuf « points clés » d'analyse (« lire, c'est d'abord décoder », « les textes proposés sont décodables »…), cinq manuels retenus en 2017-2018 dans les classes de REP+ parisiennes, deux gardés en 2018-2019 (Lecture piano, Retz ; Je lis, j'écris, Les lettres bleues), et un classement des 13 manuels utilisés dans 53 classes en trois catégories, dont « ceux dont la pédagogie correspond bien aux éléments retenus, et qui devraient donc présenter une efficacité (4 manuels) ». Le commentaire final du CSEN écrit qu'« il y manque encore un élément clé : l'évaluation objective des progrès des élèves. Une telle évaluation, relativement à un groupe contrôle, devrait systématiquement faire partie de tous les dispositifs innovants à l'éducation nationale » (extrait p. 29-31, copie de l'académie de Lille). Cette grille est celle que reprend le « Focus » du guide orange de lecture (R16 § 3.4). Les répertoires académiques lus suivent la même logique de conformité sans mesure d'effet : le répertoire de Normandie (Orne, mai 2019) applique les « Critères d'analyse des manuels définis par le guide de référence national » ; la mission maîtrise de la langue de Martinique (mars 2023) présente « points forts » et « points de vigilance » de chaque manuel. Le projet de label des manuels prévoyait d'apprécier la qualité pédagogique et didactique « au regard d'un référentiel élaboré par le Conseil scientifique de l'éducation nationale (CSEN) » (projet de décret cité par le CNCPH le 19/04/2024) ; ce référentiel n'était « à ce jour pas connu dans le détail » et le label a été abandonné pour le cycle 2 fin 2024 (12-vague7 § 3.5).

#3.8 IDEE : la voie publique par laquelle une edtech fait évaluer son produit

Le programme IDEE (financé de 2021 à 2029 par l'ANR, ANR-21-ESRE-0034) recense 28 projets, dont huit sur des produits edtech ou des plateformes : Lalilo (résultats préliminaires, § 3.1), MIA Seconde (en cours), Cabrilog, Dédys (accompagnement à la définition d'une évaluation), Plateforme RTP (pilote qualitatif avant un essai randomisé), The Power of Feedback (OCDE, tuteur IA, pilote en France en 2026 puis essai dans quatre pays en 2026-2027), MathAData (essai prévu en 2025-2026), Scolectiv. Une page « Projets en recherche d'évaluateur » liste 16 porteurs (6 en recherche, 10 appariés) qui ont envoyé un formulaire « PASER » ; ses métadonnées portent une modification au 20/06/2024, mais elle liste des PASER envoyés le 06/10/2025 et le 18/11/2025 : elle a été modifiée depuis, sans date de mise à jour affichée. Aucun éditeur scolaire de manuels n'y figure. Le registre de l'essai Lalilo (§ 3.1) montre l'autre forme de la même voie : une edtech qui sponsorise un essai randomisé conduit par des chercheurs académiques.

#3.9 L'Observatoire des usages pédagogiques de l'IA : ce que les expérimentations académiques déclarent mesurer

Mesure faite sur l'export complet du jeu observatoire-des-usages-pedagogiques-de-l-ia-actions-innovantes (183 lignes, modifié le 07/10/2026, extrait le 12/10/2026) :

• 58 expérimentations déclarent un lien avec la recherche (31,7 %), 125 aucun ;
• 2 prévoient une « Note d'évaluation / d'impact » parmi les formats de bilan ;
• une seule nomme un outil du P2IA dans le champ outils_d_ia_utilises : « IA adaptative Lalilo + IA générative LLM » (DSDEN de l'Aveyron, 60 enseignants, 805 élèves du CP au CM2, 2025-2028, suivi CARDIE, DRANE, DSDEN, inspection) ; les outils les plus cités sont Mistral (8), Vittascience (6), ChatGPT (6) ;
• le champ type_etablissement ne compte aucune école (90 lycées, 85 collèges, 4 rectorats, 2 EREA, 1 INSPÉ, 1 service administratif) : la seule ligne limitée au premier degré, celle de Lalilo, est portée par un service administratif (la DSDEN) ; deux autres (un rectorat, un INSPÉ) couvrent des niveaux de la maternelle ou du CP jusqu'au lycée (mesure refaite le 16/10/2026 sur l'export du 12/10/2026). Le jeu recense des expérimentations déclarées ; il ne contient aucun résultat d'effet.

#3.10 La DEPP : une évaluation d'effet sur le numérique, aucune sur les ressources du P2IA, de MIA ou de Domino

La seule évaluation d'effet de la DEPP sur un programme numérique de l'État trouvée par l'étude est celle du plan numérique 2015-2017 (DT 2026-E11, mai 2026) : « une absence d'effet notable des dotations sur les performances des élèves bénéficiaires, à la fois en français et en mathématiques » (V11 § 3.4). Aucune note d'information ni document de travail de la DEPP sur les outils du P2IA, MIA Seconde ou Domino n'a été trouvé (recherche web ciblée ; catalogues data.education.gouv.fr et data.gouv.fr : 0 jeu). Le CSEN désigne pourtant les évaluations nationales de la DEPP comme l'instrument adapté à la mesure (§ 3.7).

#3.11 La Cour des comptes : en 2019, l'impact « n'a pu » être estimé ; en 2021 et en 2024, aucune mesure d'effet des ressources

Le rapport du 08/07/2019 : « Cette enquête n'a pu estimer l'impact propre des techniques numériques sur les résultats des élèves […] : la transformation pédagogique n'a pas été au cœur de la conduite de cette nouvelle politique, l'évaluation des pratiques des enseignants et des effets sur les résultats des élèves est restreinte et tardive » (p. 11) ; « Le ministère ne s'est emparé que tardivement de la question de l'évaluation des impacts » ; l'évaluation était « hors volets » dans la convention État-CDC, avec une enveloppe de 1 M€ (p. 34).

Deux travaux postérieurs de la Cour touchent le numérique éducatif ; aucun ne mesure l'effet d'une ressource sur les acquis :

• Rapport public annuel 2021, chapitre « La contribution du service public du numérique éducatif à la continuité scolaire pendant la crise sanitaire » (synthèse lue, copie du SNPDEN) : les usages, « bridés par une faible acculturation au numérique dans le monde scolaire », « n'ont apporté qu'une contribution modérée à la poursuite des apprentissages » ; « Les premiers résultats des évaluations nationales des acquis des élèves montrent toutefois un impact réel mais limité de cette période sur les compétences des écoliers » (il s'agit de l'effet de la période d'école à distance, pas d'une ressource) ; le chapitre « confirme le constat de carence » de 2019 et recommande de « créer sans délai un site de données sur le numérique pour l'éducation, géré par la DNE et la DEPP » sur les équipements, les connexions et les usages (p. 30-32 de la synthèse). Le chapitre complet n'a pas été lu.
• Observations définitives sur le Réseau Canopé (S2024-1110, exercices 2014-2023, publiées le 04/10/2024) : la Cour estime que « l'établissement a réussi cette mutation » vers la production de ressources numériques (article Localtis du 07/10/2024) ; sur l'évaluation, les résultats suivis portent « sur le taux de satisfaction à partir de déclaration d'opinion des stagiaires, ou sur le taux de validation des cycles de formation, ou encore sur le nombre de consultations de contenus pédagogiques en ligne », et « l'évaluation de l'action de formation continue des enseignants délivrée par le Réseau Canopé, et ses effets sur le long terme dans les apprentissages des élèves, demeure insuffisante et incomplète » ; la Cour demande des « études d'impact portant sur le bénéfice de ce dispositif sur les élèves », la DEPP pouvant être amenée à les conduire (§ 1.2.2.5, p. 31).

#4. Ce que ce sujet apprend pour une solution qui édite des manuels et les met à disposition

1. Aucune ressource numérique achetée par l'État sur marché pour l'élève (P2IA, MIA Seconde, Domino) n'a, au 12/10/2026, d'effet positif publié par une évaluation indépendante. Lalilo, la plus diffusée du P2IA cycle 2 (25 428 licences), « n'améliore pas les résultats moyens des élèves » au niveau d'usage observé (essai académique accompagné par IDEE et sponsorisé par l'éditeur) ; MIA Seconde a un essai randomisé dont rien n'est publié ; Adaptiv'Math cycle 2 a fait l'objet d'études annoncées par la DRANE Nancy-Metz (2022) et par EvidenceB (2025) dont aucun résultat n'est publié ; Domino, Navi, Smart Enseigno et les six services du P2IA cycle 3 n'ont aucune évaluation d'effet trouvée ; le plan numérique 2015-2017 n'a « pas d'effet notable » (DEPP), un résultat qui porte sur les dotations d'équipement et de ressources du plan, pas sur une ressource isolée. Les effets positifs mesurés par essai viennent de la recherche e-FRAN (GraphoGame, Evasion, Fluidili, Ecrimo, Firefly), elle aussi financée par l'État (PIA 2), et de l'algorithme ZPDES testé sur un autre logiciel. Ces essais e-FRAN sont le plus souvent menés par les concepteurs des outils ; GraphoGame, conçu hors de France et évalué par AMU, se discute comme évaluation indépendante. Le constat vaut donc pour les ressources des marchés, pas pour tout le numérique financé par l'État. La phrase du ministre de novembre 2025 (01-existant § 3) décrit l'état exact des preuves. La Cour des comptes le constatait en 2019 (« n'a pu estimer l'impact propre ») et n'a publié depuis aucune mesure d'effet ; en 2024, elle juge insuffisante l'évaluation des effets de l'action de Réseau Canopé sur les apprentissages. Sources : § 3.1, 3.2, 3.3, 3.6, 3.10, 3.11.
2. L'État paie d'abord ; la mesure de l'effet n'est écrite dans aucun avis publié, et l'étude indépendante est une intention. Les avis du P2IA ne contiennent aucune clause d'effet et renvoient leurs critères au CCTP ou au règlement de consultation, non publiés ; l'IGÉSR écrit que la plus-value des exerciseurs nés du P2IA « reste à établir » et que l'étude d'impact indépendante « n'était pas demandée jusqu'ici » ; MIA Seconde a été ouverte à tous les lycées sur des indicateurs d'usage et un « rapport intermédiaire » non publié, dont on ignore s'il mesurait un effet (décision connue par la page de la DRANE Martinique) ; Édu-Up n'exige aucune preuve. Ce constat porte sur les avis et les fiches publiés : les CCTP et règlements de consultation, non publiés, peuvent contenir une clause d'évaluation, et la DGESCO dit que « la mesure de l'impact est prévue dans le cahier des charges » de MIA Seconde (propos rapportés par la CFEM). Une solution qui candidate à une commande publique ne trouve donc, dans les textes publiés, aucune obligation de prouver un effet pour être retenue. L'étude d'impact indépendante adossée aux prochaines expérimentations est une intention de la DNE rapportée par l'IGÉSR, sans texte ni appel publié ; le CSEN demande les phases 3 et 4 dans une recommandation non opposable. Sources : § 3.5, 3.7.
3. L'instrument de mesure que l'institution reconnaît existe déjà : les évaluations nationales. Le CSEN le juge « pleinement adapté » ; qu'il soit sans coût pour une évaluation est le raisonnement de ce rapport, le CSEN ne parle pas de coût ; Kalulu a été suivi jusqu'aux évaluations nationales de CP ; Z01 a croisé Domino avec Repères 2025 sans trouver de lien. Une solution qui conçoit dès l'origine un protocole appariable aux évaluations nationales (repères, tests de positionnement de seconde) produit la preuve dans la forme que l'institution sait lire. Sources : § 3.7 ; hal-04249206 ; Z01 § 3.4.
4. La voie existe pour faire évaluer un produit sans marché : IDEE et le CSEN. IDEE apparie porteurs privés et chercheurs (16 porteurs, formulaire PASER) et a accompagné les essais de Lalilo et de MIA ; le CSEN soutient des études portées par des chercheurs et facilite les terrains et l'accès aux données de la DEPP. Lalilo, seul cas documenté d'un éditeur sponsor, montre une forme que peut prendre cette voie : il sponsorise l'essai, les chercheurs le conduisent et l'enregistrent (AEARCTR-0017205), le groupe témoin reçoit l'outil un an plus tard et le critère est l'évaluation nationale. Aucun éditeur de manuels n'y figure : un manuel évalué par essai randomisé serait, en France, une première trouvée dans aucune source lue (FormaCP mesure l'effet d'une formation à l'usage de deux manuels, sans résultat publié). Le seul délai observé est celui de cet essai : une année scolaire d'essai, plus l'analyse (Lalilo : essai 2024-2025, résultats préliminaires en mai 2026, fin prévue en 2030). Sources : § 3.1, 3.7, 3.8 ; Z20 § 3.8.
5. Ce que valent les arguments des concurrents se lit sur l'échelle du CSEN. Mathia : phase 1 (avant/après sans témoin) ; Adaptiv'Fraction : phase 3 conduite par le vendeur, dont la communication presse présente un protocole à deux groupes et efface le bras sans IA et son effet négatif ; MIA Lycée : « +17,4 % » sans source ; Navi : « validé et financé par le ministère », sans évaluation ; Lalilo : « ressource reconnue par l'Éducation nationale », pendant que l'essai académique qu'il sponsorise ne trouve pas d'effet moyen ; Kalulu : allégation sur la méthode phonique en général, pas sur le logiciel ; Fondamentapps : « validé auprès de 2500 élèves » adossé, pour le seul bouquet Fluence, à deux essais randomisés publiés ou soumis (« plus de 2 300 élèves » selon e-FRAN-Transfert, pas exactement 2 500), et « validées scientifiquement » étendu à la page entière, bouquet Inclusion compris. Le niveau de preuve distingue des formules qui se ressemblent. Sources : § 2.3, 3.3, 3.4.
6. Pour les manuels, la seule allégation trouvée est la conformité, pas l'efficacité. Magnard écrit « Conforme […] au guide orange » pour les diaporamas d'À moi de lire ! et « conforme au guide orange » pour la progression d'Outils pour les maths CP, Retz « s'appuient sur la recherche » ; aucun éditeur lu ne publie d'évaluation d'effet de son manuel. C'est cohérent avec 12-vague7 § 3.5 (le levier est la conformité démontrée aux grilles) et avec V08 § 4.12 (pas d'équivalent français d'EdReports). Les grilles elles-mêmes jugent la conformité : celle du CSEN et de l'académie de Paris (2018-2019) classe des manuels qui « devraient donc présenter une efficacité », et le CSEN y écrit lui-même qu'il « manque encore un élément clé : l'évaluation objective des progrès des élèves […] relativement à un groupe contrôle ». Des chercheurs soutenus par le CSEN mènent deux études qui mesureront l'effet d'une formation à l'usage de manuels nommés (FormaCP : Je lis, j'écris, Méthode de Singapour, par un essai) et l'effet des manuels de mathématiques de CP (CP Maths, étude observationnelle) ; elles sont annoncées et en cours. Si elles paraissent, l'argument d'efficacité d'un manuel pourra se comparer à des mesures publiées, comme Formalect l'a permis pour la lecture (V09 § 4.1). Sources : § 2.2 lignes 12-13 ; § 2.3 lignes 12-13 ; § 3.7.
7. Un concurrent public à contenus ouverts est en essai. Pionniers des maths (CE2-CM1, Collège de France, soutenu par le CSEN) promet, si l'essai randomisé de 2026-2027 (543 classes selon le CSEN, 566 selon la page du programme) est positif, une extension nationale « avec des contenus pédagogiques ouverts et libres de droits » : une solution qui édite des manuels de mathématiques de cycles 2 et 3 doit suivre ce résultat, attendu au plus tôt après l'année 2026-2027. Source : § 3.7.
8. Dans les trois cas relevés, la gratuité financée par l'État débouche sur une vente adossée à la caution publique. Lalilo (payant depuis 2025), Adaptiv'Math (49 € par classe), MIA Lycée (vendu par LDE et eMLS en 2026-2027, avec les aides régionales) passent au payant en mettant en avant l'origine ministérielle (MIA Lycée : « Une ressource impulsée par le ministère chargé de l'Education nationale », brochure 2026-2027, p. 1 ; Lalilo : « reconnue par l'Éducation nationale », lalilo.com) plus qu'un effet mesuré. Avec le cas Domino-Belin de 12-vague7 § 3.1, cela fait quatre cas : une série de cas, pas une règle mesurée. Pour un payeur (commune, région) qui découvre l'essai Lalilo, l'argument d'une solution qui publie son protocole et ses résultats bruts se distingue de celui-là. Sources : § 3.1, 3.2 ; R07 § 2.
9. L'usage mesuré est la première variable d'efficacité. Lalilo : 13 minutes par semaine mesurées contre 35 déclarées, usage non ciblé sur les plus faibles ; Domino : 74,9 % des établissements datés n'ont utilisé l'outil qu'un jour (Z01). Un outil qui n'est pas utilisé à la dose prévue ne peut pas produire d'effet ; une solution qui mesure l'usage réel de ses contenus (V09 § 4.10) a de quoi documenter la condition préalable de toute preuve d'efficacité. Sources : § 3.1 ; Z01 § 3.6.

#5. Ce que la recherche n'a pas pu établir

• Les résultats de l'évaluation randomisée de MIA Seconde (IDEE, Sciences Po), et le rapport intermédiaire de juillet 2025 : non publiés, non trouvés au 12/10/2026.
• Le document de travail de l'essai Lalilo (taille d'effet, intervalles, sous-groupes, effectif réellement analysé) : non trouvé ; seule la fiche IDEE porte les résultats préliminaires. Les effets par sous-groupe sont annoncés comme en cours d'analyse. Le registre AEARCTR-0017205 donne le plan et l'effectif prévu, mais le plan d'analyse, les lieux et les documents joints sont réservés (« Request Information ») ; l'effet minimal détectable n'est pas renseigné.
• Les résultats des études d'Adaptiv'Math cycle 2 : l'étude de 9 semaines dans 195 classes de février 2022 (laboratoire de Sorbonne Université selon la DRANE Nancy-Metz), l'étude Adaptiv'Math lancée en janvier 2025 et la « Global Impact Study » avec les universités de Genève et Paris Cité : aucun résultat publié trouvé au 16/10/2026.
• Les clauses d'évaluation des règlements de consultation et des CCTP du P2IA cycle 2 (MEN-SG-PCAN-17033), du P2IA cycle 3 (réf. 20235449) et du marché MIA Seconde (Docaposte, 2022) : non publiés ; seule la mention « la mesure de l'impact est prévue dans le cahier des charges » de MIA est connue, de seconde main (CFEM).
• Une évaluation d'effet de Navi, Smart Enseigno, Domino, des six services du P2IA cycle 3 : non trouvée ; pour Adaptiv'Math cycle 2, des études existent mais leurs résultats ne sont pas publiés (ci-dessus). Les pages éduscol du P2IA cycle 2 (6714, datée avril 2026), du P2IA cycle 3 (6717, datée juillet 2026) et de Domino (6726, datée février 2026), lues le 16/10/2026, n'en mentionnent aucune : ni évaluation d'effet ni étude d'impact ; la page de Domino ne cite qu'un « témoignage d'usage » (Q31 § 1.2).
• Les résultats de l'évaluation nationale des TNE (Verian, Edater, Éducation & Territoires) : non trouvés (déjà relevé par Q13).
• La source des chiffres de la brochure MIA Lycée (« +17,4 % », « réussissent autant ») et la définition de la « réussite » : non données par EvidenceB.
• La date exacte de collecte de l'essai Adaptiv'Fraction : la page OSF ne la donne pas ; EvidenceB écrit le 05/03/2025 avoir lancé ses deux études « Depuis le mois janvier », et son dirigeant annonce le 28/03/2025 une étude faite ; on en déduit que la collecte a commencé avant l'enregistrement du 06/05/2025, déduction que les dates de pré-test et de post-test, non publiées, ne permettent pas de vérifier.
• Le chapitre complet du rapport public annuel 2021 de la Cour des comptes sur le numérique éducatif pendant la crise sanitaire : seule sa synthèse a été lue.
• Le référentiel de qualité du label des manuels élaboré par le CSEN : non publié ; le CNCPH écrivait en avril 2024 qu'il n'était « à ce jour pas connu dans le détail ».
• Une note d'information ou un document de travail de la DEPP sur les outils du P2IA : non trouvé.
• Les recommandations de ressources pédagogiques du CSEN (ancienne page Canopé, en maintenance le 12/10/2026) : le 16/10/2026, l'ancienne adresse redirige vers une page en 404 (avec ou sans barre finale) et la page d'accueil Canopé du CSEN est aussi en 404 ; le site propre du CSEN (csen.education.gouv.fr) classe ses publications en douze types, dont aucun n'est une liste de ressources recommandées, et ses dix « Ressources pour la classe » sont ses propres productions (Q31 § 1.2). La liste n'est donc plus en ligne dans les rubriques lues ; son contenu reste non lu. L'« agrément » du CSEN cité par le HCÉRES pour GraphoGame : texte primaire non lu (Q31 § 1.2).
• Une allégation d'efficacité de La Librairie des Écoles pour la Méthode de Singapour : le guide pédagogique cité par la recherche web n'est plus servi (la page renvoie du HTML) ; non vérifiée, donc non reprise au § 2.3.
• Pages qui ne se lisent qu'au navigateur : le lot navigateur de la vague (Q31, 16/10/2026) a lu les pages éduscol 6714, 6717 et 6726, la page 133546 de l'académie de Paris et la page Canopé du CSEN (résultats au § 1.2, § 2.1 lignes 8-9, § 3.5 et ci-dessus). Restent ouverts :
  • les documents de l'académie de Paris (https://ac-paris.fr/media/50748/download, blocage Cloudflare) et de l'académie de Bordeaux (https://www.ac-bordeaux.fr/media/78169/download, HTML au lieu du PDF) : téléchargement non fait (Q31 § 3) ; ils établiraient le détail des modalités d'évaluation annoncées aux écoles du P2IA cycle 3, au-delà de la page de Paris ;
  • GraphoGame, https://graphogame.fr/ (403) : non lu le 16/10/2026 ; l'adresse redirige vers graphogame.com (site international en anglais), dont l'extension du navigateur refuse la lecture du texte ; la page d'accueil vue en capture ne porte pas l'allégation de LIREA (Q31 § 2). L'allégation affichée par LIREA reste non établie.
• Démarches externes (non faites, nommées ici) :
  1. DNE, bureau du soutien à l'innovation numérique et à la recherche appliquée (DNE TN2 ; contact de la fiche Édu-Up 2025 : Patrice Renaud, patrice.renaud@education.gouv.fr ; 99 rue de Grenelle, 75007 Paris) — question : quelles évaluations d'effet sur les acquis ont été commandées pour les cinq services du P2IA cycle 2, les six du P2IA cycle 3, MIA Seconde et Domino ; à quelle date le rapport final de MIA Seconde sera-t-il publié ; les règlements de consultation des P2IA contiennent-ils une clause d'évaluation. Établirait la preuve demandée et obtenue par l'État. La question 3.20 de 09-demarches-vague7.md porte sur Édu-Up, Expérithèque et le cadre des tests, pas sur ce point.
  2. Demande de communication (CRPA, art. L. 311-1) à la DNE : le « rapport intermédiaire d'étude d'impact » de MIA Seconde remis en juillet 2025 et le rapport final ; les rapports d'évaluation ou de fin de phase remis par les titulaires du P2IA cycle 2 (Lalilo, Navi, Adaptiv'Math, Mathia, Smart Enseigno). La décision de généralisation de septembre 2025 étant prise, le rapport intermédiaire n'est plus un document préparatoire à cette décision (appréciation, la CADA tranche). Établirait les résultats sur lesquels l'État a décidé.
  3. Programme IDEE (contacts nommés sur les fiches : Lucie Fourel pour Lalilo ; Clémence Lobut et Zahra Boudalaoui-Buresi pour MIA Seconde ; formulaire « Nous contacter » de idee-education.fr) — demande du document de travail de l'essai Lalilo et du calendrier de publication de MIA Seconde. Établirait les tailles d'effet et les sous-groupes. Pour l'essai Lalilo, la même demande peut passer par le bouton « Request Information » du registre AEARCTR-0017205 (https://www.socialscienceregistry.org/trials/17205, chercheur principal Alexandre Grellet, Sciences Po), qui donnerait accès au plan d'analyse et à l'effet minimal détectable.
  4. CSEN (formulaire « Contacter le CSEN » de csen.education.gouv.fr) — calendrier des résultats de FormaCP, CP Maths et Pionniers des maths ; texte de l'« agrément » donné à GraphoGame. Établirait quand l'efficacité de manuels nommés sera mesurée.
  5. EvidenceB (19 rue André del Sarte, 75018 Paris ; contact@evidenceb.com pour les études d'impact, adresse donnée par l'article du 05/03/2025) — source et définition des chiffres de la brochure MIA Lycée ; dates de pré-test et de post-test de l'essai Adaptiv'Fraction ; résultats des études Adaptiv'Math de 2022 (195 classes) et de 2025 et de la « Global Impact Study ». Établirait la valeur de ces allégations. La même question sur les études Adaptiv'Math de 2022 peut être posée à la DNE (démarche 1), qui finançait alors les licences.

#6. Sources

Données ouvertes (extraction du 12/10/2026) :

• BOAMP, API : https://boamp-datadila.opendatasoft.com/api/explore/v2.1/catalog/datasets/boamp/records (avis 17-95035, 24-2571, 25-117476) ; https://www.boamp.fr/pages/avis/?q=idweb:17-95035 ; https://www.boamp.fr/pages/avis/?q=idweb:24-2571
• DECP : https://data.economie.gouv.fr/explore/dataset/decp-v3-marches-valides/ (ligne 2022130017884400) ; https://data.economie.gouv.fr/explore/dataset/decp-2022-marches-valides/ (lignes 2808312, 2808347, 2808362)
• API Recherche d'entreprises : https://recherche-entreprises.api.gouv.fr/search?q=49337600800030
• data.education.gouv.fr : https://data.education.gouv.fr/explore/dataset/observatoire-des-usages-pedagogiques-de-l-ia-actions-innovantes/ ; https://data.education.gouv.fr/explore/dataset/observatoire-des-usages-pedagogiques-de-l-ia-ressources-pedagogiques/
• data.gouv.fr, API : https://www.data.gouv.fr/api/1/datasets/
• OSF : https://osf.io/v2gya (API https://api.osf.io/v2/registrations/v2gya/, relue le 16/10/2026)
• AEA RCT Registry, AEARCTR-0017205, « Reading with AI » (lu le 16/10/2026) : https://www.socialscienceregistry.org/trials/17205 ; DOI https://doi.org/10.1257/rct.17205-1.0

Rapports et textes :

• HCÉRES, rapport d'évaluation des 22 projets e-FRAN, novembre 2021 : https://www.hceres.fr/sites/default/files/media/downloads/hceres_territoires-educatifs-dinnovation-numerique_rapport-devaluation-des-22-projets-laureats-de-lappel-a-projets-e-fran_4_0.pdf
• Mission Monteil, e-FRAN-Transfert, octobre 2025 : https://hal.science/hal-05354475v2 ; Mission Monteil pour le numérique dans l'éducation : https://hal.science/hal-04917840
• IGÉSR, rapport n° 24-25 016B, mai 2025 : https://www.vie-publique.fr/files/rapport/pdf/299222.pdf
• Sénat, rapport d'information n° 101 (2024-2025), IA et éducation : https://www.senat.fr/rap/r24-101/r24-101_mono.html
• Assemblée nationale, rapport d'information n° 2993, 01/07/2026 : https://www.assemblee-nationale.fr/dyn/17/rapports/cion-cedu/l17b2993_rapport-information.pdf
• Cour des comptes, Le service public numérique pour l'éducation, 08/07/2019 : https://www.ccomptes.fr/sites/default/files/2023-10/20190708-rapport-service-public-numerique-education.pdf
• Cour des comptes, rapport public annuel 2021, synthèse du chapitre « La contribution du service public du numérique éducatif à la continuité scolaire pendant la crise sanitaire » (copie SNPDEN, lue le 16/10/2026) : https://www.snpden.net/wp-content/uploads/2021/03/Synthese-CComptes-chapitre-contribution-sp-du-numerique-a-la-continuite-scolaire-mars-2021.pdf
• Cour des comptes, Le Réseau Canopé, observations définitives S2024-1110, 04/10/2024 (lu le 16/10/2026) : https://www.ccomptes.fr/fr/publications/le-reseau-canope ; https://www.ccomptes.fr/sites/default/files/2024-10/20241004-S2024-1110-Reseau-Canope.pdf ; Localtis, 07/10/2024 : https://www.banquedesterritoires.fr/reseau-canope-la-cour-salue-une-mutation-reussie-vers-le-numerique
• CSEN et académie de Paris, Pédagogie et manuels pour l'apprentissage de la lecture : comment choisir ?, 2018-2019, extrait p. 29-31 (copie de l'académie de Lille, lue le 16/10/2026) : https://conservatoire.etab.ac-lille.fr/files/2019/06/analyse-manuel-Ac-Paris-ok.pdf
• Répertoire académique des manuels du CP, Normandie (Orne), mai 2019 : https://prim61.ac-normandie.fr/IMG/pdf/20190517_repertoire_academique_manuels_cp.pdf ; mission MDL de Martinique, mars 2023 : https://site.ac-martinique.fr/mdl/wp-content/uploads/sites/95/2023/06/MDL-analyse-de-manuels-au-C2.pdf (lus le 16/10/2026)
• CNCPH, contribution sur la labellisation des manuels scolaires, 19/04/2024 (lue le 16/10/2026) : https://gouvernement.fr/upload/media/content/0001/10/6667bd8fd09a431ae908867483464689e9a90b98.pdf
• DRANE Nancy-Metz, projet Adaptiv'Math (copie de l'Internet Archive, lue le 16/10/2026) : https://web.archive.org/web/2024/https://dane.ac-nancy-metz.fr/recherche-en-e-education-projet-adaptivmath/
• CSEN, La recherche translationnelle en éducation (2021) : https://cardie.ac-nancy-metz.fr/wp-content/uploads/La_recherche_translationnelle_en_education.pdf
• CSEN, Quels usages de l'IA en éducation ? Conclusions et recommandations (avril 2026) : https://www.csen.education.gouv.fr/wp-content/uploads/2026/04/8aeac85a-67f2-41ca-aeaf-a32469655403-RecommandationsCSENEducationIA.pdf ; page de la conférence : https://www.csen.education.gouv.fr/quels-usages-de-l-ia-en-education/
• CSEN, « Soutien aux expérimentations » (09/07/2026) : https://www.csen.education.gouv.fr/nos-experimentations/
• DNE, Édu-Up : fiche 01 2025 et page (archive) https://web.archive.org/web/20260917043600/https://www.education.gouv.fr/le-dispositif-edu-un-soutien-la-production-de-ressources-numeriques-pour-l-ecole-450476
• DRANE Martinique, Évaluation d'impact de la ressource numérique MIA Seconde, 04/09/2024 : https://site.ac-martinique.fr/drane/wp-content/uploads/sites/100/2024/09/Evaluation-MIA-Seconde-1.pdf ; page du 05/09/2025 : https://site.ac-martinique.fr/drane/?p=5970
• CFEM, S. Vinatier, CORFEM 06/06/2025 : https://www.irem.unilim.fr/documents/CORFEM25/table-ronde-Vinatier.pdf
• DEPP, DT 2026-E11 (lu par V11) : https://archives-statistiques-depp.education.gouv.fr/Default/doc/SYRACUSE/57209/
• Éduscol, pages lues au navigateur le 16/10/2026 (Q31 § 1.2) : https://eduscol.education.gouv.fr/6714/l-intelligence-artificielle-pour-accompagner-les-apprentissages-des-fondamentaux-au-cycle-2 ; https://eduscol.education.gouv.fr/6717/l-intelligence-artificielle-au-service-des-apprentissages-du-francais-des-mathematiques-et-des-langues-vivantes-au-cycle-3 ; https://eduscol.education.gouv.fr/6726/enseigner-les-fondamentaux-au-cycle-2-avec-domino
• Académie de Paris, « Partenariat d'Innovation en Intelligence Artificielle » (lue au navigateur le 16/10/2026, Q31 § 1.2) : https://www.ac-paris.fr/partenariat-d-innovation-en-intelligence-artificielle-133546
• Réseau Canopé, ancienne page CSEN « Recommandations de ressources pédagogiques » (404 le 16/10/2026, Q31 § 1.2) : https://www.reseau-canope.fr/conseil-scientifique-de-leducation-nationale/outils-pedagogiques/recommandations-de-ressources-pedagogiques.html ; site du CSEN : https://www.csen.education.gouv.fr/

Recherche (HAL, theses.fr) :

• Clément, Sauzéon, Roy, Oudeyer, Improved Performances and Motivation in Intelligent Tutoring Systems, 2024 : https://inria.hal.science/hal-04433127
• Bouchet, Roy, L'apport combiné de deux algorithmes d'IA … Adaptiv'Math, COPIRELEM 2021 : https://hal.science/hal-03625573
• Croset, Soury-Lavergne, Térouanne, Les concepts didactiques comme outils de conception… (Smart Enseigno), 2021 : https://hal.science/hal-04785227
• Potier Watkins, Dehaene, Can a Tablet Game That Boosts Kindergarten Phonics Advance 1st Grade Reading?, 2023 : https://hal.science/hal-04249206
• Lassault et al., Testing the Effects of GraphoGame Against a Computer-Assisted Math Intervention in Primary School, 2022 : https://amu.hal.science/hal-03611120 ; thèse Lassault, 2021 : https://amu.hal.science/tel-03368809
• Mandin et al., FLUENCE, 2021 : https://univ-grenoble-alpes.hal.science/hal-03187547 ; https://hal.science/hal-03187570
• Laurent, thèse Expire, 2022 : https://theses.hal.science/tel-03947031
• Thomas, thèse LINUMEN, 2020 : https://hal.univ-lorraine.fr/tel-03155246
• Hembise, Gelin, Daniel, Lalilo: a reading assistant…, 2021 : https://hal.science/hal-03410194
• Assogba, P2IA cycle 3, 2026 : https://hal.science/hal-05752591 ; Schneewele, Alexis-Girault, 2025 : https://hal.science/hal-05452332
• theses.fr, API : https://theses.fr/api/v1/theses/recherche/

Acteurs :

• IDEE : https://www.idee-education.fr/projet/lalilo/ ; https://www.idee-education.fr/projet/m-i-a-seconde/ ; https://www.idee-education.fr/projets/ ; https://www.idee-education.fr/projets-en-recherche-devaluateur/
• EvidenceB : https://evidenceb.fr/etudes-impact-et-rct/ ; https://evidenceb.fr/resultats-des-etudes-impact/ ; https://evidenceb.fr/wp-content/uploads/2025/12/CRECE.pdf ; https://evidenceb.fr/wp-content/uploads/2025/12/Etude-pour-CP_ShortVersion_EN_250625.pdf ; https://evidenceb.fr/wp-content/uploads/2025/12/MCLS_5.3.4_Roell.pdf ; https://evidenceb.fr/wp-content/uploads/2025/12/ImpactStudy.pdf ; https://evidenceb.fr/produits/mialycee/ ; https://evidenceb.fr/wp-content/uploads/2026/09/MIA-Lycee_2026_BdC.pdf ; https://evidenceb.fr/obtenir-mia-lycee ; https://evidenceb.fr/adaptivmath/ ; https://evidenceb.fr/qui-sommes-nous/ ; articles du 05/03/2025 https://evidenceb.fr/etude-impact-adaptivmath-adaptivfraction/ et du 13/08/2025 https://evidenceb.fr/ia-mathematiques-reduit-les-inegalites-filles-garcons-selon-une-etude-dimpact/ (lus le 16/10/2026)
• SNES-FSU, « MIA Seconde, cheval de Troie de l'IA dans nos métiers », 14/01/2025 (lu le 16/10/2026) : https://www.snes.edu/article/mia-seconde-cheval-de-troie-de-lia-dans-nos-metiers/
• Lalilo : https://www.lalilo.com/ ; https://ressources.lalilo.com/Publications+de+recherche+Lalilo.pdf ; https://ressources.lalilo.com/resources/Le+P2IA,+k%C3%A9sako.pdf
• Mathia : https://mathia.education/wp-content/uploads/2023/08/Mathia-Rapport-dimpact-2023.pdf
• Navi : https://navi.education/ ; Smart Enseigno : https://www.smartenseigno.fr/ ; Fondamentapps : https://www.fondamentapps.com/ ; Kalulu : https://kalulu.excellolab.org/ ; Pionniers des maths : https://pionniersdesmaths.excellolab.org/
• Nathan, « La salle des profs » : https://www.nathan.fr/la-salle-des-profs/articles/adaptiv-math-une-education-plus-personnalisee-et-efficace ; https://www.nathan.fr/la-salle-des-profs/articles/mia-seconde-veut-renforcer-l-apprentissage-des-maths-et-du-francais
• Magnard, catalogue 2024 : https://www.magnard.fr/sites/default/files/2024-04/9782210511583_Catalogue_Magnard_2024_WEB_ok.pdf
• Retz : https://www.editions-retz.com/
• UNSA Éducation, 29/04/2026 (relais des recommandations du CSEN) : https://www.unsa-education.com/article-/le-csen-publie-ses-recommandations-sur-les-usages-de-lia-en-education/