Comparaison des grands modèles de langage aux réunions de concertation pluridisciplinaire pour les recommandations de traitement en oncologie

BEACON (Benchmarking AI for Clinical Oncology decisioNmaking) est une évaluation comparative prospective, multicentrique, en aveugle et non interventionnelle, comparant les recommandations de traitement de six grands modèles de langage (LLM) de pointe à celles des réunions de concertation pluridisciplinaire (RCP) pour la planification des traitements en oncologie.

Cent cas synthétiques standardisés (20 par localisation, couvrant les cancers du sein, du poumon, urologiques, digestifs et gynécologiques) sont soumis sous forme de données structurées identiques à deux RCP indépendantes par localisation et à six LLM de pointe. Chaque recommandation, humaine ou issue d’un modèle, est décomposée en cinq domaines de décision prédéfinis (intention thérapeutique, chirurgie, radiothérapie, traitement systémique avec sa ligne, bilan et biomarqueurs).

Pour chaque domaine, la concordance entre deux recommandations est notée 2 lorsque les mêmes options sont sélectionnées, 1 lorsqu’au moins une option est partagée, et 0 lorsqu’aucune ne l’est ; le score est calculé automatiquement à partir des formulaires de recommandation, sans notation humaine.

Le critère d’évaluation principal est le score moyen par domaine entre chaque LLM et chaque RCP, comparé au même score calculé entre les deux RCP d’un même cas, afin que les humains et les modèles soient évalués selon une règle identique et qu’aucun répondant ne contribue à sa propre référence. Un critère de sécurité co-principal mesure la proportion de recommandations présentant un potentiel de préjudice grave, car la seule concordance peut masquer des erreurs dangereuses.

Lorsque les deux RCP sélectionnent des options différentes, le couple cas-domaine est classé EQUIPOISE et, comme toute discordance, est tranché par un panel indépendant en aveugle quant à l’origine de la recommandation. Les RCP enregistrent leurs recommandations pendant la réunion elle-même, sur une plateforme dédiée (https://etude-beacon.fr) qui ne révèle un cas qu’au moment de sa présentation, avec un horodatage de cette révélation, afin qu’aucune RCP ne puisse consulter un cas à l’avance. BEACON est conçu comme une infrastructure réutilisable, sous licence ouverte et pré-enregistrée : tous les cas synthétiques, grilles d’évaluation, algorithmes de notation, instructions exactes (prompts) et résultats bruts des modèles sont mis à disposition pour une reproductibilité complète.