Comparaison des grands modèles de langage aux réunions de concertation pluridisciplinaire pour les recommandations de traitement en oncologie
BEACON (évaluation comparative de l'intelligence artificielle pour la prise de décision clinique en oncologie) est une évaluation prospective, multicentrique, comparative, en aveugle et non interventionnelle, comparant les recommandations de traitement de cinq grands modèles de langage (LLM) de pointe aux recommandations des réunions de concertation pluridisciplinaire (RCP) en oncologie pour la planification du traitement. Cent cas synthétiques standardisés (20 par localisation, couvrant les cancers du sein, du poumon, urologiques, digestifs et gynécologiques) sont soumis sous forme de données structurées identiques à deux RCP indépendantes par localisation et à cinq LLM de pointe. Chaque recommandation - humaine ou générée par un modèle - est décomposée en cinq domaines de décision prédéfinis (intention thérapeutique, chirurgie, radiothérapie, traitement systémique, bilan et biomarqueurs) et notée 0/1/2 pour la concordance par rapport à une référence à deux niveaux : le consensus des deux RCP, complété par une matrice de référence verrouillée a priori (ESMO, NCCN). Le critère de jugement principal est la concordance au niveau des domaines entre les LLM et le consensus des RCP, exprimée sous la forme d'un kappa de Cohen pondéré linéairement. Un critère de jugement co-principal de sécurité mesure la proportion de recommandations comportant un potentiel de préjudice grave, car la seule concordance peut dissimuler des erreurs dangereuses. Étant donné que des comités d'experts peuvent être en désaccord entre eux sur des cas identiques, la performance des modèles est toujours interprétée par rapport au consensus humain. BEACON est conçue comme une infrastructure réutilisable, ouvertement accessible et préenregistrée : tous les cas synthétiques, les grilles d'évaluation, la matrice de référence verrouillée, les algorithmes de notation et les invites (prompts) exactes sont publiés à des fins de reproductibilité complète.
À partir de 18 ans · Réf. NCT07739121
Mis à jour le
