Comment MndUP (mndup.com) est mesuré par rapport à vos propres décisions
MndUP (mndup.com) est mesuré par rapport aux décisions antérieures de votre organisation, et non à un référentiel de notre choix. Cette page décrit la méthode ; elle ne publie aucun résultat.
Ce qui est comparé
Votre organisation tient un jeu de référence : des documents avec la décision à laquelle vos évaluateurs sont parvenus. Une vérification applique la même analyse à ces documents et compare ses résultats aux vôtres : la fréquence d’accord, des mesures d’accord qui tiennent compte du hasard, l’ordre de classement et le nombre de candidatures que vous avez retenues qu’elle place au-dessus de la ligne.
Les documents mis de côté
Chaque document du jeu est marqué pour l’ajustement ou mis de côté. Un document dont la réponse a été montrée pendant l’ajustement de l’analyse compte comme ajustement. Les résultats ne sont rapportés que sur les documents mis de côté, afin que l’analyse ne soit pas jugée sur des réponses qu’elle a déjà vues.
L’écart entre deux exécutions inchangées
Les modèles d’IA ne répondent jamais exactement de la même façon deux fois. La vérification exécute donc aussi deux fois l’analyse inchangée et mesure de combien ses résultats varient par le seul hasard. Une modification ne compte comme meilleure ou moins bonne que si la différence dépasse cet écart et qu’un intervalle apparié autour de la différence n’inclut pas zéro.
Où restent les réponses attendues
Les résultats attendus restent dans l’analyse propre à votre organisation. Ils ne vont jamais dans un prompt, un export ou une autre organisation.
Ce que nous n’affirmons pas
Nous ne publions aucun chiffre de précision. Les résultats dépendent de vos règles, de vos documents et des modèles que vous choisissez ; le seul chiffre qui ait un sens est donc celui mesuré sur vos propres décisions. Tout chiffre d’exemple sur ce site est fictif et indiqué comme tel.