Så mäts MndUP (mndup.com) mot era egna beslut
MndUP (mndup.com) mäts mot er organisations egna tidigare beslut, inte mot ett riktmärke som vi har valt. Den här sidan beskriver metoden; den publicerar inget resultat.
Vad som jämförs
Er organisation har en referensuppsättning: dokument med det utfall era handläggare kom fram till. En kontroll kör samma granskning på de dokumenten och jämför resultaten med era: hur ofta de stämmer överens, mått på samstämmighet som tar hänsyn till slumpen, rangordningen och hur många av de ansökningar ni beviljade som hamnar ovanför strecket.
Det undanhållna urvalet
Varje dokument i uppsättningen är märkt för justering eller undanhållet. Ett dokument vars svar visades medan granskningen justerades räknas som justering. Resultaten redovisas bara på de undanhållna dokumenten, så att granskningen inte bedöms på svar den redan har sett.
Spridningen mellan två oförändrade körningar
AI-modeller svarar inte exakt likadant två gånger. Därför kör kontrollen också den oförändrade granskningen två gånger och mäter hur mycket resultaten flyttar sig av ren slump. En ändring räknas som bättre eller sämre först när skillnaden är större än den spridningen och ett parat intervall kring skillnaden inte omfattar noll.
Var de förväntade svaren stannar
De förväntade utfallen stannar i er organisations egen granskning. De hamnar aldrig i en prompt, en export eller hos en annan organisation.
Vad vi inte påstår
Vi publicerar ingen siffra för träffsäkerhet. Resultaten beror på era regler, era dokument och de modeller ni väljer, så den enda siffra som betyder något är den som mäts på era egna beslut. Alla exempelsiffror på den här webbplatsen är påhittade och märkta som sådana.