Wie MndUP (mndup.com) an Ihren eigenen Entscheidungen gemessen wird
MndUP (mndup.com) wird an den eigenen früheren Entscheidungen Ihrer Organisation gemessen, nicht an einem von uns gewählten Maßstab. Diese Seite beschreibt die Methode; sie veröffentlicht kein Ergebnis.
Was verglichen wird
Ihre Organisation führt einen Referenzsatz: Dokumente mit dem Ergebnis, zu dem Ihre Prüfenden gekommen sind. Eine Kontrolle lässt dieselbe Prüfung über diese Dokumente laufen und vergleicht die Ergebnisse mit Ihren: wie oft sie übereinstimmen, Übereinstimmungsmaße, die den Zufall berücksichtigen, die Rangfolge und wie viele der von Ihnen bewilligten Anträge oberhalb der Linie landen.
Die zurückgehaltenen Dokumente
Jedes Dokument im Satz ist entweder für die Abstimmung markiert oder zurückgehalten. Ein Dokument, dessen Antwort während der Abstimmung gezeigt wurde, zählt als Abstimmung. Ergebnisse werden nur für die zurückgehaltenen Dokumente berichtet, damit die Prüfung nicht an Antworten gemessen wird, die sie schon gesehen hat.
Die Streuung zwischen zwei unveränderten Durchläufen
KI-Modelle antworten nicht zweimal genau gleich. Deshalb lässt die Kontrolle die unveränderte Prüfung auch zweimal laufen und misst, wie weit sich die Ergebnisse allein durch Zufall bewegen. Eine Änderung gilt erst dann als besser oder schlechter, wenn der Unterschied größer ist als diese Streuung und ein gepaartes Intervall um den Unterschied die Null nicht einschließt.
Wo die erwarteten Antworten bleiben
Die erwarteten Ergebnisse bleiben bei der Prüfung Ihrer eigenen Organisation. Sie gelangen nie in einen Prompt, einen Export oder zu einer anderen Organisation.
Was wir nicht behaupten
Wir veröffentlichen keine Genauigkeitszahl. Die Ergebnisse hängen von Ihren Regeln, Ihren Dokumenten und den gewählten Modellen ab, deshalb zählt nur die Zahl, die an Ihren eigenen Entscheidungen gemessen wird. Jede Beispielzahl auf dieser Website ist erfunden und als solche gekennzeichnet.