Während der Simulation führt eine KI die Rolle des Gegenübers. Anschließend wertet eine zweite, davon unabhängige KI den Gesprächsverlauf aus. Die Persona, die das Gespräch geführt hat, bewertet es nicht selbst. So bleibt die Rolle im Gespräch, und die Bewertung bezieht sich auf den vollständigen Verlauf.
Die auswertende KI darf keine Gesamtnote vergeben. Sie bewertet jedes Ziel und jede Kompetenz einzeln. Die Gesamtnote rechnet danach das System aus, nach einer Gewichtung, die bei jedem Gespräch dieselbe ist.
Woran sie misst
Die KI denkt sich ihre Maßstäbe nicht selbst aus. Was in einem Szenario erreicht werden soll und woran das erkennbar ist, wird beim Erstellen des Szenarios festgelegt — von Menschen, vor dem Gespräch. Danach bleibt es unverändert.
Das bekommt die auswertende KI
- Das Protokoll des Gesprächs
- Die Ziele des Szenarios, mit ihrer Gewichtung
- Zu jedem Ziel die Anweisung, woran es als erreicht gilt
- Die Kompetenzen des Trainingsbereichs mit ihren vier Stufen
- Die Ausgangslage und die Beschreibung des Gegenübers
- Frühere Gespräche derselben Person in Vorbereitung
Das bekommt sie nicht
- Die Tonaufnahme — ausgewertet wird nur der Text
- Gespräche anderer Personen
- Angaben zu Rolle, Abteilung oder Betriebszugehörigkeit
- Die Befugnis, eine Gesamtnote zu vergeben
Wie frühere Gespräche in das weitere Training einfließen
Bisher wird jedes Gespräch für sich bewertet. Künftig kann der Trainingsverlauf berücksichtigt werden. Was dieselbe Person in früheren Übungen gezeigt hat, fließt in die Empfehlung für die nächste Übung ein. Die Note eines einzelnen Gesprächs bleibt davon unberührt. Diesen Teil führen wir gerade ein.
An der Bewertung eines einzelnen Gesprächs ändert das nichts. Gewichtung, Stufen und Grenzen bleiben wie beschrieben. Frühere Gespräche fließen in die Empfehlung ein, nicht in die Note.
Zwei Regeln gehören dazu. Der erste Satz kommt von der KI und wird nicht mitbewertet. Stellen, an denen die Spracherkennung offensichtlich etwas falsch verstanden hat, bleiben außen vor.
Woraus sich die Note zusammensetzt
70 %
Ziele dieses Szenarios
Für jedes Szenario eigens festgelegt: die Situation, was als erreicht gilt und wie stark es zählt.
Fester Satz je Trainingsbereich.
Jeder einzelne Wert auf derselben Skala
Die Kompetenzen hängen vom Trainingsbereich ab — was in einer Verhandlung zählt, ist etwas anderes als in einem Führungsgespräch.