Das erstellte System muß auf zwei verschiedenen Ebenen bewertet werden. Zum einen sind die Ergebnisse der Einzelkomponenten zu bewerten. Die Ergebnisse eines Teilbereichs können bei schlechter Qualität die nachfolgenden Ebenen signifikant beeinflussen. Damit ist im speziellen die Fehlerrate der verwendeten Sparcherkenner zu nennen. Auf der anderen Seite muß auch das Gesamtsystem anhand der ausgeführten Befehle bewertet werden. Dabei sind Fehler in den einzelnen Verarbeitungsebenen ohne Belang.
Da nur wenige Trainingsdaten und kaum Testpersonen zur Verfügung standen, war die Ermittlung von aussagekräftigen Fehlerraten des Systems schwierig. Zunächst müssen noch Begriffe zum besseren Verständnis eingeführt beziehungsweise wiederholt werden.
WER : Dies ist die in 2.2.6 eingeführte Wortfehlerrate der Spracherkennung. Diese kann anhand der verfügbaren Daten nur ungenau geschätzt werden und wird in den Berechnungen der anderen Fehlerraten als Variable interpretiert. In Anbetracht der Modularität, also der Möglichkeit andere Spracherkenner als die genannten zu verwenden, ist dies kein großer Nachteil. Die Rate wird durch die Levenshtein-Distanz bestimmt.
PER : Diese ParserErrorRate soll die durch den Parser erzeugten Chunks bewerten. Dabei sind zwei Interpretationen zu beachten. Zum einen muß dieser Wert für fehlerfreie Wortketten und zum anderen als Funktion der WER betrachtet werden.
CER : Die CommandErrorRate ist die entscheidende Fehlerrate des Systems. Sie gibt die Rate der real falsch ausgeführten Kommandos an. Darin sind keine Kommandos enthalten, die aufgrund von widersprüchlichen Informationen Rückfragen an den Benutzer stellen und danach korrekt ausgeführt werden. Erst wenn diese dann immer noch fehlerhaft sind, werden sie als solche klassifiziert. Die CER kann also aus der PER, abzüglich der durch Interaktion mit dem System korrigierten Kommandos, ermittelt werden.
Die Sprachsteuerung wurde im Rahmen des 2. Workshop on Cognitive Robotics in Berlin (6.3.1) [10] und am Tag der Informatik 2000 der RWTH Aachen (6.3.2) vorgestellt.