Die Bewertung des Gesamtsystems hängt vom sequentiellen Zusammenspiel der Einzelkomponenten
ab. Je besser die ermittelten Wortketten sind, desto zuverlässiger können diese
interpretiert werden. Mit den am Tag der Informatik erworbenen Daten
(siehe unten) kann die Gesamtfehlerrate angegeben werden mit:
Es hat sich gezeigt, daß mit den verwendeten Komponenten noch keine allgemeine spontansprachliche Eingabe in einer begrenzten Domäne realisiert werden kann. Die meisten Probleme entstehen aufgrund der sprachlichen Vielfalt auf der Ebene der Spracherkennung. Um auf dieser Ebene verwertbare Ergebnisse zu erhalten, muß ein Ansatz zwischen freier Sprache und Kommandosprache gefunden werden (vergleiche 6.2.1). Die Reaktivität im Zusammenspiel mit der einfachen Bibliothek kann trotz Schwankungen als ausreichend bezeichnet werden. Es wurden sehr selten Werte über zwei Sekunden beobachtet. Im Zusammenspiel mit der MR-Bibliothek wurden hauptsächlich Werte zwischen zehn und zwanzig Sekunden gemessen. Dies müßte in Zukunft noch verbessert werden. Die ständige Unterbrechbarkeit von Kommandos ist bei beiden Systemen gewährleistet.
Während der Tests wurden insgesamt fünf PC's verwendet. Dies waren zum einen die zwei auf dem Roboter installierten Pentium II Rechner (Rechner 1 und 2) und zum anderen zwei externe Pentium III (500MHz) PC's mit einmal 192MB (Rechner 3) und einmal 256MB (Rechner 4) Hauptspeicher. Die Robotersoftware der untersten Ebene (Hardwareansteuerung) lief auf den Rechnern 1 und 2. Auf Rechner 3 wurde der Parser, auf Rechner 4 die Spracherkennung gestartet. Die restlichen Module wurden auf die Rechner 3 und 4 verteilt. Für die Multi-Roboteranbindung wurde zusätzlich noch ein Dual-Pentium II (500MHz, 512MB) eingesetzt.
Das Zusammenspiel der Einzelkomponenten unterdrückt gewisse Fehler, da die einzelnen Ebenen nicht getrennt voneinander entwickelt und modelliert wurden. Durch die Verwendung von einem DFA als Sprachmodell können zum Beispiel Fehler wie Präpositionsverdopplungen (Carl bring kaffee zu zu Henrik) nicht auftreten. Diese brauchen daher nicht im Parser betrachtet werden. Wird allerdings ein Spracherkenner auf Trigram-Basis verwendet, kann dieser Seiteneffekt nicht mehr ausgenutzt werden, da solche Konstrukte nun erkannt werden können. Der Parser muß wiederum an den Fähigkeiten der Planbibliothek ausgerichtet werden. Die Aufgaben und die dazugehörigen Parameter müssen im Vorfeld sorgfältig bestimmt werden. Das Absenden nicht in der GOLOG-Bibliothek enthaltener Befehle hat in dieser Implementierung keinen Effekt.
