Ein funktionierendes Produkt mit laufender Forschung und Entwicklung
My Words gibt es wegen eines Problems, das schwieriger ist als das Übersetzen eines Satzes: ein Gespräch über eine Sprachgrenze hinweg zusammenzuhalten, wenn es um die Wohnsituation, die Sicherheit oder die Gesundheit eines Menschen geht, und dabei ehrlich über die eigene Unsicherheit zu sein. Dieses Problem ist nicht gelöst, deshalb endete die Forschung nicht mit der Auslieferung des Produkts.
Woher es kommt
Die Arbeit begann als Project Keystone, eine Forschungsarbeit von INT6 Ltd zur Echtzeit-Vermittlung zweisprachiger Gespräche mit Sprachmodellen. INT6 entwickelte die Machbarkeitsanwendung Turnstone, die anschließend zu einem funktionierenden System ausgebaut und in realen Umgebungen erprobt wurde.
Die Anwendung wurde inzwischen in C2 Discovery Labs CIC überführt, damit sie zum Nutzen der Gemeinschaft und der Gesellschaft gehalten wird. My Words ist genau dieses erprobte System, neu benannt und fortgeführt, und die Entwicklung geht unter diesem Namen weiter.
Wissenschaftliche Validierung
Eine unabhängige Validierung wird derzeit mit einer britischen Universität als Partner vorbereitet. Die Absicht ist, gemeinsam mit Postgraduierten und akademischen Forschungsgruppen an zwei Dingen zugleich zu arbeiten: das Produkt zu verbessern und zu prüfen, ob es das leistet, was diese Website behauptet.
Diese Arbeit ist nicht abgeschlossen, und nichts auf dieser Website hängt davon ab. Sobald Ergebnisse vorliegen, auch solche, die gegen uns sprechen, werden sie hier samt Methode veröffentlicht. Bis dahin betrachten Sie die Aussagen auf dieser Website bitte als unsere eigenen und nicht als unabhängig geprüft.
Was das Projekt tatsächlich herausfinden will
Dies sind die Fragen, um die herum die Arbeit organisiert ist, und die wir einem Forschungspartner sofort vorlegen würden. Keine davon ist geklärt.
Kann eine Maschine Kontext so halten wie ein Dolmetscher?
Ein menschlicher Dolmetscher trägt den Raum, die Vorgeschichte und das Sprachregister mit, ohne dass man ihn darum bitten müsste. Wie viel davon lässt sich als strukturierter Kontext ausdrücklich machen, und was geht dabei verloren?
Kann ein System auf sinnvolle Weise wissen, wann es falsch liegt?
Die Bewertung der Übersetzungstreue ist ein Modell, das ein Modell beurteilt. Wo deckt sich das mit tatsächlichen Fehlern, und wo irrt es in dieselbe Richtung wie das, was es prüft?
Hilft eine Rückfrage oder stört sie?
Nachfragen ist im Grundsatz besser als raten. Wenn aber eine Person in Not vor Ihnen sitzt: Wie oft können Sie unterbrechen, bevor Sie genau das beschädigt haben, was Sie schützen wollten?
Wie sollte einer Fachkraft unter Zeitdruck Unsicherheit angezeigt werden?
Eine Markierung, die ignoriert wird, ist nicht besser als gar keine. Eine Markierung, die das Gespräch bei jedem Beitrag anhält, ist schlechter. Das ist ebenso sehr eine Frage der Gestaltung der Oberfläche wie eine der Modellierung.
Was ändert sich, wenn die Person das Gerät selbst in der Hand hält?
In den eigenen Händen und in der eigenen Sprache zu lesen ist etwas anderes, als über einen Schreibtisch hinweg mitzulesen. Ob sich dadurch ändert, was Menschen preisgeben, ist eine Frage der Messung, und gemessen haben wir das bisher nicht.
Wo verläuft die Grenze wirklich?
Wir behaupten, dass dies für frühe Gespräche gedacht ist und nicht für gesetzlich geregelte. Diese Grenze sollte daran geprüft werden, was in den Diensten tatsächlich geschieht, und nicht verteidigt werden, nur weil wir sie aufgeschrieben haben.
Wie die Arbeit ausgewertet wird
Das System erzeugt seine Belege als Nebenprodukt des Betriebs: Jeder Redebeitrag führt einen Ausgangstext, eine Übersetzung, eine Bewertung der Übersetzungstreue, etwaige Überarbeitungen und etwaige Rückfragen mit sich. Damit lässt sich einiges messen, ohne zusätzlich etwas zu instrumentieren.
- Wie oft eine Übersetzung vor der Ausgabe überarbeitet wird und um wie viel sich die Bewertung dabei verschiebt.
- Wie oft die Vermittlung nachfragt, statt zu antworten, und wie das Gespräch danach weiterläuft.
- Wie sich die Bewertungen nach Sprache verteilen, damit ungleiche Abdeckung sichtbar wird, statt in einem Durchschnitt zu verschwinden.
- An welchen Stellen Mitarbeitende korrigierend eingegriffen, sich wiederholt oder den Austausch abgebrochen haben.
Was die Messung uns nicht sagen kann, ist, ob das Gespräch tatsächlich gut war. Dafür braucht es den Dienst selbst und, wo sich das sauber machen lässt, die Person auf der anderen Seite.
Woran wir uns selbst binden
Testen vor dem Livegang. Neues Verhalten wird an aufgezeichneten und synthetischen Gesprächen erprobt, bevor es auf ein echtes trifft.
Messen, was gemessen wurde. Keine plakative Genauigkeitszahl anstelle einer Verteilung, die wir auch wirklich zeigen können.
Die Methode veröffentlichen. Was wir darüber lernen, dies sicher zu tun, wird so aufgeschrieben, dass andere es nachnutzen können, einschließlich der Teile, die nicht funktioniert haben.
Negative Ergebnisse zählen. Eine Funktion, die Gespräche verschlechtert hat, ist ein Befund und wird auch als solcher berichtet.
Was gebaut ist und läuft
Dies ist eine funktionierende Anwendung, keine Demonstration. Grob umrissen verfügt sie derzeit über:
Live-Vermittlung Zug um Zug
Streaming-Übersetzung, bei der Gesprächsverlauf, strukturierte Fakten und Fachkontext bei jedem Beitrag einbezogen werden.
Treuebewertung und Selbstkorrektur
Bewertungen je Redebeitrag, Überarbeitung unterhalb des Schwellenwerts vor der Ausgabe und Rückfragen an die sprechende Person, wenn die Äußerung mehrdeutig ist.
Zwei Gesprächsoberflächen
Ein Modus mit geteiltem Bildschirm und ein gekoppelter Modus, bei dem die zweite Person über eine Live-Verbindung mit dem eigenen Gerät teilnimmt.
Eine lokalisierte Oberfläche
Oberflächentexte sind in die hinterlegten Sprachen übersetzt und zwischengespeichert, sodass die Oberfläche selbst nicht nur auf Englisch vorliegt.
Konten, Gruppen und Protokollierung
Gruppierung und Berechtigungen auf Organisationsebene, Anmeldung per Passkey oder Passwort mit Zwei-Faktor-Codes sowie ein Prüfprotokoll über Gespräche und Verwaltung hinweg.
Wiederabspielbare Gespräche
Aufgezeichnete Gespräche lassen sich gegen einen neuen Build erneut abspielen, sodass eine Änderung an echtem Dialog getestet wird und nicht an etwas für die Vorführung Improvisiertem.
Ein gewöhnlicher Web-Stack
Eine PHP- und MariaDB-Anwendung, ausgeliefert über HTTPS. Bewusst unexotisch, damit sie nachvollziehbar und prüfbar bleibt und sich, falls das einmal die richtige Antwort ist, auch anderswo betreiben lässt.
Arbeiten Sie mit uns daran
Wir suchen Postgraduierte und Forschungsgruppen mit einer Fragestellung in diesem Feld, Dienste, die bereit sind, ihre Nutzung untersuchen zu lassen, und Fördernde, die evidenzbasierte Arbeit zu Sprache als Hürde beim Zugang zu Hilfe unterstützen.