Et færdigt produkt med løbende forskning og udvikling
My Words findes på grund af et sværere problem end at oversætte en sætning: at holde sammen på en samtale hen over en sproggrænse, når det, der står på spil, er et menneskes bolig, sikkerhed eller helbred, og at gøre det på en måde, der siger sandheden om sin egen usikkerhed. Det problem er ikke løst, så forskningen stoppede ikke, da produktet blev sat i drift.
Hvor det kom fra
Arbejdet begyndte som Project Keystone, forskning udført af INT6 Ltd i realtidsmediering af tosprogede samtaler ved hjælp af sprogmodeller. INT6 byggede proof of concept-applikationen Turnstone, som derefter blev udviklet til et fungerende system og afprøvet i virkelige rammer.
Applikationen er siden overført til C2 Discovery Labs CIC, så den ejes til gavn for fællesskabet og samfundet. My Words er det samme afprøvede system, omdøbt og videreført, og udviklingen fortsætter under det navn.
Akademisk validering
Uafhængig validering er under aftale med en britisk universitetspartner. Hensigten er at arbejde sammen med kandidatstuderende og akademiske forskningsmiljøer om to ting på én gang: at forbedre produktet og at efterprøve, at det gør det, dette site siger, det gør.
Det arbejde er ikke afsluttet, og intet på dette site afhænger af det. Når der foreligger resultater, også dem der taler imod os, bliver de offentliggjort her med metoden vedlagt. Indtil da skal påstandene på dette site betragtes som vores egne og ikke som uafhængigt efterprøvede.
Hvad projektet i virkeligheden forsøger at finde ud af
Det er de spørgsmål, arbejdet er bygget op omkring, og dem vi ville lægge frem for en forskningspartner i morgen. Ingen af dem er afklaret.
Kan en maskine fastholde kontekst, som en tolk gør?
En menneskelig tolk bærer rummet, forhistorien og registret med sig uden at blive bedt om det. Hvor meget af det kan gøres eksplicit som struktureret kontekst, og hvad går tabt undervejs?
Kan et system på nyttig vis vide, hvornår det tager fejl?
Troværdighedsscoring er en model, der bedømmer en model. Hvor hænger det sammen med reelle fejl, og hvor fejler det i samme retning som det, den kontrollerer?
Hjælper et opklarende spørgsmål, eller afbryder det?
At spørge slår i princippet at gætte. Men med et menneske i krise foran sig: hvor mange gange kan man afbryde, før man har ødelagt netop det, man ville beskytte?
Hvordan bør usikkerhed vises for en travl fagperson?
En markering, der bliver overset, er ikke bedre end ingen markering. En markering, der standser samtalen hver eneste tur, er værre. Det er lige så meget et spørgsmål om grænsefladen som om modellen.
Hvad ændrer sig, når personen selv holder enheden?
At læse i sine egne hænder, på sit eget sprog, er en anden handling end at læse hen over et skrivebord. Om det ændrer, hvad folk fortæller, er et spørgsmål for måling, og det har vi ikke målt endnu.
Hvor ligger grænsen egentlig?
Vi hævder, at det her er til tidlige samtaler og ikke til myndighedssamtaler. Den grænse bør prøves af mod det, der faktisk sker ude i tilbuddene, ikke forsvares, fordi vi har skrevet den ned.
Sådan evalueres arbejdet
Systemet frembringer sin egen dokumentation som et biprodukt af driften: hver tur bærer en kilde, en oversættelse, en troværdighedsscore, eventuelle rettelser og eventuelle opklarende spørgsmål. Det gør flere ting målbare uden ekstra instrumentering.
- Hvor ofte en oversættelse rettes inden levering, og hvor meget scoren flytter sig.
- Hvor ofte mediatoren spørger i stedet for at svare, og hvad samtalen gør bagefter.
- Hvordan scorerne fordeler sig på sprog, så ujævn dækning træder frem i stedet for at forsvinde i et gennemsnit.
- Hvor medarbejdere tilsidesatte, gentog sig selv eller opgav udvekslingen.
Det, instrumenteringen ikke kan fortælle os, er, om samtalen var god. Det kræver tilbuddet selv og, hvor det kan gøres ordentligt, personen på den anden side.
Sådan holder vi os selv til det
Test før drift. Ny adfærd afprøves mod optagede og syntetiske samtaler, før den møder nogens virkelige samtale.
Mål det, der blev målt. Ingen overskriftsvenlig nøjagtighedsprocent, der skal dække over en fordeling, vi rent faktisk kan vise.
Offentliggør metoden. Det, vi lærer om at gøre dette forsvarligt, bliver skrevet ned, så andre kan bruge det, også de dele der ikke virkede.
Negative resultater tæller. En funktion, der gjorde samtalerne dårligere, er et resultat og bliver rapporteret som et.
Hvad der er bygget og i drift
Dette er en fungerende applikation, ikke en demonstration. I hovedtræk har den i dag:
Mediering tur for tur i realtid
Løbende oversættelse med samtalehistorik, strukturerede fakta og fagkontekst i spil ved hver eneste tur.
Troværdighedsscoring og selvrettelse
Score for hver tur, rettelse inden levering når scoren er under tærsklen, og opklarende spørgsmål tilbage til afsenderen, når kilden er flertydig.
To samtaleflader
En tilstand med delt skærm og en parret tilstand, hvor den anden person deltager fra sin egen enhed over en direkte forbindelse.
En lokaliseret grænseflade
Tekster i grænsefladen er oversat til de tilgængelige sprog og cachet, så selve fladen ikke kun er på engelsk.
Konti, grupper og revision
Gruppering og rettigheder på organisationsniveau, login med adgangsnøgle eller adgangskode med tofaktorkoder, og en revisionslog på tværs af samtaler og administration.
Samtaler der kan afspilles igen
Optagede udvekslinger kan afspilles mod en ny version, så en ændring afprøves på virkelig dialog og ikke på noget, der er fundet på til demonstrationen.
En ganske almindelig webstak
En PHP- og MariaDB-applikation leveret over HTTPS. Bevidst uspændende, så den kan gennemskues, revideres og hostes et andet sted end i dag, hvis det bliver det rigtige svar.
Arbejd med os om det her
Vi leder efter kandidatstuderende og forskningsmiljøer med et spørgsmål på dette felt, efter tilbud der vil lade deres brug blive studeret, og efter bevillingsgivere der bakker op om evidensbaseret arbejde med sproget som barriere for at få hjælp.