Et fungerende produkt med pågående forskning og utvikling
My Words finnes på grunn av et vanskeligere problem enn å oversette en setning: å holde en samtale sammen over en språkgrense når det står om noens bolig, sikkerhet eller helse, og gjøre det på en måte som er ærlig om sin egen usikkerhet. Det problemet er ikke løst, så forskningen stoppet ikke da produktet ble lansert.
Hvor det kom fra
Arbeidet startet som Project Keystone, forskning fra INT6 Ltd på sanntidsmediering av tospråklige samtaler ved hjelp av språkmodeller. INT6 bygde konseptapplikasjonen Turnstone, som deretter ble videreutviklet til et fungerende system og prøvd ut i reelle situasjoner.
Applikasjonen er siden overført til C2 Discovery Labs CIC, slik at den forvaltes til nytte for lokalsamfunn og samfunnet ellers. My Words er det samme utprøvde systemet, med ny merkevare og videreført, og utviklingen fortsetter der.
Akademisk validering
Uavhengig validering er under planlegging med en britisk universitetspartner. Hensikten er å samarbeide med studenter på master- og doktorgradsnivå og med akademiske forskningsmiljøer om to ting samtidig: å forbedre produktet, og å kontrollere at det gjør det dette nettstedet sier at det gjør.
Det arbeidet er ikke ferdig, og ingenting på dette nettstedet avhenger av det. Når det foreligger resultater, også de som taler mot oss, blir de publisert her med metoden vedlagt. Fram til da må påstandene på dette nettstedet leses som våre egne, ikke som uavhengig kontrollerte.
Hva prosjektet faktisk forsøker å finne ut
Dette er spørsmålene arbeidet er organisert rundt, og de vi ville lagt fram for en forskningspartner i morgen. Ingen av dem er avklart.
Kan en maskin holde på kontekst slik en tolk gjør?
En menneskelig tolk bærer med seg rommet, historikken og registeret uten å bli bedt om det. Hvor mye av det kan gjøres eksplisitt som strukturert kontekst, og hva går tapt når det gjøres eksplisitt?
Kan et system vite, på en nyttig måte, når det tar feil?
Troskapsscoring er en modell som vurderer en modell. Hvor samsvarer det med reelle feil, og hvor svikter det i samme retning som det den skal kontrollere?
Hjelper et oppklarende spørsmål, eller avbryter det?
Å spørre slår å gjette, i prinsippet. Med et menneske i krise foran deg: hvor mange ganger kan du avbryte før du har skadet nettopp det du skulle verne om?
Hvordan bør usikkerhet vises til en travel fagperson?
En markør som blir oversett, er ikke bedre enn ingen markør. En markør som stopper samtalen hver eneste tur, er verre. Dette er like mye et spørsmål om grensesnittdesign som om modellering.
Hva endrer seg når personen selv holder enheten?
Å lese i sine egne hender, på sitt eget språk, er noe annet enn å lese over et skrivebord. Om det endrer hva folk forteller, er et spørsmål for måling, og vi har ikke målt det ennå.
Hvor går grensen egentlig?
Vi hevder at dette er for tidlige samtaler og ikke for lovpålagte. Den grensen bør prøves mot det som faktisk skjer i tjenestene, ikke forsvares fordi vi skrev den ned.
Hvordan arbeidet evalueres
Systemet produserer sitt eget datagrunnlag som et biprodukt av å være i drift: hver tur bærer med seg en original, en oversettelse, en troskapsscore, eventuelle revisjoner og eventuelle oppklarende spørsmål. Det gjør flere ting målbare uten at noe ekstra må instrumenteres.
- Hvor ofte en oversettelse revideres før levering, og hvor mye scoren flytter seg.
- Hvor ofte mediatoren spør i stedet for å svare, og hva samtalen gjør deretter.
- Hvordan scorene fordeler seg per språk, slik at ujevn dekning kommer fram i stedet for å forsvinne i et gjennomsnitt.
- Hvor medarbeidere overstyrte, gjentok seg selv eller avbrøt utvekslingen.
Det instrumenteringen ikke kan fortelle oss, er om samtalen var god. Det krever tjenesten selv, og der det lar seg gjøre forsvarlig, personen på den andre siden.
Slik holder vi oss selv til det
Test før produksjon. Ny funksjonalitet prøves mot innspilte og syntetiske samtaler før den møter noens virkelige.
Mål det som faktisk ble målt. Ingen iøynefallende nøyaktighetsprosent som står i stedet for en fordeling vi faktisk kan vise.
Publiser metoden. Det vi lærer om å gjøre dette trygt, skrives opp slik at andre kan gjenbruke det, også de delene som ikke fungerte.
Negative resultater teller. En funksjon som gjorde samtalene dårligere, er et funn, og rapporteres som det.
Hva som er bygget og i drift
Dette er en fungerende applikasjon, ikke en demonstrasjon. Grovt sett har den i dag:
Direkte mediering tur for tur
Strømmende oversettelse med samtalehistorikk, strukturerte fakta og domenekontekst tilgjengelig for hver eneste tur.
Troskapsscoring og selvrevisjon
Score for hver tur, revisjon under terskelverdien før levering, og oppklaring tilbake til avsenderen der originalen er tvetydig.
To samtaleflater
En modus med delt skjerm og en parvis modus der den andre personen kobler seg til fra sin egen enhet over en direkte forbindelse.
Et lokalisert grensesnitt
Grensesnittekster oversatt til de forhåndslastede språkene og bufret, slik at selve flaten ikke bare er på engelsk.
Kontoer, grupper og revisjonsspor
Gruppering og rettigheter på organisasjonsnivå, innlogging med passkey eller passord med tofaktorkode, og en revisjonslogg på tvers av samtaler og administrasjon.
Samtaler som kan kjøres om igjen
Registrerte utvekslinger kan kjøres på nytt mot en ny versjon, slik at en endring testes på reell dialog og ikke på noe improvisert til demoen.
En helt vanlig webstack
En PHP- og MariaDB-applikasjon levert over HTTPS. Bevisst lite eksotisk, slik at den kan gjennomskues, revideres og driftes et annet sted enn der den ligger i dag, hvis det blir det riktige svaret.
Jobb med dette sammen med oss
Vi ser etter studenter på master- og doktorgradsnivå og forskningsmiljøer med et spørsmål på dette feltet, etter tjenester som er villige til å la bruken sin bli studert, og etter finansiører som støtter kunnskapsbasert arbeid med språk som hinder for å få hjelp.