Det dette er dårlig på

Det kontrollen ikke gir dere

Produktet går ut fra at det av og til tar feil, og oppgaven som følger av det, er å vise dere når. Å være tydelig på hva scoringen gir dere, betyr å være like tydelig på begrensningene.

1. En score er ingen garanti. Den beskriver kontrollen som faktisk ble kjørt på den turen, og ingenting om verden utenfor.
2. Den som scorer, er en språkmodell, akkurat som den som oversetter. Den gir én modells vurdering av en annen modells arbeid, og den kan ta feil i samme retning som oversettelsen den vurderer.
3. En høy score på en tur gjør ikke samtalen egnet for verktøyet. Den vurderingen er deres, og listen over samtaler som aldri er innenfor, på siden om sikkerhetstiltak, er der den begynner.
4. Der noe om personen er plukket opp fra samtalen i stedet for oppgitt til systemet, er det synlig for den ansatte og kan rettes. Aldersgruppe og kjønn endrer hvordan en oversettelse omtaler noen, så en antakelse som ikke blir rettet, er en feil som følger med inn i hver eneste tur etterpå.

Kjente begrensninger

1. Språkdekningen er ujevn. Kvaliteten er ikke den samme på tvers av alle språkene som er lagt inn, og språkene med minst treningsdata er ofte dem en tjeneste i førstelinjen trenger mest.
2. Dialekt og register varierer. En regional variant kan bli håndtert dårligere enn standardformen av det samme språket.
3. Det er skriftlig, ikke muntlig. I dag skriver begge parter. Det passer ved en skranke og på en telefon; det er tregere enn å snakke, og det forutsetter at begge kan lese og skrive sitt eget språk. Tale inn og ut er under utvikling og vil bringe med seg sine egne begrensninger.
4. Scoringen er selv et resultat fra en modell. En troskapsscore er én modells vurdering av en annen modells arbeid. Den kan ta feil i samme retning som oversettelsen den vurderer.
5. Det er under aktiv utvikling. Oppførselen endrer seg mellom versjoner. Det er slik produktet blir bedre, og det betyr at en kontroll dere kjørte for et halvt år siden, ikke er en kontroll dere har kjørt i dag.

Data

Samtaleinnhold må sendes til en språkmodell driftet av andre for å bli oversatt, og det lagres slik at utvekslingen kan gjennomgås og revideres. For en tjeneste som håndterer sensitive opplysninger, betyr det noe, så det er skrevet ut i personvernerklæringen.

Har en organisasjon krav som dette ikke oppfyller, si fra tidlig. Driftsalternativer er et åpent spørsmål vi arbeider med, og vi vil heller høre begrensningen enn å argumentere mot den.

Denne siden beskriver produktets nåværende begrensninger. Mener dere at noe her er unøyaktig, eller har dere støtt på en begrensning som ikke står oppført, si fra. Det er mer nyttig for prosjektet enn et kompliment.