Det, værktøjet er dårligt til

Det, kontrollen ikke giver jer

Produktet går ud fra, at det somme tider tager fejl, og opgaven, der følger af det, er at vise jer hvornår. At være tydelig om, hvad scoringen giver jer, kræver at være lige så tydelig om dens grænser.

1. En score er ingen garanti. Den beskriver den kontrol, der faktisk blev udført på den tur, og intet om verden derudover.
2. Den, der scorer, er en sprogmodel ligesom den, der oversætter. Den giver én models vurdering af en anden models arbejde, og den kan tage fejl i samme retning som den oversættelse, den bedømmer.
3. En høj score på en tur gør ikke samtalen egnet til værktøjet. Den vurdering er jeres, og listen over de samtaler, der aldrig er omfattet, på siden om sikkerhed er stedet at begynde.
4. Hvor noget om personen er opsamlet fra samtalen frem for oplyst til systemet, er det synligt for medarbejderen og kan rettes. Aldersgruppe og køn ændrer, hvordan en oversættelse omtaler nogen, så en antagelse, der ikke bliver rettet, er en fejl, der bæres videre i hver eneste følgende tur.

Kendte begrænsninger

1. Sprogdækningen er ujævn. Kvaliteten er ikke den samme på tværs af alle tilgængelige sprog, og de sprog med mindst træningsdata er ofte dem, et frontlinjetilbud har mest brug for.
2. Dialekt og register varierer. En regional varietet kan blive håndteret dårligere end standardformen af det samme sprog.
3. Det er skrevet, ikke talt. I dag skriver begge parter. Det passer til en skranke og en telefon; det er langsommere end at tale, og det forudsætter, at begge kan læse og skrive deres eget sprog. Tale ind og ud er under opbygning og vil bringe sine egne begrænsninger med sig.
4. Scoringen er selv et modeloutput. En troværdighedsscore er én models vurdering af en anden models arbejde. Den kan tage fejl i samme retning som den oversættelse, den bedømmer.
5. Det er under aktiv udvikling. Adfærden ændrer sig mellem udgivelser. Sådan bliver produktet bedre, og det betyder, at en kontrol, I lavede for et halvt år siden, ikke er en kontrol, I har lavet i dag.

Data

Samtaleindhold skal sendes til en hostet sprogmodel for at blive oversat og bliver gemt, så udvekslingen kan gennemses og revideres. For et tilbud, der håndterer følsomme oplysninger, betyder det noget, og derfor er det skrevet ud i privatlivspolitikken.

Har en organisation begrænsninger, som det ikke lever op til, så sig det tidligt. Hostingmuligheder er et åbent spørgsmål, vi arbejder med, og vi hører hellere om begrænsningen end at diskutere med den.

Denne side beskriver produktets nuværende begrænsninger. Mener I, at noget her er unøjagtigt, eller er I stødt på en begrænsning, der ikke står på listen, så sig til. Det er mere værd for projektet end en ros.