Vad det här är dåligt på
Varje produktsida på den här webbplatsen beskriver något som fungerar. Den här gör tvärtom, eftersom en verksamhet som ska avgöra om den ska använda det här behöver båda delarna.
Vad kontrollen inte ger er
Produkten utgår från att den ibland kommer att ha fel, och uppgiften som följer av det är att visa er när. Att vara tydlig med vad poängsättningen ger er innebär att vara lika tydlig med dess begränsningar.
- En poäng är ingen garanti. Den beskriver den kontroll som faktiskt kördes på just den turen, och ingenting om världen utanför.
- Den som poängsätter är en språkmodell, precis som den som översätter. Den ger en modells omdöme om en annan modells arbete, och den kan ha fel åt samma håll som den översättning den bedömer.
- En hög poäng på en tur gör inte samtalet lämpligt för verktyget. Den bedömningen är er, och listan över samtal som aldrig är aktuella på sidan om skyddsåtgärder är där den börjar.
- Där något om personen har fångats upp ur samtalet i stället för att ha angetts för systemet är det synligt för medarbetaren och kan rättas. Åldersspann och kön påverkar hur en översättning omtalar någon, så ett antagande som inte rättas är ett fel som följer med in i varje efterföljande tur.
Kända begränsningar
- Språktäckningen är ojämn. Kvaliteten är inte densamma för alla förberedda språk, och språken med minst träningsdata är ofta de som en verksamhet i frontlinjen behöver mest.
- Dialekt och stilnivå varierar. En regional variant kan hanteras sämre än standardformen av samma språk.
- Det är skrivet, inte talat. I dag skriver båda parter. Det passar ett skrivbord och en telefon; det är långsammare än att tala, och det förutsätter att båda kan läsa och skriva sitt eget språk. Tal in och ut håller på att byggas och kommer att föra med sig sina egna begränsningar.
- Poängsättningen är i sig ett modellutdata. En trohetspoäng är en modells omdöme om en annan modells arbete. Den kan ha fel åt samma håll som den översättning den bedömer.
- Det utvecklas aktivt. Beteendet ändras mellan versioner. Det är så produkten blir bättre, och det betyder att en kontroll ni gjorde för sex månader sedan inte är en kontroll ni har gjort i dag.
Data
Samtalsinnehåll måste skickas till en externt driftad språkmodell för att kunna översättas, och lagras så att utbytet kan granskas och revideras. För en verksamhet som hanterar känsliga uppgifter spelar det roll, så det står utskrivet i integritetspolicyn.
Om en organisation har krav som det här inte uppfyller, säg det tidigt. Driftsättningsalternativ är en öppen fråga vi arbetar med, och vi hör hellre om kravet än argumenterar emot det.
Den här sidan beskriver produktens nuvarande begränsningar. Om ni tror att något här är felaktigt, eller om ni har stött på en begränsning som inte finns med, säg till. Det är mer värdefullt för projektet än en komplimang.
Påstå aldrig mer än vad som mättes
Allt på medarbetarens skärm är antingen något systemet gjorde eller något det mätte. En kontroll som inte gjordes visas som frånvarande. En poäng hör till den tur den bedömde. Ingenting jämnas ut till ett allmänt intryck av tillförlitlighet, eftersom hela poängen med designen är att den som använder verktyget ska kunna se skillnaden.