Un producte en funcionament amb recerca i desenvolupament continus
My Words existeix per un problema més difícil que traduir una frase: sostenir una conversa a través d'una frontera lingüística quan hi ha en joc l'habitatge, la seguretat o la salut d'algú, i fer-ho d'una manera que digui la veritat sobre la seva pròpia incertesa. Aquest problema no està resolt, de manera que la recerca no es va aturar quan el producte va sortir.
D'on ve
El treball va començar com a Project Keystone, una recerca d'INT6 Ltd sobre la mediació de converses bilingües en temps real amb models de llenguatge. INT6 va construir l'aplicació de prova de concepte, Turnstone, que després es va convertir en un sistema en funcionament i es va provar en entorns reals.
Des d'aleshores, l'aplicació s'ha traspassat a C2 Discovery Labs CIC perquè es mantingui en benefici de la comunitat i de la societat. My Words és aquest mateix sistema provat, amb una nova marca i portat endavant, i el desenvolupament continua sota aquesta forma.
Validació acadèmica
S'està preparant una validació independent amb una universitat del Regne Unit. La intenció és treballar amb estudiants de postgrau i laboratoris de recerca acadèmica en dues coses alhora: millorar el producte i comprovar que fa allò que aquest lloc web diu que fa.
Aquest treball no està acabat i res d'aquest lloc web no en depèn. Quan hi hagi resultats, inclosos els que ens siguin desfavorables, es publicaran aquí amb el mètode adjunt. Fins llavors, considereu que les afirmacions d'aquest lloc són nostres i no han estat verificades de manera independent.
Què intenta esbrinar realment el projecte
Aquestes són les preguntes al voltant de les quals s'organitza el treball, i les que posaríem demà mateix davant d'un soci de recerca. Cap no està resolta.
Pot una màquina sostenir el context com ho fa un intèrpret?
Un intèrpret humà porta amb ell la sala, els antecedents i el registre sense que ningú li ho demani. Quina part d'això es pot fer explícita com a context estructurat, i què es perd en explicitar-ho?
Pot un sistema saber de manera útil quan s'equivoca?
La puntuació de fidelitat és un model que jutja un model. On es correlaciona això amb l'error real, i on falla en la mateixa direcció que allò que està comprovant?
Una pregunta aclaridora ajuda o interromp?
Preguntar és millor que endevinar, en principi. Amb una persona angoixada al davant, quantes vegades podeu interrompre abans d'haver malmès allò que volíeu protegir?
Com s'ha de mostrar la incertesa a un professional amb pressa?
Un indicador que s'ignora no és millor que cap indicador. Un indicador que atura la conversa a cada torn és pitjor. És tant una pregunta de recerca sobre interfícies com sobre models.
Què canvia quan és la persona qui té el dispositiu?
Llegir a les pròpies mans, en la pròpia llengua, és un acte diferent de llegir a l'altra banda d'una taula. Si això canvia el que la gent explica és una qüestió de mesura, i encara no ho hem mesurat.
On se situa realment el límit?
Afirmem que això serveix per a les converses inicials i no per a les de caràcter estatutari. Aquest límit s'hauria de contrastar amb el que passa realment als serveis, no defensar-lo perquè el vam escriure.
Com s'avalua el treball
El sistema genera les seves pròpies evidències com a subproducte del funcionament: cada torn porta un text d'origen, una traducció, una puntuació de fidelitat, qualsevol revisió i qualsevol pregunta aclaridora. Això fa que diverses coses siguin mesurables sense instrumentar res més.
- Amb quina freqüència es revisa una traducció abans de lliurar-la, i quant es mou la puntuació.
- Amb quina freqüència el mediador pregunta en lloc de respondre, i què fa la conversa a continuació.
- Com es distribueixen les puntuacions per llengua, de manera que una cobertura desigual es faci visible en lloc de dissoldre's en una mitjana.
- On els professionals han anul·lat el resultat, s'han repetit o han abandonat l'intercanvi.
El que la instrumentació no ens pot dir és si la conversa va ser bona. Això requereix el servei i, quan es pugui fer com cal, la persona que hi havia a l'altra banda.
Com ens hi obliguem
Provar abans de posar en producció. Els comportaments nous s'exerciten amb converses enregistrades i sintètiques abans de trobar-se amb la conversa real de ningú.
Mesurar el que s'ha mesurat. Cap xifra de precisió destacada que substitueixi una distribució que puguem mostrar realment.
Publicar el mètode. El que aprenem sobre com fer això amb seguretat es documenta perquè altres persones ho puguin reutilitzar, incloses les parts que no van funcionar.
Els resultats negatius compten. Una funcionalitat que va empitjorar les converses és un resultat, i s'informa com a tal.
Què hi ha construït i en funcionament
Es tracta d'una aplicació en funcionament, no d'una demostració. A grans trets, actualment té:
Mediació en directe torn a torn
Traducció en temps real amb l'historial de la conversa, els fets estructurats i el context del domini a l'abast de cada torn.
Puntuació de fidelitat i autorevisió
Puntuacions per torn, revisió abans del lliurament quan no s'arriba al llindar i petició d'aclariment a qui parla quan el text d'origen és ambigu.
Dues superfícies de conversa
Un mode de pantalla compartida i un mode aparellat en què la segona persona s'incorpora des del seu propi dispositiu mitjançant una connexió en directe.
Una interfície localitzada
Els textos de la interfície es tradueixen a les llengües inicials i es guarden a la memòria cau, de manera que la superfície mateixa no és només en anglès.
Comptes, grups i auditoria
Agrupació i permisos a escala d'organització, autenticació amb clau d'accés i contrasenya amb codis de doble factor, i un registre d'auditoria de les converses i de l'administració.
Converses reproduïbles
Els intercanvis enregistrats es poden tornar a executar sobre una versió nova, de manera que un canvi es prova amb diàleg real i no amb res improvisat per a la demostració.
Una pila web ordinària
Una aplicació PHP i MariaDB servida per HTTPS. Deliberadament poc exòtica, perquè s'hi pugui raonar, es pugui auditar i es pugui allotjar en un lloc diferent d'on és avui si això arriba a ser la resposta correcta.
Treballeu-hi amb nosaltres
Busquem estudiants de postgrau i laboratoris de recerca amb una pregunta en aquest àmbit, serveis disposats que se n'estudiï l'ús i finançadors que donin suport a un treball basat en evidències sobre la llengua com a barrera per rebre ajuda.