Un produto en funcionamento con investigación e desenvolvemento continuados
My Words existe por un problema máis difícil ca traducir unha frase: soster unha conversa a través dunha fronteira lingüística cando o que está en xogo é a vivenda, a seguridade ou a saúde de alguén, e facelo dun xeito que diga a verdade sobre a súa propia incerteza. Ese problema non está resolto, así que a investigación non parou cando o produto saíu.
De onde vén
O traballo comezou como Project Keystone, unha investigación de INT6 Ltd sobre a mediación de conversas bilingües en tempo real con modelos de linguaxe. INT6 construíu a aplicación de proba de concepto, Turnstone, que despois se desenvolveu ata converterse nun sistema en funcionamento e se probou en contornos reais.
Desde entón, a aplicación trasladouse a C2 Discovery Labs CIC para que se manteña en beneficio da comunidade e da sociedade. My Words é ese mesmo sistema probado, cunha nova marca e continuado, e o desenvolvemento segue baixo el.
Validación académica
Estase a organizar unha validación independente cun socio universitario do Reino Unido. A intención é traballar con estudantado de posgrao e con laboratorios de investigación académica en dúas cousas á vez: mellorar o produto e comprobar que fai o que esta web di que fai.
Ese traballo non está rematado e nada desta web depende del. Cando haxa resultados, incluídos os que vaian en contra nosa, publicaranse aquí co método adxunto. Ata entón, tome as afirmacións desta web como nosas e non como verificadas de xeito independente.
O que o proxecto está realmente a tentar descubrir
Estas son as preguntas arredor das que se organiza o traballo, e as que lle poriamos mañá mesmo diante a un socio investigador. Ningunha delas está resolta.
Pode unha máquina soster o contexto como o fai un intérprete?
Un intérprete humano leva consigo a sala, o historial e o rexistro sen que llo pidan. Canto diso se pode explicitar como contexto estruturado, e que se perde ao explicitalo?
Pode un sistema saber de xeito útil cando se equivoca?
A puntuación de fidelidade é un modelo xulgando outro modelo. Onde correlaciona iso co erro real, e onde falla na mesma dirección ca aquilo que está a comprobar?
Unha pregunta de aclaración axuda ou interrompe?
Preguntar é mellor ca adiviñar, en principio. Cunha persoa angustiada diante, cantas veces se pode interromper antes de danar aquilo que se quería protexer?
Como se debe amosar a incerteza a un profesional atarefado?
Un marcador que se ignora non é mellor ca ningún marcador. Un marcador que detén a conversa en cada quenda é peor. Isto é tanto unha cuestión de investigación en interfaces como de modelaxe.
Que cambia cando o dispositivo o ten a persoa?
Ler nas propias mans, na propia lingua, é un acto distinto de ler ao outro lado dunha mesa. Se iso cambia o que a xente conta é unha pregunta para medir, e aínda non a medimos.
Onde está realmente o límite?
Afirmamos que isto é para conversas iniciais e non para as de carácter oficial. Ese límite debería contrastarse co que realmente ocorre nos servizos, non defenderse porque o escribimos.
Como se avalía o traballo
O sistema produce as súas propias evidencias como subproduto do seu funcionamento: cada quenda leva un orixinal, unha tradución, unha puntuación de fidelidade, calquera revisión e calquera pregunta de aclaración. Iso fai medibles varias cousas sen instrumentar nada máis.
- Con que frecuencia se revisa unha tradución antes de entregala, e canto se move a puntuación.
- Con que frecuencia o mediador pregunta en vez de responder, e que fai a conversa a continuación.
- Como se distribúen as puntuacións por lingua, de xeito que unha cobertura desigual apareza en vez de desaparecer nunha media.
- Onde as persoas profesionais anularon o resultado, se repetiron ou abandonaron o intercambio.
O que a instrumentación non nos pode dicir é se a conversa foi boa. Iso require o servizo e, cando se poida facer como é debido, a persoa que está do outro lado.
Como nos obrigamos a cumprilo
Probar antes de saír en vivo. Todo comportamento novo exercítase contra conversas gravadas e sintéticas antes de atoparse cunha conversa real de ninguén.
Medir o que se mediu. Ningunha cifra de exactitude de titular que substitúa unha distribución que poidamos amosar de verdade.
Publicar o método. O que aprendemos sobre facer isto con seguridade escríbese para que outras persoas o reutilicen, incluídas as partes que non funcionaron.
Os resultados negativos contan. Unha funcionalidade que empeorou as conversas é un achado, e comunícase como tal.
O que está construído e en funcionamento
Esta é unha aplicación en funcionamento, non unha demostración. En liñas xerais, agora mesmo ten:
Mediación en vivo quenda a quenda
Tradución en fluxo co historial da conversa, feitos estruturados e contexto do ámbito dispoñibles en cada quenda.
Puntuación de fidelidade e autorrevisión
Puntuacións por quenda, revisión por debaixo do limiar antes da entrega e petición de aclaración a quen falou cando o orixinal é ambiguo.
Dúas modalidades de conversa
Un modo de pantalla compartida e un modo emparellado no que a segunda persoa se une desde o seu propio dispositivo mediante unha conexión en vivo.
Unha interface localizada
Os textos da interface tradúcense ás linguas dispoñibles e gárdanse en caché, de xeito que a propia interface non está só en inglés.
Contas, grupos e auditoría
Agrupación e permisos a nivel de organización, autenticación con passkey e con contrasinal e códigos de dobre factor, e un rexistro de auditoría das conversas e da administración.
Conversas reproducibles
Os intercambios gravados poden reproducirse contra unha nova versión, de xeito que un cambio se proba con diálogo real e non con algo improvisado para a demostración.
Unha pila web corrente
Unha aplicación PHP e MariaDB servida por HTTPS. Deliberadamente pouco exótica, para que se poida razoar sobre ela, auditar e aloxar noutro sitio distinto do actual se iso resulta ser o axeitado.
Traballe nisto connosco
Buscamos estudantado de posgrao e laboratorios de investigación cunha pregunta neste eido, servizos dispostos a que se estude o seu uso, e entidades financiadoras que apoien o traballo baseado en evidencias sobre a lingua como barreira para recibir axuda.