Um produto em funcionamento, com investigação e desenvolvimento em curso
O My Words existe por causa de um problema mais difícil do que traduzir uma frase: manter uma conversa de pé através de uma fronteira linguística quando o que está em jogo é a habitação, a segurança ou a saúde de alguém, e fazê-lo de uma forma que diga a verdade sobre a sua própria incerteza. Esse problema não está resolvido, por isso a investigação não parou quando o produto foi lançado.
De onde veio
O trabalho começou como Project Keystone, uma investigação da INT6 Ltd sobre mediação de conversas bilingues em tempo real com recurso a modelos de linguagem. A INT6 construiu a aplicação de prova de conceito, Turnstone, que foi depois desenvolvida até se tornar um sistema funcional e testada em contextos reais.
A aplicação foi entretanto transferida para a C2 Discovery Labs CIC, para que seja detida em benefício da comunidade e da sociedade. O My Words é esse mesmo sistema testado, com nova marca e levado em frente, e o desenvolvimento prossegue sob esse nome.
Validação académica
Está a ser preparada uma validação independente com uma universidade parceira no Reino Unido. A intenção é trabalhar com estudantes de pós-graduação e laboratórios de investigação académica em duas frentes ao mesmo tempo: melhorar o produto e verificar que faz aquilo que este site diz que faz.
Esse trabalho não está concluído e nada neste site depende dele. Quando houver resultados, incluindo os que nos sejam desfavoráveis, serão publicados aqui com o método em anexo. Até lá, considere as afirmações deste site como nossas e não como verificadas de forma independente.
O que o projeto está realmente a tentar descobrir
Estas são as questões em torno das quais o trabalho está organizado, e as que colocaríamos amanhã a um parceiro de investigação. Nenhuma delas está resolvida.
Pode uma máquina reter o contexto como um intérprete o faz?
Um intérprete humano carrega consigo a sala, o historial e o registo sem que lho peçam. Que parte disso pode ser tornada explícita como contexto estruturado, e o que se perde ao torná-la explícita?
Pode um sistema saber, de forma útil, quando está errado?
A pontuação de fidelidade é um modelo a avaliar um modelo. Onde é que isso se correlaciona com o erro real, e onde é que falha na mesma direção daquilo que está a verificar?
Uma pergunta de esclarecimento ajuda ou interrompe?
Perguntar é melhor do que adivinhar, em princípio. Com uma pessoa angustiada à sua frente, quantas vezes é possível interromper antes de ter danificado aquilo que se queria proteger?
Como deve a incerteza ser mostrada a um profissional atarefado?
Um indicador que é ignorado não é melhor do que indicador nenhum. Um indicador que trava a conversa a cada turno é pior. Esta é tanto uma questão de investigação sobre interfaces como sobre modelação.
O que muda quando é a pessoa a segurar o dispositivo?
Ler nas próprias mãos, na própria língua, é um ato diferente de ler do outro lado de uma secretária. Saber se isso muda aquilo que as pessoas revelam é uma questão de medição, e ainda não a medimos.
Onde está realmente o limite?
Afirmamos que isto serve para as conversas iniciais e não para as que decorrem de obrigações legais. Esse limite deve ser posto à prova face ao que realmente acontece nos serviços, e não defendido só porque o escrevemos.
Como o trabalho é avaliado
O sistema produz as suas próprias evidências como subproduto do funcionamento: cada turno guarda um original, uma tradução, uma pontuação de fidelidade, eventuais revisões e eventuais perguntas de esclarecimento. Isso torna várias coisas mensuráveis sem instrumentar mais nada.
- Com que frequência uma tradução é revista antes de ser entregue, e quanto se desloca a pontuação.
- Com que frequência o mediador pergunta em vez de responder, e o que a conversa faz a seguir.
- Como se distribuem as pontuações por idioma, para que uma cobertura desigual fique visível em vez de desaparecer numa média.
- Onde é que os profissionais sobrepuseram a sua decisão, se repetiram ou abandonaram a troca.
O que a instrumentação não nos consegue dizer é se a conversa foi boa. Para isso é preciso o serviço e, sempre que possa ser feito como deve ser, a pessoa do outro lado.
Como nos obrigamos a cumpri-los
Testar antes de entrar em produção. Qualquer comportamento novo é exercitado com conversas gravadas e sintéticas antes de encontrar a conversa real de alguém.
Medir aquilo que foi efetivamente medido. Nenhum número de exatidão em destaque a substituir uma distribuição que podemos realmente mostrar.
Publicar o método. O que aprendemos sobre fazer isto em segurança é escrito para que outras pessoas o reutilizem, incluindo as partes que não resultaram.
Os resultados negativos contam. Uma funcionalidade que piorou as conversas é um resultado, e é comunicada como tal.
O que está construído e a funcionar
Esta é uma aplicação em funcionamento, não uma demonstração. Em traços gerais, tem atualmente:
Mediação ao vivo, turno a turno
Tradução em streaming com o historial da conversa, factos estruturados e contexto do domínio disponíveis em cada turno.
Pontuação de fidelidade e autorrevisão
Pontuações por turno, revisão abaixo do limiar antes da entrega e um pedido de esclarecimento a quem falou sempre que o original é ambíguo.
Duas superfícies de conversa
Um modo de ecrã partilhado e um modo emparelhado, em que a segunda pessoa entra a partir do seu próprio dispositivo através de uma ligação ao vivo.
Uma interface localizada
As cadeias de texto da interface traduzidas para os idiomas já carregados e guardadas em cache, para que a própria superfície não exista apenas em inglês.
Contas, grupos e auditoria
Agrupamento e permissões ao nível da organização, autenticação por passkey e por palavra-passe com códigos de dois fatores, e um registo de auditoria que abrange conversas e administração.
Conversas reproduzíveis
As trocas gravadas podem ser reproduzidas sobre uma nova versão, para que uma alteração seja testada com diálogo real e não com algo improvisado para a demonstração.
Uma pilha web comum
Uma aplicação em PHP e MariaDB servida por HTTPS. Deliberadamente pouco exótica, para que possa ser compreendida, auditada e alojada noutro sítio que não o atual, se essa vier a ser a resposta certa.
Trabalhe nisto connosco
Procuramos estudantes de pós-graduação e laboratórios de investigação com uma questão nesta área, serviços dispostos a ver a sua utilização estudada e financiadores que apoiem trabalho baseado em evidência sobre a língua como barreira no acesso à ajuda.