Un produit opérationnel, avec une recherche et un développement continus
My Words est né d'un problème plus difficile que la traduction d'une phrase : tenir ensemble une conversation par-dessus une frontière linguistique quand ce qui est en jeu, c'est le logement, la sécurité ou la santé de quelqu'un, et le faire d'une manière qui dit la vérité sur sa propre incertitude. Ce problème n'est pas résolu : la recherche ne s'est donc pas arrêtée à la mise en service du produit.
D'où cela vient
Le travail a commencé sous le nom de Project Keystone, une recherche menée par INT6 Ltd sur la médiation de conversations bilingues en temps réel à l'aide de modèles de langage. INT6 a construit l'application de démonstration, Turnstone, qui a ensuite été développée en un système opérationnel et testée en conditions réelles.
L'application a depuis été transférée à C2 Discovery Labs CIC afin d'être détenue au bénéfice de la collectivité et de la société. My Words est ce même système éprouvé, sous une nouvelle marque et poursuivi, et le développement se poursuit sous ce nom.
Validation académique
Une validation indépendante est en cours d'organisation avec une université partenaire au Royaume-Uni. L'intention est de travailler avec des étudiants de troisième cycle et des laboratoires de recherche sur deux choses à la fois : améliorer le produit, et vérifier qu'il fait bien ce que ce site affirme.
Ces travaux ne sont pas terminés et rien sur ce site n'en dépend. Lorsqu'il y aura des résultats, y compris ceux qui nous seront défavorables, ils seront publiés ici avec la méthode. D'ici là, considérez les affirmations de ce site comme les nôtres, et non comme vérifiées de façon indépendante.
Ce que le projet cherche vraiment à savoir
Voici les questions autour desquelles le travail est organisé, et celles que nous soumettrions dès demain à un partenaire de recherche. Aucune n'est tranchée.
Une machine peut-elle tenir le contexte comme le fait un interprète ?
Un interprète humain porte la situation, l'historique et le registre sans qu'on le lui demande. Quelle part de cela peut être explicitée sous forme de contexte structuré, et que perd-on à l'expliciter ?
Un système peut-il utilement savoir quand il se trompe ?
Le score de fidélité, c'est un modèle qui juge un modèle. Où cela correspond-il à une erreur réelle, et où le juge se trompe-t-il dans le même sens que ce qu'il contrôle ?
Une question de clarification aide-t-elle ou interrompt-elle ?
Demander vaut mieux que deviner, en principe. Face à une personne en détresse, combien de fois peut-on interrompre avant d'abîmer ce que l'on cherchait à protéger ?
Comment montrer l'incertitude à un professionnel débordé ?
Un indicateur que l'on ignore ne vaut pas mieux qu'aucun indicateur. Un indicateur qui arrête la conversation à chaque tour est pire encore. C'est autant une question de recherche sur l'interface que sur la modélisation.
Qu'est-ce qui change quand la personne tient l'appareil ?
Lire dans ses propres mains, dans sa propre langue, n'est pas le même geste que lire par-dessus un bureau. Savoir si cela change ce que les gens confient est une question de mesure, et nous ne l'avons pas encore mesurée.
Où se situe réellement la limite ?
Nous affirmons que cet outil est fait pour les premières conversations et non pour les échanges à portée réglementaire. Cette limite devrait être éprouvée face à ce qui se passe réellement dans les services, et non défendue au motif que nous l'avons écrite.
Comment le travail est évalué
Le système produit ses propres preuves comme sous-produit de son fonctionnement : chaque tour de parole porte un texte source, une traduction, un score de fidélité, les éventuelles reprises et les éventuelles questions de clarification. Plusieurs choses deviennent ainsi mesurables sans instrumentation supplémentaire.
- À quelle fréquence une traduction est reprise avant d'être remise, et de combien le score évolue.
- À quelle fréquence le médiateur pose une question au lieu de répondre, et ce que devient ensuite la conversation.
- Comment les scores se répartissent par langue, afin qu'une couverture inégale apparaisse au lieu de se dissoudre dans une moyenne.
- Où les professionnels ont passé outre, se sont répétés ou ont abandonné l'échange.
Ce que l'instrumentation ne peut pas nous dire, c'est si la conversation était bonne. Cela demande le service lui-même et, quand la chose peut être faite correctement, la personne qui se trouvait en face.
Ce à quoi nous nous tenons
Tester avant la mise en service. Tout nouveau comportement est éprouvé sur des conversations enregistrées et synthétiques avant de rencontrer la conversation réelle de qui que ce soit.
Ne mesurer que ce qui a été mesuré. Aucun chiffre d'exactitude en gros titre ne tient lieu d'une distribution que nous pouvons réellement montrer.
Publier la méthode. Ce que nous apprenons sur la manière de faire cela en sécurité est rédigé pour que d'autres puissent le réutiliser, y compris ce qui n'a pas fonctionné.
Les résultats négatifs comptent. Une fonctionnalité qui a dégradé les conversations est un résultat, et elle est rapportée comme telle.
Ce qui est construit et en service
Il s'agit d'une application opérationnelle, pas d'une démonstration. Dans les grandes lignes, elle comporte aujourd'hui :
Une médiation en direct, tour par tour
Traduction en flux continu, avec l'historique de la conversation, les faits structurés et le contexte métier pris en compte à chaque tour.
Score de fidélité et reprise automatique
Un score par tour, une reprise avant remise lorsque le score est sous le seuil, et une demande de clarification adressée à la personne lorsque le message source est ambigu.
Deux surfaces de conversation
Un mode écran partagé et un mode apparié, où la seconde personne rejoint la conversation depuis son propre appareil, par une connexion en direct.
Une interface localisée
Les libellés de l'interface sont traduits dans les langues initialisées puis mis en cache, de sorte que l'interface elle-même n'est pas uniquement en anglais.
Comptes, groupes et audit
Regroupement et permissions au niveau de l'organisation, authentification par clé d'accès ou par mot de passe avec codes à deux facteurs, et un journal d'audit couvrant les conversations comme l'administration.
Conversations rejouables
Les échanges enregistrés peuvent être rejoués sur une nouvelle version, de sorte qu'une modification est testée sur du dialogue réel et non sur quelque chose d'improvisé pour la démonstration.
Une pile web ordinaire
Une application PHP et MariaDB servie en HTTPS. Délibérément sans exotisme, pour qu'elle puisse être comprise, auditée et hébergée ailleurs qu'aujourd'hui si cela devient la bonne réponse.
Travaillez sur ce sujet avec nous
Nous cherchons des étudiants de troisième cycle et des laboratoires de recherche ayant une question dans ce domaine, des services acceptant que leur usage soit étudié, et des financeurs soutenant des travaux fondés sur la preuve autour de la langue comme obstacle à l'accès à l'aide.