Un produs funcțional, cu cercetare și dezvoltare continue
My Words există din cauza unei probleme mai grele decât traducerea unei propoziții: să ții o conversație laolaltă peste o graniță lingvistică atunci când în joc sunt locuința, siguranța sau sănătatea cuiva, și să faci asta spunând adevărul despre propria incertitudine. Acea problemă nu este rezolvată, așa că cercetarea nu s-a oprit când produsul a fost lansat.
De unde a pornit
Munca a început ca Project Keystone, o cercetare a INT6 Ltd privind medierea conversației bilingve în timp real cu ajutorul modelelor lingvistice. INT6 a construit aplicația demonstrativă Turnstone, care a fost apoi dezvoltată într-un sistem funcțional și testată în situații reale.
Între timp, aplicația a fost transferată în C2 Discovery Labs CIC, astfel încât să fie deținută în beneficiul comunității și al societății. My Words este același sistem testat, cu o identitate nouă și dus mai departe, iar dezvoltarea continuă sub acest nume.
Validare academică
O validare independentă este în curs de organizare cu o universitate parteneră din Regatul Unit. Intenția este de a lucra cu studenți de la programele de masterat și doctorat și cu laboratoare de cercetare academică la două lucruri deodată: îmbunătățirea produsului și verificarea faptului că face ceea ce spune acest site că face.
Acea activitate nu este încheiată și nimic de pe acest site nu depinde de ea. Când vor exista rezultate, inclusiv unele care ne contrazic, vor fi publicate aici împreună cu metoda. Până atunci, tratați afirmațiile de pe acest site ca fiind ale noastre, nu ca verificate independent.
Ce încearcă de fapt să afle proiectul
Acestea sunt întrebările în jurul cărora este organizată munca și cele pe care le-am pune mâine în fața unui partener de cercetare. Niciuna nu este lămurită.
Poate o mașină să rețină contextul așa cum o face un interpret?
Un interpret uman poartă cu sine încăperea, istoricul și registrul, fără să i se ceară. Cât din toate acestea poate fi făcut explicit sub formă de context structurat și ce se pierde prin explicitare?
Poate un sistem să știe, în mod util, când greșește?
Scorul de fidelitate înseamnă un model care judecă un model. Unde corelează asta cu eroarea reală și unde greșește în aceeași direcție ca lucrul pe care îl verifică?
O întrebare de clarificare ajută sau întrerupe?
În principiu, este mai bine să întrebi decât să ghicești. Cu o persoană tulburată în fața ta, de câte ori poți întrerupe înainte de a strica tocmai lucrul pe care îl protejai?
Cum ar trebui arătată incertitudinea unui profesionist ocupat?
Un semnal care este ignorat nu este mai bun decât lipsa lui. Un semnal care oprește conversația la fiecare replică este mai rău. Aceasta este o întrebare de cercetare privind interfața, la fel de mult ca una privind modelarea.
Ce se schimbă atunci când dispozitivul este în mâna persoanei?
A citi în propriile mâini, în propria limbă, este un act diferit de a citi peste un birou. Dacă asta schimbă ceea ce oamenii dezvăluie este o chestiune de măsurare, iar noi nu am măsurat-o încă.
Unde se află cu adevărat limita?
Afirmăm că instrumentul este pentru conversațiile de început, nu pentru cele oficiale. Acea limită ar trebui testată în raport cu ce se întâmplă efectiv în servicii, nu apărată pentru că am scris-o noi.
Cum este evaluată munca
Sistemul își produce propriile dovezi ca efect secundar al funcționării: fiecare replică poartă un text sursă, o traducere, un scor de fidelitate, eventualele revizuiri și eventualele întrebări de clarificare. Asta face măsurabile mai multe lucruri, fără nicio instrumentare suplimentară.
- Cât de des este revizuită o traducere înainte de livrare și cu cât se schimbă scorul.
- Cât de des întreabă mediatorul în loc să răspundă și ce face conversația mai departe.
- Cum se distribuie scorurile pe limbi, astfel încât o acoperire inegală să iasă la iveală în loc să dispară într-o medie.
- Unde au intervenit lucrătorii peste sistem, s-au repetat sau au abandonat schimbul de replici.
Ce nu ne poate spune instrumentarea este dacă conversația a fost bună. Pentru asta este nevoie de serviciu și, acolo unde se poate face cum trebuie, de persoana aflată de cealaltă parte.
Cum ne ținem de ele
Testare înainte de producție. Comportamentele noi sunt puse la încercare pe conversații înregistrate și sintetice înainte de a ajunge la una reală.
Măsurăm ce a fost măsurat. Nicio cifră de acuratețe pusă în titlu în locul unei distribuții pe care o putem arăta efectiv.
Publicăm metoda. Ce învățăm despre cum se face asta în siguranță este scris pentru ca alții să poată refolosi, inclusiv părțile care nu au funcționat.
Rezultatele negative contează. O funcționalitate care a înrăutățit conversațiile este un rezultat și este raportată ca atare.
Ce este construit și funcționează
Aceasta este o aplicație funcțională, nu o demonstrație. În linii mari, în acest moment are:
Mediere în direct, replică cu replică
Traducere în flux, cu istoricul conversației, faptele structurate și contextul de domeniu disponibile la fiecare replică.
Scor de fidelitate și autorevizuire
Scoruri pentru fiecare replică, revizuire înainte de livrare sub pragul stabilit și cerere de clarificare adresată vorbitorului atunci când textul sursă este ambiguu.
Două formate de conversație
Un mod cu ecran partajat și un mod în pereche, în care a doua persoană se alătură de pe propriul dispozitiv, printr-o conexiune în direct.
O interfață localizată
Textele interfeței sunt traduse în limbile inițiale și păstrate în memoria cache, astfel încât nici suprafața aplicației nu este doar în engleză.
Conturi, grupuri și audit
Grupare și permisiuni la nivel de organizație, autentificare cu passkey și cu parolă, cu coduri în doi pași, și un jurnal de audit pentru conversații și administrare.
Conversații care pot fi reluate
Schimburile de replici înregistrate pot fi reluate pe o versiune nouă, astfel încât o modificare este testată pe dialog real, nu pe ceva improvizat pentru demonstrație.
O stivă web obișnuită
O aplicație PHP și MariaDB servită prin HTTPS. Deliberat lipsită de exotism, ca să poată fi înțeleasă, auditată și găzduită altundeva decât astăzi, dacă acesta devine răspunsul corect.
Lucrați la asta împreună cu noi
Căutăm studenți de la programele de masterat și doctorat și laboratoare de cercetare cu o întrebare în acest domeniu, servicii dispuse să își lase utilizarea studiată și finanțatori care sprijină munca bazată pe dovezi asupra limbii ca barieră în calea obținerii ajutorului.