Veikiantis produktas su tęsiamais tyrimais ir plėtra
My Words atsirado dėl sunkesnės užduoties nei sakinio išvertimas: išlaikyti pokalbį per kalbos barjerą, kai sprendžiamas žmogaus būsto, saugumo ar sveikatos klausimas, ir tai daryti sąžiningai nurodant savo paties neapibrėžtumą. Ši užduotis dar neišspręsta, todėl tyrimai nesibaigė, kai produktas pasirodė.
Iš kur ji atsirado
Darbas prasidėjo kaip Project Keystone, INT6 Ltd tyrimas apie dvikalbio pokalbio tarpininkavimą realiuoju laiku pasitelkiant kalbos modelius. INT6 sukūrė koncepciją patvirtinančią programą Turnstone, kuri vėliau buvo išplėtota į veikiančią sistemą ir išbandyta realiomis sąlygomis.
Vėliau programa buvo perkelta į C2 Discovery Labs CIC, kad būtų valdoma bendruomenės ir visuomenės naudai. My Words yra ta pati išbandyta sistema, pervadinta ir plėtojama toliau, o kūrimo darbai su ja tęsiami.
Akademinis patvirtinimas
Su Jungtinės Karalystės universiteto partneriu derinamas nepriklausomas patvirtinimas. Ketinama kartu su magistrantais, doktorantais ir akademinėmis tyrimų laboratorijomis dirbti prie dviejų dalykų iš karto: tobulinti produktą ir tikrinti, ar jis daro tai, ką skelbia ši svetainė.
Šis darbas dar nebaigtas, ir niekas šioje svetainėje nuo jo nepriklauso. Kai bus rezultatų, įskaitant mums nepalankius, jie bus paskelbti čia kartu su metodika. Iki tol laikykite šios svetainės teiginius mūsų pačių, o ne nepriklausomai patikrintais.
Ką projektas iš tikrųjų siekia išsiaiškinti
Būtent apie šiuos klausimus sukasi visas darbas, ir būtent juos rytoj pateiktume tyrimų partneriui. Nė vienas iš jų nėra išspręstas.
Ar mašina gali išlaikyti kontekstą taip, kaip vertėjas žodžiu?
Žmogus vertėjas be atskiro prašymo perteikia aplinką, ankstesnę eigą ir kalbos registrą. Kiek to galima aprašyti kaip struktūruotą kontekstą ir kas prarandama tai aprašant?
Ar sistema gali naudingai žinoti, kada klysta?
Tikslumo vertinimas yra modelis, vertinantis modelį. Kur tai koreliuoja su tikra klaida, o kur suklysta ta pačia kryptimi kaip ir tikrinamas dalykas?
Ar patikslinamasis klausimas padeda, ar trukdo?
Iš principo klausti geriau nei spėlioti. Bet kai priešais jus sunkios būklės žmogus, kiek kartų galima pertraukti, kol sugadinama tai, ką norėta apsaugoti?
Kaip neapibrėžtumą reikėtų parodyti užimtam specialistui?
Žymuo, kurio nepaisoma, nėra geriau nei jokio žymens. Žymuo, stabdantis pokalbį kas kartą, yra dar blogiau. Tai tiek pat sąsajos, kiek ir modeliavimo tyrimo klausimas.
Kas pasikeičia, kai įrenginį laiko pats žmogus?
Skaityti savo rankose, savo kalba, yra kas kita nei skaityti per stalą. Ar tai keičia tai, ką žmonės atskleidžia, yra matavimo klausimas, o mes to dar neišmatavome.
Kur iš tikrųjų yra riba?
Teigiame, kad tai skirta ankstyviesiems, o ne teisės aktų reglamentuojamiems pokalbiams. Šią ribą reikėtų tikrinti pagal tai, kas iš tikrųjų vyksta tarnybose, o ne ginti vien todėl, kad ją užrašėme.
Kaip darbas vertinamas
Sistema pati sukuria įrodymus kaip savo veikimo šalutinį produktą: kiekvienas pasisakymas turi originalą, vertimą, tikslumo įvertį, taisymus, jei jų buvo, ir patikslinamąjį klausimą, jei jis buvo užduotas. Todėl kelis dalykus galima išmatuoti nediegiant jokių papildomų priemonių.
- Kaip dažnai vertimas pataisomas prieš pateikiant ir kiek pasikeičia įvertis.
- Kaip dažnai tarpininkas paklausia, užuot atsakęs, ir kas pokalbyje vyksta toliau.
- Kaip įverčiai pasiskirsto pagal kalbas, kad netolygi aprėptis išryškėtų, o ne pasislėptų vidurkyje.
- Kur darbuotojai nepaisė sistemos siūlymo, kartojosi arba nutraukė pokalbį.
Ko šie matavimai negali pasakyti, tai ar pokalbis buvo geras. Tam reikia pačios tarnybos ir, kur tai galima padaryti tinkamai, kitoje pokalbio pusėje esančio žmogaus.
Kaip laikomės savo žodžio
Bandymai prieš paleidžiant. Nauja elgsena išbandoma su įrašytais ir sintetiniais pokalbiais, prieš susidurdama su kieno nors tikru.
Matuojame tai, kas išmatuota. Jokių skambių tikslumo skaičių vietoj pasiskirstymo, kurį iš tikrųjų galime parodyti.
Skelbiame metodiką. Tai, ką sužinome apie saugų šio darbo atlikimą, aprašome, kad kiti galėtų tuo pasinaudoti, įskaitant ir tai, kas nepavyko.
Neigiami rezultatai svarbūs. Funkcija, dėl kurios pokalbiai tapo prastesni, yra išvada, ir apie ją pranešama kaip apie išvadą.
Kas sukurta ir veikia
Tai veikianti programa, o ne demonstracija. Bendrais bruožais šiuo metu ji turi:
Tarpininkavimą realiuoju laiku, pasisakymas po pasisakymo
Srautinį vertimą, kurio kiekvienam pasisakymui prieinama pokalbio istorija, struktūruoti faktai ir srities kontekstas.
Tikslumo vertinimą ir savitaisą
Kiekvieno pasisakymo įverčius, taisymą prieš pateikiant, kai įvertis nesiekia ribos, ir patikslinamąjį klausimą kalbėtojui, kai originalas dviprasmiškas.
Dvi pokalbio sąsajas
Bendro ekrano režimą ir suporuotą režimą, kai antrasis asmuo prisijungia iš savo įrenginio tiesioginiu ryšiu.
Lokalizuotą sąsają
Sąsajos tekstus, išverstus į numatytas kalbas ir įrašytus į podėlį, todėl pati sąsaja nėra vien angliška.
Paskyras, grupes ir auditą
Grupavimą ir teises organizacijos lygmeniu, autentifikavimą slaptaraktimi (passkey) ir slaptažodžiu su dviejų veiksnių kodais bei audito žurnalą, apimantį pokalbius ir administravimą.
Pakartotinai atkuriamus pokalbius
Įrašytus pokalbius galima paleisti iš naujo su nauja versija, todėl pakeitimas tikrinamas su tikru dialogu, o ne su kažkuo, kas sugalvota demonstracijai.
Įprastą žiniatinklio technologijų rinkinį
PHP ir MariaDB programą, teikiamą per HTTPS. Sąmoningai neegzotišką, kad ją būtų galima suprasti, audituoti ir, jei toks sprendimas taptų teisingas, priglobti kitur, nei ji veikia šiandien.
Dirbkite prie to kartu su mumis
Ieškome magistrantų, doktorantų ir tyrimų laboratorijų, turinčių klausimų šioje srityje, tarnybų, sutinkančių, kad jų naudojimasis būtų tiriamas, ir finansuotojų, remiančių įrodymais grįstą darbą apie kalbą kaip kliūtį gauti pagalbą.