Toimiv toode, mille teadus- ja arendustöö jätkub
My Words on olemas ühe raskema probleemi pärast, kui seda on lause tõlkimine: hoida vestlus üle keelepiiri koos olukorras, kus kaalul on kellegi eluase, turvalisus või tervis, ja teha seda nii, et süsteem räägib ausalt oma ebakindlusest. See probleem ei ole lahendatud, seega ei lõppenud uurimistöö siis, kui toode valmis sai.
Kust see tuli
Töö sai alguse projektina Project Keystone, mille raames uuris INT6 Ltd reaalajas toimuva kakskeelse vestluse vahendamist keelemudelite abil. INT6 ehitas kontseptsiooni tõestava rakenduse Turnstone, millest arendati seejärel toimiv süsteem ja mida katsetati päris olukordades.
Rakendus on vahepeal viidud üle ettevõttesse C2 Discovery Labs CIC, et seda hoitaks kogukonna ja ühiskonna hüvanguks. My Words on seesama testitud süsteem, uue nime all ja edasi kantud, ning arendus jätkub selle nime all.
Akadeemiline valideerimine
Sõltumatut valideerimist korraldatakse koostöös Ühendkuningriigi ülikoolipartneriga. Kavatsus on teha magistri- ja doktoriõppe üliõpilaste ning akadeemiliste uurimislaboritega tööd korraga kahes suunas: parandada toodet ja kontrollida, kas see teeb seda, mida sellel saidil lubatakse.
See töö ei ole lõpetatud ja miski sellel saidil ei sõltu sellest. Kui tulemused on olemas, sealhulgas need, mis räägivad meie vastu, avaldatakse need siin koos metoodikaga. Seni käsitlege sellel saidil esitatud väiteid meie omadena, mitte sõltumatult kontrollitutena.
Mida projekt tegelikult välja selgitada püüab
Need on küsimused, mille ümber töö on üles ehitatud ja mille paneksime uurimispartneri ette kas või homme. Ükski neist ei ole lahendatud.
Kas masin suudab konteksti hoida nii nagu tõlk?
Inimtõlk kannab ruumi, eelloo ja registri endaga kaasas, ilma et keegi peaks seda paluma. Kui suure osa sellest saab teha selgesõnaliseks struktureeritud kontekstina ja mis läheb selgesõnastamisel kaotsi?
Kas süsteem saab kasulikul viisil teada, millal ta eksib?
Täpsusskoori andmine tähendab, et üks mudel hindab teist mudelit. Kus see korreleerub tegeliku veaga ja kus eksib see samas suunas kui see, mida ta kontrollib?
Kas täpsustav küsimus aitab või segab?
Põhimõtteliselt on küsimine parem kui oletamine. Aga kui teie ees on hädas inimene, mitu korda saate teda katkestada, enne kui olete kahjustanud just seda, mida kaitsta püüdsite?
Kuidas näidata ebakindlust hõivatud spetsialistile?
Märgis, mida eiratakse, ei ole parem kui märgise puudumine. Märgis, mis peatab vestluse igas voorus, on halvem. See on sama palju kasutajaliidese kui modelleerimise uurimisküsimus.
Mis muutub, kui seade on inimese enda käes?
Lugemine oma käes ja oma keeles on teistsugune tegevus kui lugemine üle laua. Kas see muudab seda, mida inimesed avaldavad, on mõõtmise küsimus ja meie ei ole seda veel mõõtnud.
Kus see piir tegelikult asub?
Me väidame, et see on mõeldud varajaste vestluste, mitte seadusest tulenevate menetluste jaoks. Seda piiri tuleks katsetada selle vastu, mis teenustes tegelikult toimub, mitte kaitsta üksnes sellepärast, et me selle kirja panime.
Kuidas tööd hinnatakse
Süsteem toodab töö kõrvalsaadusena ise tõendusmaterjali: iga vestlusvooruga on kaasas lähtetekst, tõlge, täpsusskoor, võimalik parandus ja võimalik täpsustav küsimus. Nii muutub mitu asja mõõdetavaks, ilma et peaks midagi lisaks mõõtma hakkama.
- Kui sageli tõlget enne edastamist parandatakse ja kui palju skoor seejuures liigub.
- Kui sageli vahendaja küsib vastamise asemel ja mis vestluses seejärel juhtub.
- Kuidas skoorid keelte lõikes jagunevad, nii et ebaühtlane kaetus tuleb välja, mitte ei kao keskmise sisse.
- Kus töötajad süsteemi otsuse tühistasid, ennast kordasid või suhtluse katkestasid.
Mida mõõdikud meile öelda ei saa, on see, kas vestlus oli hea. Selleks on vaja teenust ennast ja, kui seda on võimalik korralikult teha, ka inimest teisel pool.
Kuidas me end nendega seome
Katsetada enne kasutuselevõttu. Uut käitumist proovitakse salvestatud ja sünteetiliste vestluste peal, enne kui see puutub kokku kellegi päris vestlusega.
Mõõta seda, mida tegelikult mõõdeti. Ei mingit efektset täpsusnumbrit, mis asendaks jaotust, mida me tegelikult näidata saame.
Avaldada metoodika. Kõik, mida õpime selle turvalise tegemise kohta, kirjutatakse teistele taaskasutamiseks üles, sealhulgas see, mis ei toiminud.
Negatiivsed tulemused loevad. Funktsioon, mis muutis vestlused halvemaks, on leid ja sellest antakse ka nii teada.
Mis on valmis ja töötab
See on toimiv rakendus, mitte demonstratsioon. Üldjoontes on sellel praegu olemas:
Reaalajas vahendamine voor voorult
Voogedastatav tõlge, mille puhul on igas vestlusvoorus haardes vestluse ajalugu, struktureeritud faktid ja valdkonna kontekst.
Täpsusskoor ja enesekorrektsioon
Skoorid iga vooru kohta, läve alla jäävate tõlgete parandamine enne edastamist ja täpsustav küsimus rääkijale, kui lähtetekst on mitmetähenduslik.
Kaks vestluspinda
Jagatud ekraani režiim ja paarisrežiim, kus teine inimene liitub oma seadmest reaalajaühenduse kaudu.
Lokaliseeritud kasutajaliides
Kasutajaliidese tekstid on tõlgitud eellaaditud keeltesse ja vahemällu salvestatud, nii et pind ise ei ole ainult ingliskeelne.
Kontod, rühmad ja auditeerimine
Organisatsiooni tasemel rühmitamine ja õigused, pääsuvõtme- ja paroolipõhine autentimine koos kaheastmelise kinnituskoodiga ning auditilogi nii vestluste kui ka halduse kohta.
Taasesitatavad vestlused
Salvestatud suhtlusi saab uue versiooni peal uuesti läbi mängida, nii et muudatust katsetatakse päris dialoogi peal, mitte demo jaoks improviseeritud materjalil.
Tavaline veebivirn
PHP ja MariaDB rakendus, mida serveeritakse HTTPS-i kaudu. Teadlikult eksootikavaba, nii et sellest saab aru, seda saab auditeerida ja majutada mujal kui täna, kui see peaks osutuma õigeks lahenduseks.
Tehke seda koos meiega
Otsime magistri- ja doktoriõppe üliõpilasi ning uurimislaboreid, kellel on selles valdkonnas oma küsimus, teenuseid, kes on nõus laskma oma kasutust uurida, ja rahastajaid, kes toetavad tõenduspõhist tööd keelest kui abi saamise takistusest.