Toimiva tuote, jonka tutkimus ja kehitys jatkuvat
My Words on olemassa vaikeamman ongelman takia kuin yksittäisen lauseen kääntäminen: keskustelun pitämiseksi koossa kielirajan yli silloin, kun panoksena on jonkun asunto, turvallisuus tai terveys, ja tämän tekemiseksi niin että järjestelmä kertoo rehellisesti omasta epävarmuudestaan. Se ongelma ei ole ratkaistu, joten tutkimus ei loppunut siihen, kun tuote julkaistiin.
Mistä se sai alkunsa
Työ alkoi nimellä Project Keystone, INT6 Ltd:n tutkimuksena reaaliaikaisen kaksikielisen keskustelun välittämisestä kielimallien avulla. INT6 rakensi konseptitodistussovelluksen Turnstonen, joka kehitettiin sittemmin toimivaksi järjestelmäksi ja testattiin aidoissa ympäristöissä.
Sovellus on sittemmin siirretty C2 Discovery Labs CIC:lle, jotta sitä pidetään yhteisön ja yhteiskunnan hyödyksi. My Words on tuo sama testattu järjestelmä uudella nimellä ja eteenpäin vietynä, ja kehitys jatkuu sen alla.
Akateeminen validointi
Riippumatonta validointia järjestellään brittiläisen yliopistokumppanin kanssa. Tarkoituksena on työskennellä jatko-opiskelijoiden ja akateemisten tutkimusryhmien kanssa kahden asian parissa yhtä aikaa: tuotteen parantamiseksi ja sen tarkistamiseksi, että se tekee sen mitä tämä sivusto sanoo sen tekevän.
Työ ei ole valmis, eikä mikään tällä sivustolla ole siitä riippuvainen. Kun tuloksia on, myös meitä vastaan puhuvia, ne julkaistaan täällä menetelmineen. Siihen asti tämän sivuston väitteitä on syytä pitää meidän omina väitteinämme eikä riippumattomasti tarkistettuina.
Mitä hanke oikeasti yrittää selvittää
Nämä ovat kysymykset, joiden ympärille työ on järjestetty, ja ne jotka esittäisimme tutkimuskumppanille vaikka huomenna. Yksikään niistä ei ole ratkaistu.
Voiko kone kantaa kontekstia niin kuin tulkki?
Ihmistulkki kantaa mukanaan tilanteen, historian ja kielirekisterin ilman että sitä pyydetään. Kuinka suuri osa siitä voidaan tehdä näkyväksi jäsennettynä kontekstina, ja mitä menetetään, kun se tehdään näkyväksi?
Voiko järjestelmä hyödyllisellä tavalla tietää olevansa väärässä?
Uskollisuuspisteytyksessä malli arvioi mallia. Missä se korreloi todellisen virheen kanssa, ja missä se erehtyy samaan suuntaan kuin se, mitä sen on määrä tarkistaa?
Auttaako tarkentava kysymys vai keskeyttääkö se?
Periaatteessa kysyminen voittaa arvaamisen. Kun edessä on ahdistunut ihminen, kuinka monta kertaa hänet voi keskeyttää ennen kuin on vahingoittanut juuri sitä, mitä oli suojelemassa?
Miten epävarmuus pitäisi näyttää kiireiselle ammattilaiselle?
Merkki, joka sivuutetaan, ei ole yhtään parempi kuin ei merkkiä lainkaan. Merkki, joka pysäyttää keskustelun joka vuorolla, on huonompi. Tämä on yhtä lailla käyttöliittymätutkimuksen kuin mallinnuksen kysymys.
Mikä muuttuu, kun laite on ihmisen omassa kädessä?
Lukeminen omissa käsissä ja omalla kielellä on eri asia kuin lukeminen pöydän yli. Se, muuttaako se sitä mitä ihmiset kertovat, on mittaamisen kysymys, emmekä ole vielä mitanneet sitä.
Missä raja todella kulkee?
Väitämme, että tämä on tarkoitettu varhaisiin keskusteluihin eikä lakisääteisiin. Tuota rajaa pitäisi koetella sitä vasten, mitä palveluissa oikeasti tapahtuu, eikä puolustaa siksi että olemme kirjoittaneet sen ylös.
Miten työtä arvioidaan
Järjestelmä tuottaa oman näyttönsä toimintansa sivutuotteena: jokaiseen vuoroon liittyy lähdeteksti, käännös, uskollisuusarvio, mahdollinen korjaus ja mahdollinen tarkentava kysymys. Se tekee useista asioista mitattavia ilman erillistä mittausta.
- Kuinka usein käännös korjataan ennen välittämistä ja kuinka paljon pistemäärä muuttuu.
- Kuinka usein välittäjä kysyy sen sijaan että vastaisi, ja mitä keskustelussa tapahtuu seuraavaksi.
- Miten pistemäärät jakautuvat kielittäin, jotta epätasainen kattavuus tulee näkyviin eikä katoa keskiarvoon.
- Missä kohdin työntekijät ohittivat ehdotuksen, toistivat itseään tai keskeyttivät vuoropuhelun.
Mittaus ei kerro meille sitä, oliko keskustelu hyvä. Sen selvittämiseen tarvitaan palvelu ja, silloin kun se voidaan tehdä kunnolla, keskustelun toinen osapuoli.
Miten pidämme niistä kiinni
Testaus ennen tuotantoa. Uutta toiminnallisuutta koetellaan tallennettuja ja synteettisiä keskusteluja vasten ennen kuin se kohtaa kenenkään todellisen keskustelun.
Raportoidaan vain mitattu. Ei otsikkotason tarkkuuslukua sellaisen jakauman tilalle, jonka voimme oikeasti näyttää.
Menetelmä julkaistaan. Se, mitä opimme tämän tekemisestä turvallisesti, kirjoitetaan auki muiden hyödynnettäväksi, myös ne osat jotka eivät toimineet.
Kielteiset tulokset ovat tuloksia. Ominaisuus, joka teki keskusteluista huonompia, on löydös ja raportoidaan sellaisena.
Mikä on rakennettu ja käytössä
Tämä on toimiva sovellus, ei esittely. Karkeasti ottaen siinä on tällä hetkellä:
Reaaliaikainen vuoro vuorolta -välitys
Suoratoistava käännös, jossa keskusteluhistoria, jäsennetyt faktat ja aihealueen konteksti ovat mukana joka vuorolla.
Uskollisuuspisteytys ja itsekorjaus
Vuorokohtaiset pistemäärät, raja-arvon alittavien korjaus ennen välittämistä ja tarkentava kysymys puhujalle silloin, kun lähdeteksti on monitulkintainen.
Kaksi keskustelupintaa
Jaetun näytön tila ja paritila, jossa toinen osapuoli liittyy omalta laitteeltaan suoran yhteyden yli.
Lokalisoitu käyttöliittymä
Käyttöliittymän tekstit on käännetty käyttöön otetuille kielille ja tallennettu välimuistiin, joten itse käyttöpinta ei ole vain englanniksi.
Tilit, ryhmät ja tarkastusjälki
Organisaatiotason ryhmittely ja käyttöoikeudet, pääsyavain- ja salasanatunnistautuminen kaksivaiheisine koodeineen sekä tarkastusloki keskusteluista ja hallinnasta.
Toistettavat keskustelut
Tallennetut vuoropuhelut voidaan toistaa uutta versiota vasten, joten muutos testataan aidolla dialogilla eikä esittelyä varten improvisoidulla.
Tavanomainen verkkosovelluspino
PHP- ja MariaDB-sovellus, joka tarjoillaan HTTPS:n yli. Tietoisen epäeksoottinen, jotta sitä voi ymmärtää, auditoida ja tarvittaessa siirtää muualle kuin missä se tänään sijaitsee.
Tehkää tätä työtä kanssamme
Etsimme jatko-opiskelijoita ja tutkimusryhmiä, joilla on kysymys tältä alueelta, palveluita jotka ovat valmiita antamaan oman käyttönsä tutkittavaksi, ja rahoittajia jotka tukevat näyttöön perustuvaa työtä kielestä avun saamisen esteenä.