Funkčný produkt s prebiehajúcim výskumom a vývojom
My Words vznikol pre náročnejší problém, než je preklad jednej vety: udržať rozhovor pohromade naprieč jazykovou bariérou vtedy, keď ide o bývanie, bezpečnosť alebo zdravie človeka, a robiť to spôsobom, ktorý hovorí pravdu o vlastnej neistote. Tento problém nie je vyriešený, takže výskum sa neskončil vydaním produktu.
Odkiaľ pochádza
Práca sa začala ako Project Keystone, výskum spoločnosti INT6 Ltd zameraný na sprostredkovanie dvojjazyčného rozhovoru v reálnom čase pomocou jazykových modelov. INT6 vytvorila overovaciu aplikáciu Turnstone, ktorá bola následne rozpracovaná do funkčného systému a otestovaná v reálnom prostredí.
Aplikácia bola odvtedy prevedená pod C2 Discovery Labs CIC, aby bola držaná v prospech komunity a spoločnosti. My Words je ten istý otestovaný systém pod novou značkou, ktorý pokračuje ďalej, a vývoj v ňom prebieha naďalej.
Akademické overenie
S partnerskou britskou univerzitou sa pripravuje nezávislé overenie. Zámerom je spolupracovať so študentmi postgraduálneho štúdia a s akademickými výskumnými pracoviskami naraz na dvoch veciach: na zlepšovaní produktu a na overení, že robí to, čo o ňom táto stránka tvrdí.
Táto práca nie je dokončená a nič na tejto stránke od nej nezávisí. Keď budú k dispozícii výsledky, vrátane tých, ktoré budú v náš neprospech, zverejníme ich tu spolu s metodikou. Dovtedy berte tvrdenia na tejto stránke ako naše, nie ako nezávisle overené.
Čo sa projekt v skutočnosti snaží zistiť
Toto sú otázky, okolo ktorých je práca usporiadaná, a otázky, ktoré by sme hneď zajtra predložili výskumnému partnerovi. Ani jedna z nich nie je uzavretá.
Dokáže stroj udržať kontext tak ako tlmočník?
Ľudský tlmočník nesie so sebou atmosféru miestnosti, históriu aj jazykový register bez toho, aby ho o to niekto žiadal. Koľko z toho sa dá vyjadriť explicitne ako štruktúrovaný kontext a čo sa pri tom stratí?
Dokáže systém užitočne rozpoznať, kedy sa mýli?
Hodnotenie vernosti je model, ktorý posudzuje model. Kde to koreluje so skutočnou chybou a kde to zlyháva rovnakým smerom ako to, čo má kontrolovať?
Pomáha spresňujúca otázka, alebo prerušuje?
V zásade je lepšie sa opýtať než hádať. Keď však pred vami sedí človek v ťažkej situácii, koľkokrát ho môžete prerušiť, kým poškodíte práve to, čo ste chránili?
Ako sa má neistota zobraziť vyťaženému odborníkovi?
Označenie, ktoré sa ignoruje, nie je o nič lepšie ako žiadne označenie. Označenie, ktoré zastaví rozhovor pri každej replike, je horšie. Je to rovnako výskumná otázka o rozhraní ako o modelovaní.
Čo sa zmení, keď zariadenie drží samotný človek?
Čítať vo vlastných rukách a vo vlastnom jazyku je niečo iné ako čítať cez stôl. Či to mení to, čo sú ľudia ochotní povedať, je otázka na meranie a my sme ju zatiaľ nezmerali.
Kde skutočne leží hranica?
Tvrdíme, že tento nástroj je pre úvodné rozhovory, nie pre zákonom upravené konania. Túto hranicu treba overiť oproti tomu, čo sa v službách skutočne deje, a nie ju obhajovať len preto, že sme ju napísali.
Ako sa práca vyhodnocuje
Systém vytvára vlastné dôkazy ako vedľajší produkt svojej prevádzky: každá replika nesie originál, preklad, skóre vernosti, prípadnú revíziu a prípadnú spresňujúcu otázku. Vďaka tomu je viacero vecí merateľných bez toho, aby bolo treba čokoľvek doplniť.
- Ako často sa preklad pred doručením reviduje a o koľko sa posunie skóre.
- Ako často sa sprostredkovateľ opýta namiesto toho, aby odpovedal, a čo sa v rozhovore stane potom.
- Ako sú skóre rozložené podľa jazykov, aby sa nerovnomerné pokrytie ukázalo a nezmizlo v priemere.
- Kde pracovníci zasiahli do výstupu, zopakovali sa alebo výmenu ukončili.
Čo nám meranie povedať nedokáže, je to, či bol rozhovor k niečomu. To si vyžaduje samotnú službu a tam, kde sa to dá urobiť poriadne, aj človeka na druhej strane.
Ako sa ich držíme
Testovať pred nasadením. Nové správanie sa preverí na zaznamenaných a syntetických rozhovoroch skôr, než sa stretne so skutočným rozhovorom.
Merať to, čo bolo naozaj zmerané. Žiadny nápadný údaj o presnosti, ktorý by nahrádzal rozloženie, ktoré vieme skutočne ukázať.
Zverejniť metodiku. To, čo sa dozvieme o bezpečnom vykonávaní tejto práce, spíšeme tak, aby to mohli použiť aj iní, vrátane častí, ktoré nefungovali.
Negatívne výsledky sa počítajú. Funkcia, ktorá rozhovory zhoršila, je zistenie a ako zistenie sa aj oznámi.
Čo je hotové a v prevádzke
Ide o funkčnú aplikáciu, nie o ukážku. Vo všeobecnosti má v súčasnosti:
Živé sprostredkovanie replika po replike
Priebežný preklad, pri ktorom je pri každej replike k dispozícii história rozhovoru, štruktúrované fakty a kontext odboru.
Hodnotenie vernosti a vlastná revízia
Skóre pre každú repliku, revízia pri podprahovom skóre ešte pred doručením a spresňujúca otázka smerom k hovoriacemu tam, kde je originál nejednoznačný.
Dve konverzačné rozhrania
Režim so zdieľanou obrazovkou a párový režim, v ktorom sa druhá osoba pripojí zo svojho vlastného zariadenia cez živé spojenie.
Lokalizované rozhranie
Reťazce rozhrania preložené do prednastavených jazykov a uložené vo vyrovnávacej pamäti, takže samotné rozhranie nie je len v angličtine.
Kontá, skupiny a audit
Zoskupovanie a oprávnenia na úrovni organizácie, overovanie pomocou passkey a hesla s dvojfaktorovými kódmi a audítorský záznam o rozhovoroch aj o správe systému.
Znovu prehrateľné rozhovory
Zaznamenané výmeny možno znovu prehrať na novej verzii, takže zmena sa testuje na skutočnom dialógu, a nie na niečom improvizovanom pre ukážku.
Bežná webová technológia
Aplikácia v PHP a MariaDB poskytovaná cez HTTPS. Zámerne bez exotiky, aby sa dala pochopiť, auditovať a v prípade potreby prevádzkovať aj inde, než je dnes.
Pracujte na tom s nami
Hľadáme študentov postgraduálneho štúdia a výskumné pracoviská s otázkou v tejto oblasti, služby ochotné nechať svoje používanie skúmať a donorov, ktorí podporujú prácu založenú na dôkazoch o jazyku ako prekážke v prístupe k pomoci.