Funkční produkt s pokračujícím výzkumem a vývojem
My Words vzniklo kvůli těžšímu problému, než je překlad jedné věty: udržet rozhovor pohromadě přes jazykovou hranici ve chvíli, kdy jde o něčí bydlení, bezpečí nebo zdraví, a udělat to tak, aby nástroj říkal pravdu o vlastní nejistotě. Tento problém není vyřešený, a tak se výzkum s vydáním produktu nezastavil.
Odkud to přišlo
Práce začala jako Project Keystone, výzkum společnosti INT6 Ltd zaměřený na zprostředkování dvojjazyčného rozhovoru v reálném čase pomocí jazykových modelů. INT6 postavila ověřovací aplikaci Turnstone, která byla následně rozvinuta do funkčního systému a otestována v reálném provozu.
Aplikace poté přešla pod C2 Discovery Labs CIC, aby byla držena ve prospěch komunity a společnosti. My Words je tentýž otestovaný systém pod novou značkou a vývoj pokračuje pod ní.
Akademické ověření
S univerzitním partnerem ve Velké Británii se domlouvá nezávislé ověření. Záměrem je spolupracovat s postgraduálními studenty a akademickými výzkumnými pracovišti na dvou věcech naráz: zlepšovat produkt a ověřovat, že dělá to, co o něm tyto stránky tvrdí.
Tato práce není hotová a nic na těchto stránkách na ní nestojí. Až budou výsledky, včetně těch, které budou v náš neprospěch, zveřejníme je zde i s metodikou. Do té doby berte tvrzení na tomto webu jako naše, nikoli jako nezávisle ověřená.
Co se projekt ve skutečnosti snaží zjistit
Kolem těchto otázek je práce uspořádána a právě je bychom zítra předložili výzkumnému partnerovi. Ani jedna z nich není uzavřená.
Dokáže stroj udržet kontext tak jako tlumočník?
Lidský tlumočník si nese atmosféru místnosti, historii i jazykový rejstřík, aniž by o to musel být žádán. Kolik z toho lze převést do explicitního strukturovaného kontextu a co se tím explicitním vyjádřením ztrácí?
Může systém užitečně poznat, že se mýlí?
Hodnocení věrnosti je model, který posuzuje model. Kde to koreluje se skutečnou chybou a kde selhává stejným směrem jako to, co kontroluje?
Pomáhá upřesňující otázka, nebo ruší?
Ptát se je v principu lepší než hádat. Ale kolikrát můžete přerušit člověka v tísni, který sedí naproti vám, než poškodíte právě to, co jste chránili?
Jak ukázat nejistotu vytíženému odborníkovi?
Signál, který se přehlíží, není o nic lepší než žádný signál. Signál, který zastaví rozhovor při každé replice, je horší. To je stejně tak otázka výzkumu rozhraní jako otázka modelování.
Co se změní, když zařízení drží sám klient?
Číst si text ve vlastních rukou a ve vlastním jazyce je něco jiného než číst ho přes stůl. Jestli to mění, co lidé sdělí, je otázka k měření, a my jsme ji zatím nezměřili.
Kde ve skutečnosti leží hranice?
Tvrdíme, že nástroj je pro úvodní rozhovory, ne pro ty úřední. Tuto hranici je třeba ověřit proti tomu, co se ve službách skutečně děje, ne ji hájit jen proto, že jsme si ji zapsali.
Jak se práce vyhodnocuje
Systém vytváří vlastní důkazy jako vedlejší produkt provozu: každá replika nese zdroj, překlad, skóre věrnosti, případnou revizi a případnou upřesňující otázku. Díky tomu je řada věcí měřitelná, aniž by bylo potřeba cokoli dalšího doplňovat.
- Jak často je překlad revidován před doručením a o kolik se posune skóre.
- Jak často se prostředník zeptá místo toho, aby odpověděl, a co rozhovor udělá potom.
- Jak se skóre rozkládají podle jazyků, aby nerovnoměrné pokrytí bylo vidět a nezmizelo v průměru.
- Kde pracovníci výstup přepsali, zopakovali se nebo výměnu vzdali.
Co nám měření říct nedokáže, je, jestli byl rozhovor k něčemu dobrý. K tomu je potřeba samotná služba a tam, kde to lze udělat pořádně, i člověk na druhé straně.
Čím se sami držíme
Testovat před ostrým provozem. Nové chování se prověřuje na zaznamenaných a syntetických rozhovorech dřív, než se potká s něčím skutečným.
Měřit to, co bylo změřeno. Žádné jedno číslo o přesnosti, které by zastupovalo rozložení, jež můžeme skutečně ukázat.
Zveřejnit metodu. To, co se naučíme o bezpečném provádění této práce, sepisujeme tak, aby to mohli použít i další, včetně toho, co nefungovalo.
Negativní výsledky se počítají. Funkce, která rozhovory zhoršila, je zjištění a jako zjištění se také oznamuje.
Co je postavené a běží
Toto je funkční aplikace, ne ukázka. V hrubých rysech dnes obsahuje:
Živé zprostředkování replika po replice
Průběžný překlad s historií rozhovoru, strukturovanými fakty a oborovým kontextem dostupným pro každou repliku.
Hodnocení věrnosti a vlastní revize
Skóre u každé repliky, revize pod prahovou hodnotou ještě před doručením a zpětný dotaz na mluvčího tam, kde je zdroj nejednoznačný.
Dvě konverzační rozhraní
Režim sdílené obrazovky a párový režim, kdy se druhý člověk připojí z vlastního zařízení přes živé spojení.
Lokalizované rozhraní
Texty rozhraní přeložené do zavedených jazyků a uložené v mezipaměti, takže ani samotné rozhraní není jen anglicky.
Účty, skupiny a audit
Členění a oprávnění na úrovni organizace, přihlášení pomocí passkey i hesla s dvoufázovými kódy a auditní záznam napříč rozhovory i správou.
Znovupřehratelné rozhovory
Zaznamenané výměny lze přehrát proti nové verzi, takže se změna testuje na skutečném dialogu, a ne na něčem improvizovaném pro ukázku.
Běžný webový stack
Aplikace v PHP a MariaDB servírovaná přes HTTPS. Záměrně bez exotiky, aby se dala pochopit, auditovat a v případě potřeby hostovat i jinde, než je dnes.
Pracujte na tom s námi
Hledáme postgraduální studenty a výzkumná pracoviště, kteří mají v této oblasti vlastní otázku, služby ochotné nechat své používání nástroje zkoumat, a donory, kteří podpoří práci opřenou o důkazy tam, kde je jazyk překážkou v přístupu k pomoci.