Működő termék, folyamatos kutatással és fejlesztéssel
A My Words azért létezik, mert van egy nehezebb feladat egy mondat lefordításánál: nyelvi határon átívelő beszélgetést egyben tartani akkor, amikor valakinek a lakhatása, biztonsága vagy egészsége a tét, méghozzá úgy, hogy közben őszintén megmondja, mennyire bizonytalan. Ez a feladat nincs lezárva, ezért a kutatás nem állt le a termék megjelenésével.
Honnan indult
A munka Project Keystone néven indult: az INT6 Ltd kutatásaként a nyelvi modellekkel támogatott, valós idejű kétnyelvű beszélgetésközvetítésről. Az INT6 készítette el a Turnstone nevű koncepcióigazoló alkalmazást, amelyből működő rendszer lett, és amelyet valós körülmények között teszteltek.
Az alkalmazás azóta átkerült a C2 Discovery Labs CIC-hez, hogy a közösségi és társadalmi haszon érdekében legyen fenntartva. A My Words ugyanaz a letesztelt rendszer, új néven továbbvíve, és a fejlesztés ebben a keretben folytatódik.
Tudományos validálás
Egy brit egyetemi partnerrel független validálás előkészítése folyik. A cél az, hogy posztgraduális hallgatókkal és tudományos kutatólaborokkal egyszerre két dolgon dolgozzunk: a termék javításán, és annak ellenőrzésén, hogy valóban azt teszi-e, amit ez a webhely állít róla.
Ez a munka nincs lezárva, és ezen a webhelyen semmi nem függ tőle. Ha lesznek eredmények, köztük olyanok is, amelyek nekünk kedvezőtlenek, itt tesszük közzé őket a módszertannal együtt. Addig tekintse úgy, hogy az itt szereplő állítások a mieink, nem pedig független ellenőrzés eredményei.
Mire keresi valójában a választ a projekt
Ezek a kérdések adják a munka vázát, és ezeket tennénk holnap egy kutatópartner elé. Egyik sincs eldöntve.
Képes-e egy gép úgy megtartani a kontextust, ahogyan egy tolmács?
Az emberi tolmács kérés nélkül viszi magával a helyzetet, az előzményeket és a stílusréteget. Ebből mennyi tehető kifejezetté strukturált kontextusként, és mi vész el azzal, hogy kifejezetté tesszük?
Tudhatja-e egy rendszer hasznos módon, mikor téved?
A hűségpontozás során egy modell ítél meg egy modellt. Hol mutat ez együttjárást a valódi hibával, és hol téved ugyanabba az irányba, mint az, amit ellenőriz?
A tisztázó kérdés segít vagy megszakít?
Elvben a kérdezés jobb a találgatásnál. De ha egy feldúlt ember ül Önnel szemben, hányszor szakíthatja félbe, mielőtt kárt tesz abban, amit védeni akart?
Hogyan jelenjen meg a bizonytalanság egy elfoglalt szakember előtt?
A figyelmen kívül hagyott jelzés semmivel sem jobb, mint a jelzés hiánya. Az a jelzés pedig, amely minden fordulóban megállítja a beszélgetést, rosszabb. Ez legalább annyira felülettervezési, mint modellezési kutatási kérdés.
Mi változik, ha az eszköz az illető kezében van?
Más dolog a saját kezünkben, a saját nyelvünkön olvasni, mint egy asztal fölött átnézve. Hogy ez megváltoztatja-e, mit oszt meg valaki, mérés kérdése, és ezt még nem mértük meg.
Hol húzódik valójában a határ?
Azt állítjuk, hogy ez a korai beszélgetésekhez való, nem a hatósági eljárásokhoz. Ezt a határt ahhoz kell mérni, ami a szolgáltatásokban valóban történik, nem pedig azért védeni, mert egyszer leírtuk.
Hogyan értékeljük a munkát
A rendszer működésének melléktermékeként maga állítja elő a bizonyítékait: minden forduló hordoz egy forrásszöveget, egy fordítást, egy hűségpontszámot, az esetleges javítást és az esetleges tisztázó kérdést. Ettől több dolog is mérhetővé válik anélkül, hogy bármilyen külön mérőeszközt beépítenénk.
- Milyen gyakran javít a rendszer egy fordítást a megjelenítés előtt, és mennyit mozdul a pontszám.
- Milyen gyakran kérdez a közvetítő ahelyett, hogy válaszolna, és merre halad utána a beszélgetés.
- Hogyan oszlanak meg a pontszámok nyelvenként, hogy az egyenetlen lefedettség láthatóvá váljon, ahelyett hogy eltűnne egy átlagban.
- Hol írták felül a munkatársak a rendszert, hol ismételték meg magukat, és hol hagyták abba a párbeszédet.
Amit a mérés nem tud megmondani: hogy jó volt-e a beszélgetés. Ehhez a szolgáltatás kell, és ahol ez rendesen megoldható, a beszélgetés másik oldalán ülő ember is.
Mihez tartjuk magunkat
Előbb teszt, aztán éles. Az új működést rögzített és szintetikus beszélgetéseken próbáljuk ki, mielőtt bárki valódi beszélgetésével találkozna.
Azt mondjuk, amit megmértünk. Semmilyen hangzatos pontossági szám nem áll olyan eloszlás helyébe, amelyet valóban be tudunk mutatni.
A módszertant közzétesszük. Amit a biztonságos megvalósításról tanulunk, azt leírjuk, hogy mások is felhasználhassák, beleértve azt is, ami nem működött.
A negatív eredmény is eredmény. Az a funkció, amely rontott a beszélgetéseken, önmagában is megállapítás, és annak is közöljük.
Mi az, ami elkészült és működik
Ez működő alkalmazás, nem bemutató. Nagy vonalakban jelenleg a következőkkel rendelkezik:
Élő, fordulónkénti közvetítés
Folyamatosan érkező fordítás úgy, hogy minden fordulóban rendelkezésre áll a beszélgetés előzménye, a strukturált tények és a szakterületi kontextus.
Hűségpontozás és önjavítás
Fordulónkénti pontszámok, küszöb alatti eredmény esetén javítás a megjelenítés előtt, és visszakérdezés a beszélőhöz, ha a forrásszöveg többértelmű.
Két beszélgetési felület
Egy közös képernyős mód és egy párosított mód, amelyben a második fél a saját eszközéről csatlakozik élő kapcsolaton keresztül.
Honosított felület
A felület szövegeit lefordítjuk a betöltött nyelvekre és gyorsítótárazzuk, így maga a felület sem csak angolul érhető el.
Fiókok, csoportok és auditálás
Szervezeti szintű csoportosítás és jogosultságok, passkey- és jelszóalapú hitelesítés kétfaktoros kódokkal, valamint a beszélgetéseket és az adminisztrációt egyaránt lefedő auditnapló.
Visszajátszható beszélgetések
A rögzített párbeszédek visszajátszhatók egy új verzióra, így a változtatást valódi párbeszéden teszteljük, nem a bemutatóra rögtönzött szövegen.
Hétköznapi webes technológia
PHP- és MariaDB-alapú alkalmazás HTTPS-en kiszolgálva. Szándékosan nem egzotikus, hogy átlátható és auditálható legyen, és szükség esetén máshol is üzemeltethető legyen, mint ahol ma fut.
Dolgozzon velünk ezen
Keresünk posztgraduális hallgatókat és kutatólaborokat, akiknek van kérdésük ezen a területen, olyan szolgáltatásokat, amelyek vállalják, hogy a használatukat kutatjuk, valamint támogatókat, akik bizonyítékokra épülő munkát finanszíroznak arról, hogyan akadályozza a nyelv a segítséghez jutást.