Działający produkt z trwającymi pracami badawczo-rozwojowymi
My Words istnieje z powodu problemu trudniejszego niż przetłumaczenie zdania: utrzymania rozmowy ponad granicą języka wtedy, gdy stawką jest czyjeś mieszkanie, bezpieczeństwo lub zdrowie, i zrobienia tego w sposób, który mówi prawdę o własnej niepewności. Ten problem nie jest zamknięty, więc badania nie skończyły się wraz z wydaniem produktu.
Skąd się wzięło
Prace zaczęły się jako Project Keystone, badania INT6 Ltd nad mediacją dwujęzycznej rozmowy w czasie rzeczywistym z wykorzystaniem modeli językowych. INT6 zbudowało aplikację koncepcyjną Turnstone, którą następnie rozwinięto w działający system i przetestowano w rzeczywistych warunkach.
Aplikacja została później przeniesiona do C2 Discovery Labs CIC, tak aby była prowadzona dla dobra wspólnoty i społeczeństwa. My Words to ten sam przetestowany system, pod nową marką i rozwijany dalej, a prace rozwojowe toczą się już w jego ramach.
Walidacja naukowa
Niezależna walidacja jest przygotowywana we współpracy z uniwersytetem w Wielkiej Brytanii. Zamiarem jest praca z doktorantami, magistrantami i akademickimi zespołami badawczymi nad dwiema rzeczami naraz: ulepszaniem produktu oraz sprawdzeniem, czy robi on to, co deklaruje ta witryna.
Prace te nie są zakończone i nic na tej stronie od nich nie zależy. Gdy pojawią się wyniki, w tym takie, które przemawiają przeciwko nam, zostaną opublikowane tutaj wraz z metodą. Do tego czasu deklaracje na tej stronie należy traktować jako nasze własne, a nie jako niezależnie zweryfikowane.
Czego projekt faktycznie próbuje się dowiedzieć
Wokół tych pytań zorganizowane są prace i to je postawilibyśmy przed partnerem badawczym choćby jutro. Żadne z nich nie jest rozstrzygnięte.
Czy maszyna potrafi utrzymać kontekst tak jak tłumacz?
Tłumacz człowiek niesie ze sobą sytuację, historię i rejestr, bez proszenia o to. Jaką część tego da się wyrazić wprost jako uporządkowany kontekst i co ginie przy takim wyrażeniu?
Czy system może użytecznie wiedzieć, że się myli?
Ocena wierności to model oceniający model. Gdzie pokrywa się to z rzeczywistym błędem, a gdzie zawodzi w tym samym kierunku co to, co sprawdza?
Czy pytanie doprecyzowujące pomaga, czy przerywa?
Z zasady pytanie jest lepsze niż zgadywanie. Ale gdy naprzeciwko siedzi osoba w kryzysie, ile razy można jej przerwać, zanim zniszczy się to, co miało być chronione?
Jak pokazywać niepewność zapracowanemu specjaliście?
Oznaczenie, które jest ignorowane, nie jest lepsze od braku oznaczenia. Oznaczenie, które zatrzymuje rozmowę w każdej turze, jest gorsze. To pytanie badawcze o interfejs w takim samym stopniu jak o modelowanie.
Co zmienia się, gdy urządzenie trzyma sama zainteresowana osoba?
Czytanie we własnych rękach, we własnym języku, to inna czynność niż czytanie przez biurko. Czy zmienia to, o czym ludzie mówią, jest pytaniem do pomiaru, a tego jeszcze nie wykonaliśmy.
Gdzie naprawdę leży granica użycia?
Twierdzimy, że to narzędzie do wczesnych rozmów, a nie do czynności ustawowych. Tę granicę należy sprawdzić wobec tego, co faktycznie dzieje się w instytucjach, a nie bronić jej dlatego, że sami ją zapisaliśmy.
Jak oceniane są te prace
System wytwarza własne dowody jako produkt uboczny działania: każda tura niesie źródło, tłumaczenie, ocenę wierności, ewentualną korektę i ewentualne pytanie doprecyzowujące. Dzięki temu kilka rzeczy da się zmierzyć bez dokładania jakiegokolwiek oprzyrządowania.
- Jak często tłumaczenie jest poprawiane przed dostarczeniem i o ile przesuwa się ocena.
- Jak często mediator pyta zamiast odpowiadać i co dzieje się w rozmowie później.
- Jak oceny rozkładają się według języków, tak aby nierówne pokrycie było widoczne, zamiast znikać w średniej.
- Gdzie pracownicy nadpisali wynik, powtórzyli się lub porzucili wymianę zdań.
Czego oprzyrządowanie nam nie powie, to czy rozmowa była dobra. Do tego potrzebna jest instytucja oraz, tam gdzie da się to zrobić rzetelnie, osoba po drugiej stronie.
Jak sami się z tego rozliczamy
Test przed wdrożeniem. Nowe zachowania są sprawdzane na nagranych i syntetycznych rozmowach, zanim zetkną się z czyjąś prawdziwą.
Mierzymy to, co zostało zmierzone. Żadnego nagłówkowego wskaźnika dokładności zastępującego rozkład, który potrafimy faktycznie pokazać.
Publikujemy metodę. To, czego uczymy się o bezpiecznym robieniu tego, opisujemy tak, aby inni mogli z tego skorzystać, łącznie z tym, co się nie udało.
Wyniki negatywne też się liczą. Funkcja, która pogorszyła rozmowy, jest wynikiem badania i tak jest raportowana.
Co jest zbudowane i działa
To działająca aplikacja, a nie demonstracja. W dużym skrócie ma obecnie:
Mediację na żywo, tura po turze
Strumieniowe tłumaczenie z historią rozmowy, uporządkowanymi faktami i kontekstem dziedzinowym uwzględnianymi w każdej turze.
Ocenę wierności i autokorektę
Oceny dla każdej tury, korekta poniżej progu przed dostarczeniem oraz pytanie doprecyzowujące do mówiącego, gdy źródło jest niejednoznaczne.
Dwa tryby rozmowy
Tryb wspólnego ekranu oraz tryb sparowany, w którym druga osoba dołącza z własnego urządzenia przez połączenie na żywo.
Zlokalizowany interfejs
Teksty interfejsu przetłumaczone na wprowadzone języki i zapisane w pamięci podręcznej, więc sama powierzchnia aplikacji nie jest wyłącznie angielska.
Konta, grupy i audyt
Grupowanie i uprawnienia na poziomie organizacji, logowanie kluczem dostępu i hasłem z kodami dwuskładnikowymi oraz dziennik audytu obejmujący rozmowy i administrację.
Rozmowy do odtworzenia
Zapisane wymiany zdań można odtworzyć na nowej wersji systemu, więc zmiana jest testowana na prawdziwym dialogu, a nie na czymś zaimprowizowanym na pokaz.
Zwyczajny stos webowy
Aplikacja w PHP i MariaDB serwowana przez HTTPS. Celowo nieegzotyczna, tak aby dało się ją przeanalizować, zaudytować i hostować gdzie indziej niż dzisiaj, jeśli okaże się to właściwym rozwiązaniem.
Pracujcie nad tym razem z nami
Szukamy doktorantów, magistrantów i zespołów badawczych mających własne pytanie w tym obszarze, instytucji gotowych poddać swoje użycie narzędzia badaniu oraz grantodawców wspierających prace oparte na dowodach nad językiem jako barierą w uzyskaniu pomocy.