Работещ продукт с продължаващи изследване и разработка
My Words съществува заради проблем, по-труден от превода на едно изречение: да се удържи разговор през езикова граница, когато на карта са жилището, безопасността или здравето на някого, и това да се прави така, че системата да казва истината за собствената си несигурност. Този проблем не е решен, затова изследването не спря, когато продуктът излезе.
Откъде тръгна
Работата започна като Project Keystone, изследване на INT6 Ltd върху посредничеството в двуезичен разговор в реално време с помощта на езикови модели. INT6 създаде приложението за доказване на концепцията, Turnstone, което след това беше развито до работеща система и изпитано в реални условия.
Оттогава приложението беше прехвърлено на C2 Discovery Labs CIC, за да се притежава в полза на общността и обществото. My Words е същата изпитана система, с нова марка и продължено развитие, и разработката продължава под нейно име.
Академична валидация
В момента се организира независима валидация с университетски партньор във Великобритания. Намерението е да се работи със студенти в магистърски и докторски програми и с академични изследователски лаборатории едновременно по две неща: подобряване на продукта и проверка дали той прави това, което този сайт твърди.
Тази работа не е завършена и нищо на този сайт не зависи от нея. Когато има резултати, включително такива, които не са в наша полза, те ще бъдат публикувани тук заедно с метода. Дотогава приемайте твърденията на този сайт като наши, а не като независимо проверени.
Какво всъщност се опитва да установи проектът
Това са въпросите, около които е организирана работата, и същите, които бихме поставили пред изследователски партньор още утре. Нито един от тях не е решен.
Може ли машина да удържа контекста така, както го прави устният преводач?
Човекът преводач носи със себе си обстановката, историята и регистъра, без да го молят за това. Каква част от него може да се направи явна като структуриран контекст и какво се губи при това превръщане в явно?
Може ли една система полезно да разбира, че греши?
Оценяването на точността е модел, който преценява модел. Къде това съвпада с реалната грешка и къде се проваля в същата посока като онова, което проверява?
Уточняващият въпрос помага ли, или прекъсва?
По принцип питането е по-добро от отгатването. Но когато пред Вас стои разстроен човек, колко пъти можете да го прекъснете, преди да сте увредили точно това, което сте се опитвали да опазите?
Как трябва да се показва несигурността на зает специалист?
Знак, който бива пренебрегван, не е по-добър от липсата на знак. Знак, който спира разговора при всяка реплика, е по-лош. Това е изследователски въпрос за интерфейса не по-малко, отколкото за моделирането.
Какво се променя, когато устройството е в ръцете на самия човек?
Да четеш в собствените си ръце, на собствения си език, е друго действие в сравнение с четенето през бюро. Дали това променя какво хората споделят, е въпрос за измерване, а ние още не сме го измерили.
Къде наистина минава границата?
Ние твърдим, че това е за първоначални разговори, а не за законово регламентирани. Тази граница трябва да бъде проверена спрямо това, което наистина се случва в услугите, а не защитавана, защото сме я записали.
Как се оценява работата
Системата произвежда собствени доказателства като страничен продукт от работата си: всяка реплика носи оригинал, превод, оценка за точност, всяка редакция и всеки уточняващ въпрос. Това прави няколко неща измерими, без да се добавя каквото и да е допълнително измерване.
- Колко често преводът се редактира преди доставяне и с колко се променя оценката.
- Колко често посредникът пита, вместо да отговори, и какво прави разговорът след това.
- Как се разпределят оценките по езици, така че неравномерното покритие да проличи, вместо да изчезне в една средна стойност.
- Къде служителите са отменяли резултата, повтаряли са се или са изоставяли размяната на реплики.
Това, което измерването не може да ни каже, е дали разговорът е бил добър. За това е нужна самата услуга и, там където може да се направи както трябва, човекът от другата ѝ страна.
Как се придържаме към него
Тестване преди пускане. Всяко ново поведение се изпитва върху записани и синтетични разговори, преди да се срещне с нечий действителен разговор.
Измерваме това, което е измерено. Никаква ефектна стойност за точност, която да замества разпределение, което наистина можем да покажем.
Публикуваме метода. Това, което научаваме за безопасното извършване на тази работа, се описва, за да могат други хора да го използват, включително частите, които не се получиха.
Отрицателните резултати се броят. Функция, която е влошила разговорите, е находка и се докладва като такава.
Какво е изградено и работи
Това е работещо приложение, а не демонстрация. В общи линии то в момента разполага с:
Посредничество реплика по реплика на живо
Поточен превод с история на разговора, структурирани факти и контекст на съответната област, включени в обхвата на всяка реплика.
Оценяване на точността и самокорекция
Оценки за всяка реплика, преработване при стойност под прага преди доставяне и уточняващ въпрос обратно към говорещия, когато оригиналът е двусмислен.
Две среди за разговор
Режим със споделен екран и сдвоен режим, при който вторият човек се включва от собственото си устройство по връзка в реално време.
Локализиран интерфейс
Текстовете на интерфейса са преведени на заложените езици и се кешират, така че самата среда не е само на английски.
Акаунти, групи и одит
Групиране и права на ниво организация, удостоверяване с passkey и с парола заедно с двуфакторни кодове, както и одитен дневник за разговорите и администрирането.
Разговори с възможност за повторно възпроизвеждане
Записаните размени на реплики могат да бъдат възпроизведени срещу нова версия, така че промяната се изпитва върху истински диалог, а не върху нещо, скалъпено за демонстрацията.
Обикновен уеб стек
Приложение на PHP и MariaDB, обслужвано по HTTPS. Умишлено неекзотично, за да може да бъде осмислено, одитирано и хоствано другаде, ако това се окаже правилният отговор.
Работете по това заедно с нас
Търсим студенти в магистърски и докторски програми и изследователски лаборатории с въпрос в тази област, услуги, готови използването им да бъде проучено, и финансиращи организации, които подкрепят основана на доказателства работа по езика като пречка пред получаването на помощ.