Дзеючы прадукт з бесперапыннымі даследаваннямі і распрацоўкай
My Words існуе дзякуючы задачы больш складанай, чым пераклад асобнага сказа: утрымаць размову праз моўную мяжу, калі на кону жыллё, бяспека або здароўе чалавека, і зрабіць гэта так, каб казаць праўду пра ўласную нявызначанасць. Гэтая задача не вырашана канчаткова, таму даследаванні не спыніліся з выхадам прадукта.
Адкуль гэта паўстала
Праца пачалася як Project Keystone, даследаванне кампаніі INT6 Ltd пра пасярэдніцтва ў двухмоўнай размове ў рэальным часе з дапамогай моўных мадэляў. INT6 стварыла эксперыментальную праграму Turnstone, якую потым развілі ў працоўную сістэму і выпрабавалі ў рэальных умовах.
З таго часу праграма перададзена кампаніі C2 Discovery Labs CIC, каб яна належала грамадству і служыла яго карысці. My Words - гэта тая самая выпрабаваная сістэма пад новай назвай, і распрацоўка працягваецца ўжо ў яе межах.
Навуковая валідацыя
Незалежная валідацыя рыхтуецца з універсітэтам-партнёрам у Вялікабрытаніі. Задума ў тым, каб працаваць з аспірантамі і навуковымі лабараторыямі адначасова над дзвюма рэчамі: паляпшэннем прадукта і праверкай таго, ці робіць ён тое, што сцвярджае гэты сайт.
Гэтая праца не завершана, і нішто на гэтым сайце ад яе не залежыць. Калі з'явяцца вынікі, у тым ліку тыя, што будуць не на нашу карысць, яны будуць апублікаваны тут разам з методыкай. Да таго часу лічыце сцвярджэнні на гэтым сайце нашымі ўласнымі, а не незалежна праверанымі.
Што праект насамрэч спрабуе высветліць
Вось пытанні, вакол якіх пабудавана праца і якія мы хоць заўтра паставілі б перад партнёрам па даследаванні. Ні адно з іх не вырашана.
Ці можа машына ўтрымліваць кантэкст так, як гэта робіць перакладчык?
Жывы перакладчык трымае ў галаве абставіны, гісторыю і стыль размовы без дадатковых просьбаў. Наколькі гэта можна выразіць у выглядзе структураванага кантэксту і што губляецца пры такім выражэнні?
Ці можа сістэма з карысцю ведаць, што яна памыляецца?
Ацэнка дакладнасці - гэта мадэль, якая ацэньвае мадэль. Дзе гэта суадносіцца з рэальнай памылкай, а дзе памыляецца ў той самы бок, што і тое, што яна правярае?
Удакладняльнае пытанне дапамагае ці перашкаджае?
У прынцыпе, лепш спытаць, чым здагадвацца. Але калі перад вамі ўсхваляваны чалавек, колькі разоў можна перапыніць размову, перш чым нашкодзіш таму, што спрабаваў абараніць?
Як паказваць нявызначанасць занятаму спецыялісту?
Пазнака, якую ігнаруюць, не лепшая за адсутнасць пазнакі. Пазнака, якая спыняе размову на кожнай рэпліцы, яшчэ горшая. Гэта пытанне даследавання інтэрфейсу не менш, чым мадэлявання.
Што мяняецца, калі прыладу трымае сам чалавек?
Чытаць у сваіх руках і на сваёй мове - гэта не тое самае, што чытаць праз стол. Ці мяняе гэта тое, што людзі гатовы расказаць, трэба вымяраць, а мы гэтага яшчэ не вымяралі.
Дзе на самай справе праходзіць мяжа?
Мы сцвярджаем, што гэта інструмент для першых размоў, а не для афіцыйных працэдур. Гэтую мяжу трэба правяраць тым, што сапраўды адбываецца ў службах, а не абараняць толькі таму, што мы яе запісалі.
Як ацэньваецца праца
Сістэма стварае ўласныя сведчанні як пабочны вынік працы: кожная рэпліка нясе арыгінал, пераклад, ацэнку дакладнасці, любую праўку і любое ўдакладняльнае пытанне. Гэта робіць вымяральнымі шэраг рэчаў без дадатковых сродкаў вымярэння.
- Як часта пераклад папраўляецца перад выдачай і наколькі мяняецца ацэнка.
- Як часта пасярэднік пытаецца замест таго, каб адказаць, і што адбываецца ў размове далей.
- Як ацэнкі размяркоўваюцца па мовах, каб нераўнамернае пакрыццё было бачным, а не знікала ў сярэднім значэнні.
- Дзе супрацоўнікі не пагадзіліся з вынікам, паўтаралі сябе або пакідалі размову незавершанай.
Чаго вымярэнні не паказваюць, дык гэта ці была размова ўдалай. Для гэтага патрэбна сама служба і, там дзе гэта можна зрабіць належным чынам, чалавек з другога боку размовы.
Як мы гэтага трымаемся
Праверка да выхаду ў працу. Новыя магчымасці правяраюцца на запісаных і сінтэтычных размовах, перш чым сустрэнуцца з чыёйсьці сапраўднай.
Вымяраем тое, што вымерана. Ніякага гучнага паказчыка дакладнасці замест размеркавання, якое мы сапраўды можам паказаць.
Публікуем методыку. Тое, што мы даведваемся пра бяспечную працу ў гэтай сферы, апісваецца, каб іншыя маглі гэтым скарыстацца, уключна з тым, што не спрацавала.
Адмоўныя вынікі маюць значэнне. Функцыя, якая пагоршыла размовы, гэта таксама вынік, і пра яе паведамляецца.
Што пабудавана і працуе
Гэта дзеючая праграма, а не дэманстрацыя. У агульных рысах цяпер ёсць:
Жывое пасярэдніцтва рэпліка за рэплікай
Патокавы пераклад з гісторыяй размовы, структураванымі фактамі і кантэкстам прадметнай галіны, даступнымі для кожнай рэплікі.
Ацэнка дакладнасці і самастойная праўка
Ацэнкі для кожнай рэплікі, праўка да выдачы пры выніку ніжэй парога і ўдакладняльнае пытанне таму, хто гаворыць, калі арыгінал неадназначны.
Два рэжымы размовы
Рэжым агульнага экрана і парны рэжым, у якім другі чалавек далучаецца са сваёй прылады праз жывое злучэнне.
Лакалізаваны інтэрфейс
Радкі інтэрфейсу перакладзены на закладзеныя мовы і кэшуюцца, таму сам інтэрфейс не толькі англамоўны.
Уліковыя запісы, групы і аўдыт
Групоўка і правы на ўзроўні арганізацыі, уваход праз ключ доступу або пароль з двухфактарнымі кодамі і журнал аўдыту па размовах і адміністраванні.
Размовы з магчымасцю прайгравання
Запісаныя размовы можна прайграць на новай зборцы, таму змены правяраюцца на рэальным дыялогу, а не на нечым прыдуманым для дэманстрацыі.
Звычайны вэб-стэк
Праграма на PHP і MariaDB, якая працуе праз HTTPS. Наўмысна без экзотыкі, каб яе можна было зразумець, праверыць і размясціць у іншым месцы, калі гэта стане правільным рашэннем.
Працуйце над гэтым разам з намі
Мы шукаем аспірантаў і навуковыя лабараторыі, у якіх ёсць пытанне ў гэтай сферы, службы, гатовыя даць вывучыць сваю практыку, і донараў, якія падтрымліваюць даказальную працу над мовай як перашкодай да атрымання дапамогі.