Delujoč izdelek s stalnimi raziskavami in razvojem
My Words obstaja zaradi težjega problema, kot je prevod stavka: kako pogovor obdržati skupaj čez jezikovno mejo, ko gre za nekogaršnje stanovanje, varnost ali zdravje, in to tako, da orodje govori resnico o svoji negotovosti. Ta problem ni rešen, zato se raziskave niso ustavile, ko je izdelek prišel v uporabo.
Od kod izvira
Delo se je začelo kot Project Keystone, raziskava podjetja INT6 Ltd o posredovanju v dvojezičnih pogovorih v realnem času z uporabo jezikovnih modelov. INT6 je izdelal aplikacijo za dokazovanje koncepta Turnstone, ki je bila nato razvita v delujoč sistem in preizkušena v resničnih okoljih.
Aplikacija je bila pozneje prenesena v C2 Discovery Labs CIC, tako da je v lasti za korist skupnosti in družbe. My Words je isti preizkušeni sistem, preimenovan in razvit naprej, razvoj pa se pod njim nadaljuje.
Akademska validacija
Z britansko partnersko univerzo urejamo neodvisno validacijo. Namen je sodelovati s podiplomskimi študenti in akademskimi raziskovalnimi laboratoriji pri dveh stvareh hkrati: izboljševanju izdelka in preverjanju, ali res počne to, kar piše na tem spletnem mestu.
To delo ni končano in nič na tem spletnem mestu ni odvisno od njega. Ko bodo rezultati, vključno s tistimi, ki nam ne bodo v prid, bodo objavljeni tukaj skupaj z metodo. Do takrat trditve na tem spletnem mestu jemljite kot naše in ne kot neodvisno preverjene.
Kaj skuša projekt v resnici ugotoviti
To so vprašanja, okoli katerih je delo organizirano, in tista, ki bi jih jutri postavili raziskovalnemu partnerju. Nobeno od njih ni razrešeno.
Ali lahko stroj drži kontekst tako kot tolmač?
Človeški tolmač nosi s seboj prostor, zgodovino pogovora in register, ne da bi ga kdo prosil. Koliko od tega je mogoče izraziti kot strukturiran kontekst in kaj se pri tem izgubi?
Ali sistem lahko koristno ve, kdaj se moti?
Ocenjevanje zvestobe je model, ki presoja model. Kje se to ujema z resnično napako in kje odpove v isto smer kot tisto, kar preverja?
Ali pojasnjevalno vprašanje pomaga ali prekinja?
Vprašati je načeloma bolje kot ugibati. Kolikokrat lahko prekinete človeka v stiski, preden poškodujete prav tisto, kar ste varovali?
Kako naj se negotovost prikaže zaposlenemu, ki nima časa?
Oznaka, ki jo prezrete, ni nič boljša od nobene oznake. Oznaka, ki ustavi pogovor ob vsaki izmenjavi, je slabša. To je prav toliko raziskovalno vprašanje o vmesniku kot o modelih.
Kaj se spremeni, ko napravo drži uporabnik sam?
Brati v svojih rokah in v svojem jeziku je nekaj drugega kot brati čez mizo. Ali to spremeni, kaj ljudje povedo, je vprašanje za meritev, ki je še nismo opravili.
Kje v resnici leži meja?
Trdimo, da je to za zgodnje pogovore in ne za uradne postopke. To mejo je treba preizkusiti glede na to, kar se v službah dejansko dogaja, ne braniti zato, ker smo jo zapisali.
Kako se delo vrednoti
Sistem svoje dokaze ustvarja kot stranski proizvod delovanja: vsaka izmenjava nosi izvirnik, prevod, oceno zvestobe, morebitni popravek in morebitno pojasnjevalno vprašanje. To omogoča merjenje več stvari, ne da bi karkoli dodatno vgrajevali.
- Kako pogosto je prevod popravljen pred dostavo in za koliko se premakne ocena.
- Kako pogosto posrednik vpraša namesto odgovori in kaj se v pogovoru zgodi potem.
- Kako se ocene porazdelijo po jezikih, tako da se neenakomerna pokritost pokaže, namesto da bi izginila v povprečju.
- Kje so zaposleni razveljavili prevod, se ponovili ali opustili izmenjavo.
Česar nam meritve ne morejo povedati, je, ali je bil pogovor kaj vreden. Za to sta potrebna služba in, kjer je to mogoče izpeljati korektno, oseba na drugi strani.
Kako se tega držimo
Preizkus pred uporabo v živo. Novo vedenje preizkusimo na posnetih in sintetičnih pogovorih, preden se sreča s pravim pogovorom kogar koli.
Merimo tisto, kar je bilo izmerjeno. Nobene odmevne številke o natančnosti, ki bi nadomeščala porazdelitev, ki jo lahko dejansko pokažemo.
Objavimo metodo. Kar se naučimo o varnem izvajanju tega, zapišemo, da lahko drugi to uporabijo, vključno z deli, ki niso delovali.
Negativni rezultati štejejo. Funkcija, ki je pogovore poslabšala, je ugotovitev in kot taka tudi poročana.
Kaj je zgrajeno in deluje
To je delujoča aplikacija, ne demonstracija. Na grobo trenutno vključuje:
Posredovanje v živo, izmenjavo za izmenjavo
Sprotno prevajanje z zgodovino pogovora, strukturiranimi dejstvi in kontekstom področja, ki so v obsegu vsake izmenjave.
Ocenjevanje zvestobe in samopopravljanje
Ocene za vsako izmenjavo, popravek pod pragom pred dostavo in vprašanje za pojasnilo govorcu, kadar je izvirnik dvoumen.
Dva načina pogovora
Način z deljenim zaslonom in način v paru, pri katerem se druga oseba pridruži s svoje naprave prek povezave v živo.
Lokaliziran vmesnik
Nizi vmesnika, prevedeni v vnaprej pripravljene jezike in shranjeni v predpomnilnik, tako da vmesnik sam ni samo v angleščini.
Računi, skupine in revizija
Razvrščanje in dovoljenja na ravni organizacije, prijava s passkeyjem in geslom z dvostopenjskimi kodami ter revizijski dnevnik čez pogovore in upravljanje.
Ponovljivi pogovori
Posnete izmenjave je mogoče znova predvajati proti novi različici, tako da se sprememba preizkusi na resničnem dialogu in ne na nečem, kar je bilo improvizirano za predstavitev.
Običajen spletni sklad
Aplikacija v PHP in MariaDB, postrežena prek HTTPS. Namenoma neeksotična, tako da jo je mogoče razumeti, revidirati in gostiti drugje, kot je danes, če se to izkaže za pravo rešitev.
Sodelujte pri tem z nami
Iščemo podiplomske študente in raziskovalne laboratorije z vprašanjem s tega področja, službe, ki so pripravljene, da se njihova uporaba preuči, in financerje, ki podpirajo na dokazih temelječe delo o jeziku kot oviri pri dostopu do pomoči.