Ένα λειτουργικό προϊόν με συνεχιζόμενη έρευνα και ανάπτυξη
Το My Words υπάρχει εξαιτίας ενός προβλήματος δυσκολότερου από τη μετάφραση μιας πρότασης: να κρατηθεί μια συνομιλία ενιαία πάνω από ένα γλωσσικό όριο, όταν διακυβεύονται η στέγη, η ασφάλεια ή η υγεία κάποιου, και να γίνει αυτό με τρόπο που λέει την αλήθεια για τη δική του αβεβαιότητα. Το πρόβλημα αυτό δεν έχει λυθεί, οπότε η έρευνα δεν σταμάτησε όταν κυκλοφόρησε το προϊόν.
Από πού προήλθε
Η δουλειά ξεκίνησε ως Project Keystone, έρευνα της INT6 Ltd για τη διαμεσολάβηση δίγλωσσης συνομιλίας σε πραγματικό χρόνο με χρήση γλωσσικών μοντέλων. Η INT6 ανέπτυξε την εφαρμογή επίδειξης της ιδέας, το Turnstone, το οποίο στη συνέχεια εξελίχθηκε σε λειτουργικό σύστημα και δοκιμάστηκε σε πραγματικές συνθήκες.
Η εφαρμογή έχει έκτοτε μεταφερθεί στην C2 Discovery Labs CIC, ώστε να κατέχεται προς όφελος της κοινότητας και της κοινωνίας. Το My Words είναι το ίδιο δοκιμασμένο σύστημα, με νέα ταυτότητα και σε συνέχεια της ίδιας πορείας, και η ανάπτυξη συνεχίζεται υπό αυτό.
Ακαδημαϊκή επικύρωση
Βρίσκεται σε εξέλιξη η ανεξάρτητη επικύρωση σε συνεργασία με βρετανικό πανεπιστήμιο. Στόχος είναι η συνεργασία με μεταπτυχιακούς φοιτητές και ακαδημαϊκά ερευνητικά εργαστήρια σε δύο πράγματα ταυτόχρονα: στη βελτίωση του προϊόντος και στον έλεγχο του αν κάνει όσα λέει αυτός ο ιστότοπος ότι κάνει.
Η εργασία αυτή δεν έχει ολοκληρωθεί και τίποτα σε αυτόν τον ιστότοπο δεν εξαρτάται από αυτήν. Όταν υπάρξουν αποτελέσματα, ακόμη και όσα μας διαψεύδουν, θα δημοσιευτούν εδώ μαζί με τη μέθοδο. Μέχρι τότε, θεωρήστε ότι οι ισχυρισμοί σε αυτόν τον ιστότοπο είναι δικοί μας και όχι ανεξάρτητα ελεγμένοι.
Τι προσπαθεί πραγματικά να διαπιστώσει το έργο
Αυτά είναι τα ερωτήματα γύρω από τα οποία οργανώνεται η δουλειά και αυτά που θα θέταμε αύριο κιόλας σε έναν ερευνητικό συνεργάτη. Κανένα δεν έχει απαντηθεί οριστικά.
Μπορεί μια μηχανή να συγκρατεί τα συμφραζόμενα όπως ένας διερμηνέας;
Ένας διερμηνέας συγκρατεί το κλίμα, το ιστορικό και το ύφος χωρίς να του ζητηθεί. Πόσο από αυτό μπορεί να αποτυπωθεί ρητά ως δομημένα συμφραζόμενα, και τι χάνεται όταν αποτυπώνεται ρητά;
Μπορεί ένα σύστημα να γνωρίζει χρήσιμα πότε κάνει λάθος;
Η βαθμολόγηση πιστότητας είναι ένα μοντέλο που κρίνει ένα μοντέλο. Πού συσχετίζεται αυτό με το πραγματικό σφάλμα και πού αστοχεί προς την ίδια κατεύθυνση με αυτό που ελέγχει;
Μια διευκρινιστική ερώτηση βοηθά ή διακόπτει;
Το να ρωτάς είναι καλύτερο από το να μαντεύεις, κατ' αρχήν. Όταν όμως απέναντί σας βρίσκεται ένας άνθρωπος σε αναστάτωση, πόσες φορές μπορείτε να διακόψετε πριν βλάψετε αυτό ακριβώς που προσπαθούσατε να προστατεύσετε;
Πώς πρέπει να παρουσιάζεται η αβεβαιότητα σε έναν επαγγελματία υπό πίεση;
Μια ένδειξη που αγνοείται δεν είναι καλύτερη από καμία ένδειξη. Μια ένδειξη που σταματά τη συνομιλία σε κάθε σειρά είναι χειρότερη. Πρόκειται για ερευνητικό ερώτημα διεπαφής εξίσου με ερώτημα μοντελοποίησης.
Τι αλλάζει όταν τη συσκευή την κρατά ο ίδιος ο άνθρωπος;
Το να διαβάζεις στα ίδια σου τα χέρια, στη γλώσσα σου, είναι διαφορετική πράξη από το να διαβάζεις πάνω από ένα γραφείο. Το αν αυτό αλλάζει όσα εμπιστεύονται οι άνθρωποι είναι ζήτημα μέτρησης, και δεν το έχουμε μετρήσει ακόμη.
Πού βρίσκεται πραγματικά το όριο;
Υποστηρίζουμε ότι αυτό αφορά τις πρώτες συνομιλίες και όχι τις θεσμοθετημένες διαδικασίες. Αυτό το όριο πρέπει να δοκιμάζεται απέναντι σε ό,τι συμβαίνει όντως στις υπηρεσίες, και όχι να υπερασπίζεται επειδή το γράψαμε κάπου.
Πώς αξιολογείται η δουλειά
Το σύστημα παράγει τα δικά του τεκμήρια ως παρεπόμενο της λειτουργίας του: κάθε σειρά φέρει ένα πρωτότυπο, μια μετάφραση, μια βαθμολογία πιστότητας, τυχόν αναθεώρηση και τυχόν διευκρινιστική ερώτηση. Αυτό καθιστά αρκετά πράγματα μετρήσιμα χωρίς πρόσθετη καταγραφή.
- Πόσο συχνά αναθεωρείται μια μετάφραση πριν παραδοθεί και πόσο μετακινείται η βαθμολογία.
- Πόσο συχνά ο μεσολαβητής ρωτά αντί να απαντά, και τι κάνει στη συνέχεια η συνομιλία.
- Πώς κατανέμονται οι βαθμολογίες ανά γλώσσα, ώστε η άνιση κάλυψη να φαίνεται αντί να εξαφανίζεται μέσα σε έναν μέσο όρο.
- Πού οι επαγγελματίες παρέκαμψαν το σύστημα, επανέλαβαν τα ίδια ή εγκατέλειψαν την ανταλλαγή.
Αυτό που η καταγραφή δεν μπορεί να μας πει είναι αν η συνομιλία ήταν καλή. Γι' αυτό χρειάζεται η ίδια η υπηρεσία και, όπου μπορεί να γίνει σωστά, ο άνθρωπος στην απέναντι πλευρά.
Πώς δεσμευόμαστε απέναντι σε αυτό
Δοκιμή πριν από τη ζωντανή χρήση. Κάθε νέα συμπεριφορά δοκιμάζεται σε καταγεγραμμένες και συνθετικές συνομιλίες πριν συναντήσει την πραγματική συνομιλία κάποιου.
Μετράμε ό,τι έχει όντως μετρηθεί. Κανένα εντυπωσιακό ποσοστό ακρίβειας στη θέση μιας κατανομής που μπορούμε πραγματικά να δείξουμε.
Δημοσιεύουμε τη μέθοδο. Ό,τι μαθαίνουμε για το πώς γίνεται αυτό με ασφάλεια καταγράφεται ώστε να το αξιοποιήσουν και άλλοι, μαζί με τα σημεία που δεν λειτούργησαν.
Τα αρνητικά αποτελέσματα μετρούν. Μια λειτουργία που χειροτέρεψε τις συνομιλίες είναι εύρημα και αναφέρεται ως τέτοιο.
Τι έχει κατασκευαστεί και λειτουργεί
Πρόκειται για λειτουργική εφαρμογή, όχι για επίδειξη. Σε γενικές γραμμές, αυτή τη στιγμή διαθέτει:
Ζωντανή διαμεσολάβηση ανά σειρά
Μετάφραση σε ροή, με το ιστορικό της συνομιλίας, δομημένα δεδομένα και εξειδικευμένα συμφραζόμενα διαθέσιμα σε κάθε σειρά.
Βαθμολόγηση πιστότητας και αυτοαναθεώρηση
Βαθμολογία ανά σειρά, αναθεώρηση κάτω από το κατώφλι πριν από την παράδοση, και αίτημα διευκρίνισης προς τον ομιλητή όταν το πρωτότυπο είναι διφορούμενο.
Δύο επιφάνειες συνομιλίας
Μια λειτουργία κοινής οθόνης και μια λειτουργία ζεύξης, όπου το δεύτερο άτομο συνδέεται από τη δική του συσκευή μέσω ζωντανής σύνδεσης.
Τοπικοποιημένη διεπαφή
Τα κείμενα της διεπαφής είναι μεταφρασμένα στις ενταγμένες γλώσσες και αποθηκευμένα σε προσωρινή μνήμη, ώστε η ίδια η επιφάνεια να μην είναι μόνο στα αγγλικά.
Λογαριασμοί, ομάδες και έλεγχος
Ομαδοποίηση και δικαιώματα σε επίπεδο οργανισμού, ταυτοποίηση με passkey και με κωδικό μαζί με κωδικούς δύο παραγόντων, και αρχείο καταγραφής ελέγχου για τις συνομιλίες και τη διαχείριση.
Συνομιλίες με δυνατότητα επανάληψης
Καταγεγραμμένες ανταλλαγές μπορούν να αναπαραχθούν σε νέα έκδοση, ώστε κάθε αλλαγή να δοκιμάζεται σε πραγματικό διάλογο και όχι σε κάτι αυτοσχέδιο για την επίδειξη.
Μια συνηθισμένη διαδικτυακή στοίβα
Μια εφαρμογή PHP και MariaDB που εξυπηρετείται μέσω HTTPS. Σκόπιμα συμβατική, ώστε να μπορεί να μελετηθεί, να ελεγχθεί και να φιλοξενηθεί αλλού από εκεί που βρίσκεται σήμερα, αν αυτό αποδειχθεί η σωστή απάντηση.
Δουλέψτε πάνω σε αυτό μαζί μας
Αναζητούμε μεταπτυχιακούς φοιτητές και ερευνητικά εργαστήρια με ένα ερώτημα σε αυτό το πεδίο, υπηρεσίες πρόθυμες να μελετηθεί η χρήση τους, και χρηματοδότες που στηρίζουν τεκμηριωμένη δουλειά πάνω στη γλώσσα ως εμπόδιο στην πρόσβαση σε βοήθεια.