С чем этот инструмент справляется плохо

Чего проверка вам не даёт

Продукт исходит из того, что он иногда будет ошибаться, и отсюда следует задача показывать вам, когда это происходит. Быть честным в том, что даёт оценка, значит быть настолько же честным в её ограничениях.

1. Оценка не является гарантией. Она описывает проверку, действительно проведённую для этой реплики, и ничего не говорит о том, что за её пределами.
2. Оценивающая сторона - это языковая модель, как и переводящая. Она даёт мнение одной модели о работе другой и может ошибаться в ту же сторону, что и оцениваемый перевод.
3. Высокая оценка реплики не делает разговор подходящим для этого инструмента. Это суждение остаётся за вами, а начинается оно с перечня разговоров, которые никогда не входят в область применения, на странице мер предосторожности.
4. Если что-то о человеке было уловлено из разговора, а не сообщено системе, это видно сотруднику и может быть исправлено. Возрастная группа и пол меняют то, как перевод говорит о человеке, поэтому неисправленное предположение является ошибкой, которая переходит в каждую следующую реплику.

Известные ограничения

1. Охват языков неравномерен. Качество неодинаково для всех подготовленных языков, и языки с наименьшим объёмом обучающих данных часто оказываются именно теми, которые нужнее всего службе на переднем крае.
2. Диалект и регистр речи передаются по-разному. Региональный вариант может обрабатываться хуже, чем литературная форма того же языка.
3. Это письменная речь, а не устная. Сегодня оба участника печатают. Это подходит для стойки и для телефона, но медленнее разговора и предполагает, что оба умеют читать и писать на своём языке. Голосовой ввод и вывод создаются и принесут с собой собственные ограничения.
4. Оценка сама является результатом работы модели. Оценка точности - это мнение одной модели о работе другой. Она может ошибаться в ту же сторону, что и оцениваемый перевод.
5. Продукт активно развивается. Поведение меняется от выпуска к выпуску. Так продукт и улучшается, но это означает, что проверка, проведённая полгода назад, не равна проверке, проведённой сегодня.

Данные

Содержание разговора приходится отправлять языковой модели у стороннего поставщика, чтобы его перевести, и оно сохраняется, чтобы обмен репликами можно было просмотреть и проверить. Для службы, работающей с деликатными сведениями, это важно, поэтому всё это изложено в уведомлении о конфиденциальности.

Если у организации есть ограничения, которым это не отвечает, скажите об этом заранее. Варианты развёртывания остаются открытым вопросом, над которым мы работаем, и мы предпочтём услышать об ограничении, а не спорить с ним.

Эта страница описывает нынешние ограничения продукта. Если вы считаете, что здесь что-то неверно, или столкнулись с ограничением, которого в перечне нет, сообщите нам. Проекту это полезнее похвалы.