Магистранты первого курса защитили проект по разработке компендиума по постредактированию машинного перевода
В конце учебного года студенты трека «Машинный перевод и языковая локализация» защитили проект, посвященный разработке компендиума по постредактированию (post-editing, PE) и автоматическому постредактированию (automatic post-editing, APE) машинного перевода. Во время работы несколько студенческих команд анализировали разные научные публикации по теме и совместно формировали итоговый компендиум, адаптированный под русскоязычный учебный контекст. О работах двух команд — Ярослава Мара и Полины Комраковой, а также Даны Баландиной и Михаила Катальникова, — читайте в материале.
Концептуальная рамка: пересмотр модели light/full
Ярослав Мар и Полина Комракова в своей части проекта взяли в работу две концептуальные публикации: Rethinking machine translation post-editing guidelines Селии Рико Перес (Мадридский университет Комплутенсе, 2024) и An introduction to a machine translation post-editing (MTPE) course Доминики Романюк-Холевской (Университет в Белостоке, 2021). Обе статьи студенты перевели на русский язык, выполнили их разбор и оформили практические выводы для итогового компендиума.
Центральная мысль проекта — пересмотр привычного деления постредактирования на «легкое» (light) и «полное» (full). Авторы показали, что в эпоху нейронного машинного перевода это деление размывается на практике и заменяется более гибкой моделью: «проверить и исправить» с порогом качества, заданным под конкретный текст.
«Традиционное деление постредактирования на "легкое" и "полное" устарело в эпоху нейронного машинного перевода — однако это нисколько не исключает ключевой роли человека в процессе. Без человеческого постредактирования даже высококачественный машинный перевод не может гарантировать точность и надежность конечного текста. Предложенный подход возвращает переводчику субъектность, снижает напряжение и формирует уверенность в машинном переводе как полезном инструменте, а не угрозе профессиональной идентичности», — отметила Полина Комракова, представляя выводы по статье Рико Перес.
Помимо отбора, перевода и анализа статей для компендиума, Ярослав Мар отдельно разработал веб-сервис APE — пилотный программный инструмент для автоматической оценки качества перевода и его постредактирования. Сервис принимает исходный документ и его перевод в форматах .docx, .pdf, .xlsx, .tmx или .xliff, проводит оценку по международному стандарту MQM 2.0 (семь измерений ошибок, три уровня тяжести) и предлагает постредактированную версию документа с указанием объема правок на каждом сегменте. Под капотом — модель Claude Opus 4.7.
«Мне было важно не просто описать постредактирование в теории, но и проверить его на практике, поэтому я отдельно собрал APE. Инструмент проводит оценку по стандарту MQM и сразу показывает, какие правки вносит модель и насколько они оправданны. Для меня это одновременно доказательство того, что автоматическое постредактирование уже работает на современных языковых моделях, и площадка для собственных экспериментов», — рассказал Ярослав Мар.
Технологическая практика: гиперкоррекция и Human-in-the-Loop
Дана Баландина и Михаил Катальников в своей части проекта обратились к технологической стороне темы. В основу легли три современные публикации: материалы конкурса WMT 2024 по оценке качества перевода, статья MQM-APE (Lu и др., 2024) о верификации ошибок через автоматическое постредактирование и статья Падманабхана (2025) о сравнении подходов «точечной правки» (Fill in the Blanks) и «полного повторного перевода» (Re-translation).
Авторы прошли весь цикл — от первичного машинного перевода и LLM-постредактирования до ручной верификации результата. Ключевой вывод: современный переводчик все чаще выступает в роли оператора-верификатора в схеме Human-in-the-Loop — он не переводит текст слово за словом, а управляет ИИ-агентами и оценивает их работу. На конкретных примерах студенты разобрали проблему гиперкоррекции, когда нейросеть на этапе постредактирования «улучшает» устоявшийся технический термин и тем самым нарушает научный стиль: например, точный термин «модель на основе энкодера» подменяется на расплывчатое «модель, использующая механизм кодирования». Отдельно команда показала, почему точечные правки в большинстве случаев уступают полному повторному переводу: локальная замена слов часто разрушает связность фразы, тогда как перегенерация всего предложения дает более естественный результат.
Дана и Михаил также обратили внимание на парадокс автоматических метрик: системы APE нередко делают текст более идиоматичным и удобным для человека, однако reference-based-метрики вроде BLEU при этом снижают оценку, поскольку перевод отклоняется от «машинного эталона». Это означает, что качество постредактирования по-прежнему невозможно оценить полностью автоматически — финальное решение остается за человеком.
Несмотря на разные исходные материалы, обе команды пришли к близким выводам, которые легли в основу единого компендиума. Постредактирование сегодня превращается из вспомогательной операции в самостоятельную компетенцию, а переводчик — из «правщика слов» в специалиста, который проектирует процесс, формирует инструкции для машины и отвечает за финальное качество. Именно эти компетенции выпускники программы получают в рамках трека «Машинный перевод и языковая локализация».
Текст: Ярослав Мар, магистрант программы «Прикладная лингвистика: обучение иностранному языку и перевод в цифровой среде»
