Формат книг с переводом.tbook: четыре месяца работы и вторая версия
Формат книг с переводом.tbook: четыре месяца работы и вторая версия Автор проекта.tbook — формат электронных книг со встроенным переводом и пословной подсветкой — отчитался о четырёх месяцах развития. Идея: нажимаешь на незнакомое слово в английском романе и видишь перевод предложения с подсветкой нужного слова, всё офлайн, потому что переводы уже внутри файла. За это время появились Android-читалка, десктопная версия, офлайн-словари, веб-конвертер и общая библиотека, а 29 сентября вышла вторая версия формата. Толчком к переделке стали реальные сбои: читалка подсвечивала в переводе не то слово, хотя формальная проверка файла говорила «всё хорошо». В первой версии формата только 62,6% нажатий давали чистую подсветку, а из 132 числовых токенов — кусочков текста, на которые разбит текст, — ни одно число нельзя было нажать. То есть файл был валиден, но пользоваться им было неудобно. Во второй версии автор поменял четыре вещи. Абзац теперь хранится целиком, а предложения — лишь диапазоны внутри него: ошибка разбивки текста больше не калечит оригинал на экране. Переводы лежат в отдельных файлах по языкам, поэтому новый язык можно дописать, не пересобирая книгу, — восьмиязычная книга похудела с 6,96 до 3,55 МБ. У каждого слова перевода своя ссылка, причём честно различаются «связь неизвестна» и «пары точно нет». И файл хранит статус перевода: какие проверки запускались и что реально смотрел человек, — читалка отличает «прошло проверку» от «никто не смотрел». Миграция старых книг сохраняет поведение: на восьмиязычной книге 99,9876% нажатий (836 496 из 836 600) работали как раньше, остальные 104 случая — слова, которые старый формат резал посередине. Автор подчёркивает: это процент сохранения поведения, а не процент правильных переводов. Хеши ловят повреждение файла, но не доказывают смысловой правильности перевода. Конвертер, который собирает книги с помощью языковых моделей, научился помнить контекст. Раньше героиня Irene в разных главах становилась то «Айрин», то «Ирен»: модель переводила текст порциями и забывала прежний выбор. Теперь конвертер заранее собирает глоссарий имён и терминов и передаёт его с каждым запросом; его можно просмотреть и исправить до перевода. На незнакомом модели тексте правильное согласование имён выросло с 45,2 до 97,6%. Выравнивание — сопоставление слов оригинала и перевода — стало гибридным: локальная модель LaBSE разбирает основную массу предложений, языковая модель дорабатывает около 4% сложных случаев. Такой режим в 5–8 раз быстрее чистого LLM-выравнивания. Отдельная обработка идиом научила систему связывать gave up с «бросил» целиком: на проверенном романе доля работающих нажатий выросла с 79 до 96%. Показательны неудачи, которые автор честно описал. Сильная модель, которой отправили 72 подозрительных предложения «Имени розы», за 32 минуты сломала 49 верных выравниваний. Новый выравниватель поднял покрытие слов с 97,84 до 99,57%, но слепое сравнение дважды отдало победу старому варианту: лишние ссылки вели к чужим словам. Один предыдущий контекст-предложение снизил точность корректуры с 87,1 до 80%. Вывод автора: больше шагов в цепочке не гарантируют лучший результат. Для читателей появились офлайн-словари.tdict — файлы с частью речи, родом, произношением и формами слова, собранные из Wiktionary. Уже готовы все 20 пар между английским, русским, немецким, испанским и итальянским. Android-читалка TReader (версия 1.14) получила режим для электронных чернил, транскрипцию и озвучку; десктопная версия собирается под Windows, macOS и Linux, но macOS-сборка пока не нотаризована, что осложняет первый запуск. Автор ищет разработчиков под iOS и Mac. Источник: https://habr.com/ru/articles/1100334/