Йорик — умное восстановление буквы «ё» в русских текстах. Умное, потому что учитывает контекст.
При работе с текстом на русском языке часто возникает потребность восстановить в словах оригинальную букву «ё», например, для улучшения читаемости или единообразия стиля письма. Кроме того, крайне желательно учитывать разницу между «е» и «ё» при обработке текстов в задачах машинного обучения, в частности, при распознавании и синтезе речи.
Однако в открытых инструментах для восстановления буквы «ё», таких как eyo-kernel, при замене слов не учитывается их контекст. Это приводит к тому, что слова можно восстановить только в однозначных случаях, когда слово без «ё» не употребляется, например:
ежик = ёжик
амеба = амёба
матрешка = матрёшка
...
но не в случаях, когда буква зависит от контекста:
передохнём (отдохнём) != передохнем (умрём)
лён (ткань) != лен (феодальное владение)
съём (жилья) != съем (скушаю)
всё (everything) != все (everyone)
Лёне (Голубкову) != Лене (Голубковой)
...
Таким образом, существующие инструменты в спорных случаях лишь предлагают варианты для ручной модерации, что делает их неприменимыми для обработки больших объемов текстов в автоматическом режиме.
Реализовать инструмент для полностью автоматического контекстно-зависимого восстановления буквы «ё» при помощи методов машинного обучения.
- Проверка и восстановление буквы «ё» в русских текстах, вместо написанной «е»
- Замена «е» на «ё» с учетом контекста
- Исправление в словах нескольких букв «е», «ё»
- Корректная обработка сокращений («мед. училище», но не «мёд. училище»)
- Аббревиатуры не обрабатываются
Подробные гайды по разработке в репозитории доступны в docs/development.md. Рекомендации по добавлению своих ML-экспериментов в docs/experiments.md.