Добавить ноутбук о сложности текста по ступеням обучения

[SergeyShk]

Что сделано

Второй ноутбук галереи - examples/02_text_complexity_by_grade.ipynb. Набор TextsByGrade (68 текстов с меткой класса от 1 до 17) используется как одна ось сложности, на которую по очереди накладываются все группы статистик; признаки считаются одним проходом nlp.pipe с компонентами ruTS в таблицу, мера согласия везде - ρ Спирмена с меткой.

• Удобочитаемость: все одиннадцать формул на ρ = 0.75-0.82, сводный класс 0.81; для формул, выдающих класс, - MAE в классах и медиана (3-4 класса, точнее всех по величине Колман-Лиау); диаграмма сводного класса против метки; три пресета коэффициентов (plainrussian, fiction, academic) - по рангам неотличимы, academic чуть точнее по величине, с оговоркой, что plainrussian подбирался на этом наборе.
• Лексика: меры разнообразия (MTLD, HD-D, MATTR, MTLD по окнам) дают ρ ≈ 0; лексическая сложность по словарю - плотность и полосы топ-5000/10000 растут (0.5), доля слов вне топ-10000 падает (−0.47), с объяснением про имена и уменьшительные формы в детских текстах.
• Синтаксис и морфология: диаграмма ρ по 18 признакам - именная нагрузка (модификаторов на именную группу 0.79), длина клаузы (0.79), отглагольные существительные (0.75), глубина дерева (0.75), пассив (0.73), производные предлоги, причастные обороты, расщеплённые сказуемые; падают доля глаголов (−0.78), частиц (−0.66), местоимений. Ящики по четырём ступеням обучения; отдельно отмечено, что основной контраст - проза против документов, внутри школы ступени перекрываются.
• Связность: коннекторы (особенно противительные, −0.66) и местоимения падают, повтор знаменательных слов между предложениями растёт.
• Проверка на независимом наборе: хрестоматия SovChLit для первого класса, 115 текстов от 50 слов - медиана сводного класса 2.5, 79 % текстов не выше 4 класса, гистограмма и describe_grade.

Таблица формул в docs/datasets/textsbygrade.md (ru/en) обновлена под текущие значения (после подсчёта букв через isalpha в 0.13.0 ρ и MAE сдвинулись на 0.01-0.2) со ссылкой на ноутбук; ноутбук добавлен на страницу примеров и в examples/README.md.

Пакет не меняется, версия без изменений.

Проверка

• make notebooks - оба ноутбука выполняются (38 с), файл первого ноутбука после повторного прогона не изменился, во втором нет ошибок и предупреждений.
• make lint, pre-commit run --all-files, tests/test_docs.py, mkdocs build --strict.

🤖 Generated with Claude Code

[SergeyShk]

Прогнал ноутбук и пересчитал цифры. Три замечания по существу, всё остальное сходится (диапазоны сводного класса по классам, ρ по синтаксису, скачок плотности на 15-17).