Repository navigation
Добавить в ноутбук о прозаиках раздел об атрибуции авторства - #65
Merged
Merged
Conversation
Каждое третье произведение автора откладывается в тест, профили строятся по остальным, окна в 1000 слов относятся к ближайшему профилю: четыре варианта дельты, 100-3000 частых единиц, словоформы и символьные триграммы, признаки текста как классификатор по ближайшему центроиду, матрица ошибок и маркеры Zeta для самой частой ошибки. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
SergeyShk
commented
Sep 20, 2026
SergeyShk
left a comment
Owner
Author
There was a problem hiding this comment.
Прогнал раздел атрибуции локально, три замечания инлайн.
…окон delta_profiles(reference, samples, n_mfw, variant, culling, statistics): расстояния проверяемых текстов до эталонных профилей, список частых единиц и нормировка - по эталонам или отдельному набору statistics, проверяемые тексты на них не влияют; общий расчет расстояний с delta. В ноутбуке разбиение на тест по ключу (автор, название), атрибуция через delta_profiles со статистиками по обучающим окнам, формулировка про Zeta исправлена: маркеры входят в частые слова дельты. Версия 0.14.0.dev3. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Ячейка выводит ранги маркеров в списке частых слов обучающих окон, текст ссылается на нее; число окон Горького у Герцена - 11, как в матрице ошибок. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Что сделано
В
examples/03_prose_authors.ipynbпосле сверки с дельтой Барроуза добавлен раздел «Атрибуция авторства» - вместо отдельного ноутбука, чтобы не дублировать данные и расстояния.delta_profiles; список частых единиц и статистики нормировки берутся из обучающих окон, тестовые окна на них не влияют. Для этого в ячейке с окнами сохраняются названия произведений (corpusс колонками author/title/text), остальные разделы не изменились.CharNgramsExtractor) - одна таблица точности. Косинусная дельта на 3000 словоформах угадывает автора в 87 % окон, квадратичная 83 %, классическая Барроуза 63 %, Эдера 67 %; триграммы уступают (до 77 %). Это повторяет вывод Эверта и др. (2015).Итоги дополнены, описание ноутбука на странице примеров (ru/en) и в
examples/README.mdобновлено.В пакете:
delta_profiles(reference, samples, n_mfw, variant, culling, statistics)вruts.corpus- расстояния проверяемых текстов до эталонных профилей; частые единицы и нормировка по эталонам или отдельному наборуstatistics, проверяемые тексты на них не влияют, результат для текста не зависит от соседей по вызову; расчёт расстояний общий сdelta. Тесты, описание и пример на странице стилометрии (ru/en). Версия0.14.0.dev3.Проверка
make notebooks- три ноутбука за 160 с (ноутбук о прозаиках - 115 с), файлы первых двух не изменились.make lint,make test(1020 тестов),pre-commit run --all-files,tests/test_docs.py,mkdocs build --strict.🤖 Generated with Claude Code