Положить порог покрытия туда, где codecov.yml говорит, что он лежит

[DenisDrobyshev]

codecov.yml объясняет, почему оба статуса Codecov informational:

The real floor lives in pyproject.toml, where pytest --cov enforces it identically on a laptop and in CI.

Обе половины неправда. В pyproject.toml не было никакой конфигурации покрытия, а порог сидел флагом --cov-fail-under=90 в одной команде CI. То есть pytest --cov=glia на ноутбуке не гейтил ничего. Единственная фраза, объясняющая, почему удалённый гейт выключен, — и была той фразой, которая неверна.

Порог

Теперь [tool.coverage.report] fail_under = 90 — ровно там, где сказано. Флаг из CI убран, чтобы число жило в одном месте.

Проверено в обе стороны: при 99 та же команда выходит с 1 и Required test coverage of 99.0% not reached, при 90 — с 0. --cov намеренно не в addopts: второй тестовый job гоняет набор без покрытия специально, и включение отняло бы это.

Числа в README

Оба README говорили «167 offline tests, ~95% coverage». Счёт сегодня верен; покрытие — 94.39%, и главное, что это цифра, которая двигается почти на каждом коммите. Такое проза нести честно не может.

Правило самой организации: опубликованное число измеряется на том прогоне, который оно описывает. Поэтому README теперь называет порог — это гарантия, и она не двигается, — а измеренная цифра остаётся на бейдже, где пересчитывается каждый прогон.

Бейдж сейчас показывает unknown, и причина не в этом репозитории: secrets.CODECOV_TOKEN пуст, fail_ci_if_error правильно сделан условным от него, и загрузка отвергается тихо. То же самое у praxis, mlango и stadion — восемь бейджей на четыре репозитория. Вынесено отдельно, триаж теперь это ловит.

scripts/check_claims.py

Держит оба числа при наборе.

Счёт берётся из собственной коллекции pytest, а не из подсчёта def test_: одна параметризованная функция здесь — четыре собранных теста, так что подсчёт функций дал бы 164 и был бы уверенно неправ.

Порог читается из pyproject.toml регуляркой, привязанной к секции, а не через tomllib: он появился в 3.11, а проект обещает 3.10, и импорт уронил бы скрипт у того, кто пришёл на самом старом обещанном Python.

Пропавшее утверждение сообщается как неверное число. Переписать фразу — это и есть то, от чего такая проверка перестаёт проверять, молча.

Проверено

Семь способов разойтись на копии:

тест добавлен, проза не тронута	оба README: says 167 tests, pytest collects 168
счёт уехал в каждом README по отдельности	ловится по отдельности
порог поднят в pyproject	оба README: says a 90% floor, pyproject enforces 95%
гейт удалён вовсе	no [tool.coverage.report] fail_under, so pytest --cov gates at nothing
каждая фраза переписана	the sentence was rewritten, so the test count is now unchecked

Регулярка порога прогнана через шесть форм pyproject, включая fail_under в другой секции до и после нужной.

Локально: ruff check чисто, mypy — 28 файлов без замечаний, 167 тестов, покрытие 94.39% против порога 90%.

---

Первый прогон был красный — и это оказалось полезно

Проверка упала с

could not ask pytest how many tests there are

Причина: CI ставит FORCE_COLOR=1 на каждый шаг, и сводка pytest приходит как \x1b[32m\x1b[32m167 tests collected\x1b[0m…. Шаблон, привязанный к началу строки, до цифр не доходит. На ноутбуке, где цвет никто не форсит, всё сходилось. Лечится --color=no, плюс escape-последовательности теперь снимаются на всякий случай — следующее, что раскрасит вывод pytest, тоже не предупредит.

Вторая ошибка была в сообщении. Вернуть голый None и напечатать одну фразу, не называющую причину, — значит заставить искать одну escape-последовательность ещё одним кругом через CI. Теперь печатается код возврата pytest и последние шесть строк того, что он сказал.

И при написании этого нашлась ошибка хуже той, ради которой писалось. Тестовый файл, который не импортируется, заставляет pytest напечатать 167 tests collected, 1 error и выйти с 2 — а чтение счёта до кода возврата находило 167 и проходило, сообщая, что README точно описывают набор, который невозможно собрать. Код возврата теперь проверяется первым:

  pytest exited 2 and the count is not trustworthy:
      E   ModuleNotFoundError: No module named 'nonexistent_module_xyz'
      ERROR tests/test_zz_broken.py
      !!!!!!!!!!!!!! Interrupted: 1 error during collection !!!!!!!!!!!!!!

Прогнано: здоровое дерево с FORCE_COLOR и без, плюс NO_COLOR, TERM=dumb, FORCE_COLOR=3, PY_COLORS=1; неимпортируемый тест; отсутствующий pytest; и добавленный здоровый тест — он по-прежнему даёт 167 против 168 в обоих README.