Что Гёдель может рассказать о legacy-тестах?
Представьте проект с тремя тысячами тестов. Годы разработки, исправления багов, регрессии, новые требования. Тесты накапливались, но кто-нибудь помнит, что именно они защищают и почему ожидаемые результаты считаются правильными?
Кажется, решение очевидно: Mutation Testing, поиск дублирующих проверок, AI-агенты, которые помогут разобрать завалы. Но есть одна проблема.
Даже 100% Mutation Coverage не гарантирует, что мы тестируем правильное поведение.
Тесты могут безупречно защищать ошибочную бизнес-логику. А AI-агент может успешно генерировать проверки, которые подтверждают правильность того, что программа уже делает, а не того, что она должна делать.
Здесь неожиданно вспоминается Курт Гёдель и его идеи о формальных системах: чтобы оценить систему, иногда необходимо выйти за её пределы.
В разработке эту роль нельзя полностью делегировать ни коду, ни метрикам, ни AI. Нужны QA и бизнес — люди, способные подтвердить, что ожидаемый результат действительно соответствует реальности.
В новой статье на DZone я разбираю этот вопрос на примере legacy-проекта с тысячами тестов: почему Mutation Testing — не серебряная пуля, как разбирать накопившийся тестовый долг и какую роль в этом могут сыграть AI-агенты.
The full article (English):
https://dzone.com/articles/carry-bag-of-reality-into-the-new-year
Читать оригинал на DZone
Отрывок из ленты источникаЧитать у источника: Habr
