Зелёные тесты не гарантируют, что ИИ-агент работает правильно

#новости

Зелёные тесты не гарантируют, что ИИ-агент работает правильно. Ложный успех почти всегда прячется в двух местах, и оба проверяются за пару минут.

Подробнее

ИИ-агент — это программа, которая сама выполняет цепочку шагов: ищет данные, заполняет формы, отправляет письма. Тесты у неё «проходят», а в реальной работе всё ломается. Самая частая причина — одна из двух.

⚡️ Смотрят на текст, а не на результат. Проверяют только финальный ответ агента. Он уверенно пишет «заявка создана» — тест зелёный. А в базе при этом пусто: агент красиво отчитался и ничего не сделал. Читать ответ мало — нужно смотреть, что реально изменилось в системе после его работы.

⚡️ Тестируют только удачный сценарий. Проверки идут по гладкому пути: всё доступно, всё отвечает с первого раза. А в жизни бывают сбои сервисов, таймауты (когда ответа нет слишком долго) и устаревшие данные. Отдельная ловушка — ответ с кодом 200, то есть «всё хорошо», хотя по смыслу внутри полная ерунда. Если такие случаи в тестах не встречались, агент развалится на первом же из них.

✅ Что делать:
🔹 Проверять переходы состояния, а не только конечную запись: прошёл ли шаг, на котором данные действительно меняются.
🔹 Добавлять тесты на разные режимы отказа: недоступный сервис, долгое ожидание, устаревшие данные, формально успешный, но пустой по смыслу ответ.

Вывод простой: зелёные тесты сами по себе ничего не доказывают. Прежде чем доверять агенту живые задачи, убедитесь, что он меняет мир вокруг, а не только красиво рассказывает об этом.

А как вы проверяете своих ИИ-агентов?
❤️ — Смотрю, что реально изменилось в системе
👍 — Верю ответу агента на слово
🤔 — Ещё не запускал

@ii_work_ru