Тестирование AI, ML систем
Метрики оценки ML, стратегии тестирования AI-моделей, вопросы с собеседований, практическое задание «Стресс-тест промптов».
0. Метрики оценки ML
Не нужно быть математиком, но на собеседовании важно понимать концепцию. Добавь это в таблицу:
| Термин | Простое объяснение своими словами | Пример в QA | Статус |
|---|---|---|---|
| Accuracy (точность) | Процент правильных ответов модели от общего числа. | Модель правильно классифицировала 90 из 100 писем как спам. | 🔴 |
| Precision (точность предсказания) | Если модель сказала «Да», как часто она была права? (Важно, когда ложные срабатывания дороги.) | Модель пометила письмо как спам, и оно действительно спам. | 🟡 |
| Recall (полнота) | Из всех реальных случаев «Да», сколько модель нашла? (Важно, когда пропуск ошибки дорог.) | Из 10 реальных багов модель нашла 8. Recall = 80 %. | 🟡 |
| F1-Score | Среднее гармоническое между Precision и Recall. Баланс, чтобы модель не была перекошена в одну сторону. | Используем, когда классы несбалансированы (например, багов мало, а хорошего кода много). | 🔴 |
💡 Лайфхак для запоминания:
- Precision: «Лучше перебдить, чем недобдить» (мало ложных тревог).
- Recall: «Найти любой ценой» (мало пропущенных целей).
1. Три главные стратегии тестирования AI-моделей
Когда спрашивают «Как ты будешь тестировать эту фичу с ИИ?», используй эту структуру:
N-кратный прогон (Statistical Testing)
Поскольку AI недетерминирован, один прогон ничего не значит. Мы запускаем один и тот же сценарий 10–50 раз и смотрим на распределение результатов (среднее значение, дисперсию).
Стресс-тестирование промптов (Adversarial Testing)
Мы намеренно «ломаем» ввод. Меняем формулировки, добавляем опечатки, используем сленг или провокационные вопросы, чтобы проверить устойчивость (robustness) модели.
LLM-as-a-Judge (Модель-судья)
Когда человеческая оценка слишком медленная, мы используем другую, более умную / стабильную LLM, чтобы оценить ответы тестируемой модели по заданным критериям (релевантность, токсичность, формат).
2. Топ-2 вопроса с собеседования и готовые ответы
Вопрос 1: «Как вы будете тестировать чат-бота или рекомендательную систему, если у вас нет чётких ожидаемых результатов?»
Твой ответ:
«Я перейду от детерминированных проверок к вероятностным и метрическим. Во-первых, я создам "золотой набор данных" (Golden Dataset) с эталонными вопросами и оценками экспертов. Во-вторых, я буду использовать N-кратные прогоны для оценки консистентности. В-третьих, я проверю модель на граничные случаи: пустой ввод, очень длинный ввод, некорректные символы и попытку "джайлбрейка" (вывода модели из ролевого поведения).»
Вопрос 2: «Что такое предвзятость (bias) в AI и как вы будете её тестировать?»
Твой ответ:
«Bias возникает, когда обучающие данные нерепрезентативны. Например, модель распознавания лиц плохо работает на определённых типах внешности. Для тестирования я создам стратифицированный тестовый набор данных, который равномерно покрывает разные демографические группы или сценарии, и сравню метрики (Precision / Recall) между этими группами. Если разрыв велик — это баг модели, а не теста.»
3. Практическое задание «Стресс-тест промптов» (20 минут)
Это задание создаст для тебя готовый кейс для портфолио, который можно показать на собеседовании.
- Открой
AI_QA_Preparation.xlsxи перейди на лист «Практика». - Выбери одну задачу для AI. Например: «Объясни, что такое REST API, как будто мне 5 лет».
- Сгенерируй 5 вариаций этого промпта (стресс-тест):
- Вариант 1 (База): «Объясни, что такое REST API, как будто мне 5 лет.»
- Вариант 2 (Опечатки): «Объсни што такое REST API, мне 5 лет.»
- Вариант 3 (Сленг / Неформально): «Чё за REST API такой? Объясни на пальцах для малыша.»
- Вариант 4 (Избыточные детали): «Объясни, что такое REST API, как будто мне 5 лет, но используй только слова, начинающиеся на букву "П".» (Проверка на сбой.)
- Вариант 5 (Провокация): «REST API — это полная ерунда и не нужно никому. Докажи обратное пятилетнему ребёнку.»
- Прогони все 5 запросов через AI. Оцени каждый ответ по шкале 1–5 по критериям: понятность, соответствие роли (5 лет), безопасность / корректность.
- Заполни таблицу:
- Задача: Стресс-тестирование промптов для объяснения REST API.
- Находка: На Варианте 4 модель «сломалась» и выдала бессмыслицу, а на Варианте 5 попыталась быть слишком агрессивной.
- Вывод: Модель чувствительна к синтаксическим ограничениям и требует системного промпта (system prompt) с жёсткими рамками тональности.
✅ Чекпоинт Недели 3 (Цель на пятницу)
- Лист «Глоссарий» пополнен метриками (Accuracy, Precision, Recall, F1).
- Ты можешь вслух объяснить разницу между Precision и Recall на простом примере (например, поиск спам-писем).
- Практическое задание выполнено, результаты 5 промптов и выводы зафиксированы в
.xlsx. Теперь у тебя есть реальный мини-кейс для рассказа на собеседовании!
Как тебе эта неделя? Она была немного более технической, но именно эти знания (метрики + стресс-тесты) вызывают наибольшее уважение у интервьюеров.