План изучения AI в автотестировании

0. Введение

Этот план рассчитан на 4 недели и поможет системно разобраться в теме AI/ML для QA-инженера.

💡 Совет: Веди параллельно таблицу AI_QA_Preparation.xlsx с тремя листами: «Глоссарий», «Практика» и «Мок-собеседование». Заполняй её по ходу прохождения каждой недели.

1. Неделя 1: Фундамент и парадигма AI в QA

Цель: Понять разницу между классическим детерминированным тестированием и вероятностным тестированием AI.

Ключевые темы

• Детерминизм vs Вероятность — почему A + B в AI не всегда равно C.
• Базовые понятия: ML, NLP, LLM, обучающая и тестовая выборки.
• Как AI улучшает традиционную автоматизацию:
  • self-healing (самовосстановление) локаторов;
  • генерация тест-кейсов;
  • прогнозирование дефектов.

Типичные вопросы

• Чем автоматизация на основе ИИ отличается от традиционной?
• Что такое прогнозирование дефектов с помощью ИИ?

🛠 Практическое задание

Напиши небольшой скрипт на Python, который отправляет один и тот же промпт в LLM (например, через API OpenAI или бесплатный аналог) 5–10 раз и сохраняет ответы в лист «Глоссарий» твоей таблицы AI_QA_Preparation.xlsx, чтобы наглядно увидеть вариативность (недетерминированность) ответов.

✅ Чекпоинт недели (Пятница)

• Ты можешь вслух за 2 минуты чётко объяснить разницу между тестированием обычного калькулятора и AI-чат-бота.
• Лист «Глоссарий» заполнен на 80%.

2. Неделя 2: AI как инструмент в руках Automation Engineer

Цель: Научиться применять AI для ускорения своей работы и понимать соответствующие инструменты.

Ключевые темы

• Генерация автотестов и тестовых данных с помощью LLM (GitHub Copilot, ChatGPT).
• Инструменты AI-powered QA:
  • Applitools для визуального тестирования;
  • Testim для self-healing локаторов.
• Роль NLP в создании тестов на естественном языке.

Типичные вопросы

• Как вы использовали AI для оптимизации процесса автоматизации?
• Может ли ИИ полностью заменить ручное тестирование?

Правильный вектор: нет, он убирает рутину, но человеческая интуиция и креативность незаменимы.

🛠 Практическое задание

Возьми свой старый или учебный автотест. Попробуй рефакторить его или написать к нему 5 новых тест-кейсов, используя только подсказки AI. Документируй, что AI сделал хорошо, а где ошибся, в листе «Практика» твоей таблицы.

✅ Чекпоинт недели (Пятница)

• Готовый рефакторенный код.
• Заполненная таблица с анализом «Плюсы / Минусы использования AI в этой задаче».

3. Неделя 3: Тестирование AI/ML систем (QA for AI)

Цель: Разобраться, как проверять качество самих AI-продуктов (моделей).

Ключевые темы

• Метрики оценки: точность (accuracy), полнота (recall), F1-score.
• Проблемы «чёрного ящика»: галлюцинации LLM и предвзятость (bias).
• Стратегии тестирования:
  • N-кратный прогон тестов для сбора статистики;
  • стресс-тестирование промптов (добавление деталей, перефразирование).
• Концепция LLM-as-a-Judge — использование одной модели для оценки ответов другой.

Типичные вопросы

• Как тестировать модель машинного обучения? (Ответ: проверять точность на новых данных, валидировать выборку, следить за метриками.)
• Как вы проверяете модель на отсутствие предвзятости?

🛠 Практическое задание

Проведи «стресс-тест» промптов. Задай AI-ассистенту 10 вариаций одного вопроса (от простого к максимально запутанному). Оцени консистентность ответов и занеси метрики в таблицу.

✅ Чекпоинт недели (Пятница)

• Готовый отчёт с метриками консистентности.
• 3–4 чётких вывода о том, как именно «ломается» или отклоняется ответ модели.

4. Неделя 4: Систематизация, этика и мок-собеседования

Цель: Упаковать знания в уверенные ответы и отработать их на практике.

Ключевые темы

• Этические аспекты: защита конфиденциальных данных, прозрачность решений.
• Поведенческие вопросы по методике STAR (Situation, Task, Action, Result).

Типичные вопросы

• С какими сложностями внедрения ИИ в тестировании вы сталкивались? (Например: необходимость больших данных, непрозрачность решений.)
• Как вы расставляете приоритеты при тестировании AI-фич?

🛠 Практическое задание

Заполни лист «Мок-собеседование» в своей таблице для топ-10 вопросов. Запиши себя на видео или проведи 2 пробных собеседования с ментором или другом.

✅ Чекпоинт недели (Пятница)

• Полностью заполненная матрица ответов.
• Ты чувствуешь уверенность в том, что можешь связно рассказать о своём проекте по стресс-тестированию промптов как о реальном практическом опыте.

Mini-чеклист, что план освоен

Ты готова двигаться дальше, если можешь без подсказки объяснить:

• чем детерминированное тестирование отличается от вероятностного;
• что такое self-healing локаторы и как они работают;
• чем accuracy отличается от recall и F1-score;
• что такое галлюцинации LLM и как с ними бороться;
• как работает концепция LLM-as-a-Judge.