> For the complete documentation index, see [llms.txt](https://vladislaveremeev.gitbook.io/qa_bible/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://vladislaveremeev.gitbook.io/qa_bible/ai-v-testirovanii/ai-testirovanie-v-platformakh-vendorov.md).

# AI-тестирование в платформах крупных вендоров (2024–2025)

В 2024–2025 годах крупнейшие технологические компании встроили собственные AI-инструменты для тестирования непосредственно в свои IDE, облачные платформы и системы управления тестами. Эта страница описывает, что именно эти инструменты делают на практике, каковы их реальные ограничения и каков общий консенсус индустрии.

***

## Microsoft

### GitHub Copilot — генерация тестов

**Что делает:**

* Генерирует unit-тесты, интеграционные тесты и E2E-тесты по команде `/tests` в VS Code или через контекстное меню "Generate Tests".
* При наличии существующего test suite использует его как контекст и дополняет новыми тест-кейсами, избегая дублирования.
* Поддерживает кастомные инструкции через `github.copilot.chat.experimental.codeGeneration.instructions` — можно задать соглашения об именовании, используемые фреймворки, стиль.
* Команда `@workspace /tests` расширяет контекст до уровня всего проекта.

**Реальные цифры (AST 2024, эмпирическое исследование):**

* При наличии готового test suite: \~45% сгенерированных тестов работают корректно, \~55% — падают, сломаны или пусты.
* Без существующего test suite: 92,45% тестов — неработающие, сломанные или пустые.

**Ключевые ограничения:**

* Не справляется с задачами, охватывающими несколько файлов одновременно при сложной логике.
* Галлюцинации: генерирует несуществующие API-методы, неверные параметры, упускает edge cases.
* Требует обязательной ревью со стороны человека перед использованием сгенерированного теста.

### Azure DevOps — AI-возможности для тестирования

* Интеграция с GitHub Copilot Chat через Azure DevOps MCP Server (GA — октябрь 2025): Copilot может напрямую работать с work items, pull requests, test plans, builds.
* Генерация E2E-тестов Playwright через MCP + Copilot в автоматизированном режиме.
* Прогностические возможности: AI-анализ пайплайна способен выявлять потенциальные сбои до деплоя (заявлено снижение error rate на 30%).
* Ведется работа по расширению поддержки языков и фреймворков в Test Plans.

### VS Code — расширения с AI для тестирования

* Встроенный Copilot генерирует тесты по выделенному методу или файлу.
* Поддерживается подключение сторонних моделей через API-ключи (OpenAI, Anthropic и другие — с Xcode 26 и аналогичных платформ).
* Расширение "Test with GitHub Copilot" — отдельный раздел в документации VS Code с практическими гайдами.

***

## Google

### Gemini в Android Studio

**Что делает:**

* **Journeys (Studio Labs, Android Studio Otter 3 / 2025.2.3+):** описание пользовательских сценариев на естественном языке → Gemini выполняет UI-тесты в эмуляторе, не требуя написания кода. Это agentic-режим: Gemini сам навигирует по приложению.
* **Unit test generation:** AI-ассистент генерирует unit-тесты для выделенных методов и классов.
* **Version Upgrade Agent:** автоматизирует обновление зависимостей.
* С 2025 года доступен Gemini 2.5 Pro внутри IDE.

### Firebase App Testing Agent

* Тест-агент на базе Gemini в Firebase App Distribution: задаёте цели на естественном языке, агент самостоятельно навигирует по приложению, симулирует взаимодействия пользователя, создаёт и выполняет тест-кейсы, возвращает детальные результаты.
* Crash Insights: анализирует исходный код из стектрейса, объясняет причину краша и в ряде случаев предлагает фикс с возможностью коммита напрямую в SCM.

### Firebase Studio

* Cloud-based agentic среда разработки с Gemini, ориентированная на полный цикл от написания кода до тестирования. Представлена в 2025 году.

***

## JetBrains

### AI Assistant в IntelliJ IDEA / PyCharm

**Что делает:**

* Генерация unit-тестов через контекстное меню: AI Actions → Generate Unit Tests. Поддержка Java, Kotlin, Python, Go, PHP, JavaScript/TypeScript, Ruby и других.
* IDE-aware chat: понимает структуру проекта, методы, зависимости.
* Inline completions, предложения commit messages, генерация документации.
* Multi-file aware workflows (с версии 2025).
* Выбор провайдера модели: OpenAI, Anthropic, Google — можно переключаться.

**Ограничение:** генерация тестов работает только на уровне методов, не классов или модулей целиком.

**Ценообразование:** AI Assistant входит в подписку All Products Pack или приобретается отдельно (\~$10/мес).

***

## Atlassian

### Rovo — AI-агент для тест-менеджмента

* **Rovo Agent — Test Case Architect** (в связке с Appsvio Test Management / Xray): анализирует текст требования в Jira, предлагает комплексные тест-кейсы.
* Rovo интегрируется с Confluence и Jira, умеет искать по всей базе знаний организации и предлагать тест-кейсы на основе исторических данных.
* **Rovo Dev** — отдельный продукт для разработчиков: code review, рефакторинг, генерация тестов непосредственно из задач Jira.

**Доступность:** Premium и Enterprise клиенты получают Rovo начиная с апреля 2025 года, Standard — позже в 2025 году.

**Интеграция с Xray:** Atlassian позиционирует связку Rovo + Xray как «будущее AI-powered test management» — тест-кейсы генерируются из user stories и синхронизируются с результатами выполнения.

***

## Salesforce

### Agentforce for Developers (ранее Einstein for Developers)

* Доступен как расширение VS Code, построен на базе SFR Model (собственная LLM Salesforce).
* **Генерация Apex-тестов:** правый клик на методе → "Einstein: Generate a Test". AI автоматически следует соглашениям об именовании организации, создаёт реалистичные тестовые данные с учётом object relationships, не дублирует существующие тесты.
* Dev Assistant: чат-помощник для написания кода, объяснения существующего кода, генерации тест-кейсов, документации.
* Inline code suggestions для Apex и LWC.

**Специфика:** инструмент ориентирован именно на Salesforce-стек (Apex, LWC), а не на универсальное тестирование. GA объявлен в сентябре 2024 года.

***

## AWS

### Amazon Q Developer (бывший CodeWhisperer, переименован апрель 2024)

**Что делает:**

* Inline suggestions с генерацией тестов для Python, Java, TypeScript, C, Rust и других языков.
* Генерация unit-тестов по команде в чате или через контекстное меню IDE.
* Multi-step tasks: реализация фичи + написание тестов + рефакторинг — в одном агентном workflow.
* Встроенный security scanner: SQL injection, hardcoded secrets, bad patterns — в реальном времени.
* Open source reference tracking: указывает источник заимствованного кода.

**DevOps Guru:**

* Полностью управляемый AIOps-сервис для мониторинга: обнаруживает аномалии в поведении приложения и генерирует insights.
* Не генерирует тесты, но анализирует операционные данные и метрики AWS-ресурсов для выявления проблем до того, как они влияют на пользователей.
* Доступен в Microsoft Teams и Slack для incident response.

***

## Apple

### Xcode — AI для тестирования

* В 2024 году Apple завершила разработку AI-возможностей для Xcode, сфокусированных на генерации кода и тестов.
* **Xcode 26 (2025):** встроенная поддержка ChatGPT (без необходимости создавать аккаунт). Поддержка Anthropic Claude через API-ключ. Поддержка локальных моделей на Apple Silicon.
* Возможности: генерация кода и тестов, документирование, объяснение кода, отладка — всё через Code Intelligence.
* Enhanced UI Testing: запись и воспроизведение UI-тестов со скриншотами, видео и детальными логами.

**Ограничение:** Apple не создала собственную LLM для разработчиков — вместо этого открыла Xcode для сторонних моделей через API-ключи.

***

## BrowserStack

### Percy — AI Visual Testing

**Что делает:**

* **Visual Review Agent (запущен 2025):** AI выделяет только значимые визуальные изменения bounding boxes, убирает pixel-шум, генерирует human-readable summary по каждому изменению. Заявленное снижение времени ревью в 3x, фильтрация 40% ложных срабатываний.
* **Visual AI Engine:** базовый алгоритм Percy. OCR-анализ (не флажит мелкие изменения шрифтов), shift detection (изолирует новые элементы), edge detection в relaxed mode.
* **Visual Test Integration Agent:** автоматическая настройка Percy в существующем проекте — определяет тестовый фреймворк, устанавливает SDK, добавляет snapshot'ы. Заявлено 6x ускорение настройки.
* **App Percy:** расширение визуального тестирования на мобильные нативные приложения (iOS и Android).
* Intelli-ignore: управление чувствительностью к динамическим элементам (карусели, баннеры, реклама).

***

## Tricentis

### Tosca — Agentic Test Automation

* **Agentic Test Automation (2025):** генерация комплексных тест-кейсов из natural language prompts. Заявлено снижение ручных усилий при создании тестов на 85%.
* Tosca MCP Server: позволяет использовать собственные AI-модели организации или встроенный AI Tricentis.
* **Tosca 2024.2:** автоматическое обновление (минуты вместо часов/дней), bulk migration тест-кейсов из on-premises в cloud, WCAG 2.2 compliance.
* **Spring 2025:** Business Flow Designer, Zero-footprint Elastic Execution Agents, integrated test data management.
* Cloud-based test data capabilities (апрель 2025).

### Testim (приобретен 2022, развивается)

* AI-powered self-healing locators: автоматически адаптирует тесты при изменении UI.
* Testim Salesforce (август 2024): low-code AI автоматизация тестирования Salesforce с prebuilt steps.
* **Приобретение SeaLights (июль 2024):** платформа quality intelligence — анализирует покрытие кода, выявляет риски, приоритизирует тесты на основе изменений.

***

## Katalon

### AI-Augmented Test Automation Platform

**Что делает:**

* **StudioAssist:** OpenAI GPT-based ассистент внутри Katalon Studio — генерация тест-кейсов по описанию на естественном языке, объяснение существующего кода, автодополнение.
* **TrueTest (2025):** анализирует реальное поведение пользователей в production, автоматически генерирует и поддерживает regression-тесты на основе популярных user journeys.
* **Self-Healing:** AI обнаруживает сломанные локаторы и автоматически их чинит при изменении UI.
* **Smart Wait:** AI определяет, когда элемент готов к взаимодействию — без явных задержек в коде.
* **AI Visual Testing:** AI-сравнение скриншотов с выделением значимых UI-изменений.
* **Time Capsule:** восстановление сломанных тестов с использованием снапшота DOM на момент падения.

**Признание:** Gartner Magic Quadrant for AI-Augmented Software Testing Tools 2025 — позиция "Visionary".

***

## TestRail

### AI Test Case Generation (powered by Sembi IQ)

* **AI Test Case Generation (запущен 2025):** трёхшаговый workflow — ввод требований → AI предлагает тест-кейсы → тестировщик редактирует и финализирует. Акцент на human oversight, а не автономной генерации.
* **AI BDD Scenario Generation:** трансформация требований в BDD-сценарии с поддержкой мультиязычного ввода/вывода.
* Enhanced Jira integration: сокращение времени настройки на 75%.
* Быстрая отчётность: 60% ускорение генерации отчётов, cross-project reporting.

**Дорожная карта:** automated script generation (Playwright, Cypress), intelligent test prioritization на основе изменений кода, predictive insights — анонсированы, но не выпущены.

***

## Общий консенсус индустрии: реально ли работают эти инструменты?

### Данные об эффективности

| Показатель                                                               | Данные                            |
| ------------------------------------------------------------------------ | --------------------------------- |
| Доля работающих AI-тестов без контекста (GitHub Copilot)                 | \~7%                              |
| Доля работающих AI-тестов при наличии test suite                         | \~45%                             |
| Организации в pilot/PoC фазе (не production)                             | 65–70%                            |
| Позитивный sentiment к AI-инструментам в 2025                            | 60% (снижение с 70%+ в 2023–2024) |
| Разработчики, доверяющие точности AI                                     | 33%                               |
| Разработчики, не доверяющие точности AI                                  | 46%                               |
| QA-лидеры, называющие flaky tests / maintenance burden главной проблемой | 50%                               |

*Источники: Stack Overflow Developer Survey 2025, AST 2024, Rainforest QA State of Test Automation 2025*

### Что AI делает хорошо

1. **Генерация бойлерплейта:** стандартные позитивные тест-кейсы для простых функций с явными входами/выходами — AI генерирует быстро и качественно.
2. **Self-healing locators:** одна из наиболее зрелых AI-функций — Testim, Katalon, Healenium показывают реальные результаты по снижению обслуживания тестов.
3. **Visual regression с фильтрацией шума:** Percy, Katalon — AI существенно снижает количество ложных срабатываний (заявлено до 40%).
4. **Генерация тест-кейсов из требований:** Rovo, TestRail, Tricentis — ускоряет черновую работу, но требует валидации специалиста.
5. **Анализ краш-логов:** Firebase Crash Insights, Amazon Q — объяснение причин ошибок по стектрейсу.

### Где AI пока ограничен

1. **Сложная бизнес-логика и edge cases:** AI системно упускает граничные условия, которые не очевидны из сигнатуры метода.
2. **Многофайловый контекст:** большинство инструментов плохо справляются, когда тест требует понимания нескольких модулей одновременно.
3. **Галлюцинации в тестах:** несуществующие методы, неверные assertions, тесты, которые всегда проходят (false green).
4. **Maintenance:** AI-генерированные тесты нередко более хрупкие, чем написанные вручную.
5. **Доменная специфика:** без дообучения на кодовой базе команды AI не знает бизнес-правил и не может их тестировать.

### Прогноз

По данным Gartner (2024 Market Guide), 80% предприятий интегрируют AI-augmented testing tools к 2027 году (против 15% в начале 2023-го). При этом аналитики фиксируют разрыв между маркетинговыми заявлениями и production-готовностью инструментов: большинство организаций используют AI для ускорения черновой работы тестировщика, а не для его замены.

Наиболее зрелые и практически полезные направления на 2025 год:

* Self-healing locators в E2E-тестах
* Visual regression с AI-фильтрацией
* Генерация тест-кейсов из user stories как отправная точка (не финальный результат)
* Анализ причин падений и crash analysis

***

## Источники

* [GitHub Copilot — документация по написанию тестов](https://docs.github.com/en/copilot/tutorials/write-tests)
* [AST 2024: Using GitHub Copilot for Test Generation in Python (ACM)](https://dl.acm.org/doi/10.1145/3644032.3644443)
* [GitHub Changelog: улучшенная генерация тестов в VS Code (сентябрь 2024)](https://github.blog/changelog/2024-09-09-larger-context-window-improved-test-generation-and-more-in-vs-codes-copilot-chat/)
* [Journeys for Android Studio](https://developer.android.com/studio/gemini/journeys)
* [Firebase App Testing Agent](https://firebase.google.com/docs/app-distribution/android/app-testing-agent)
* [Android Developers Blog: What's new in Gemini in Android Studio (октябрь 2024)](https://android-developers.googleblog.com/2024/10/whats-new-in-gemini-in-android.html)
* [JetBrains AI Assistant — Generate Tests](https://www.jetbrains.com/help/ai-assistant/generate-tests-with-ai.html)
* [Atlassian Rovo в QA: дизайн тест-кейсов в Jira](https://community.atlassian.com/forums/App-Central-articles/Atlassian-Rovo-in-QA-Instantly-Designing-Test-Cases-in-Jira-with/ba-p/3144170)
* [Atlassian Rovo + Xray: будущее AI-powered test management](https://www.getxray.app/blog/atlassian-rovo-and-xray-the-future-of-ai-powered-test-management)
* [Salesforce: Inline Code Suggestions, Test Generation with Einstein for Developers (июль 2024)](https://developer.salesforce.com/blogs/2024/07/inline-code-suggestions-test-generation-and-more-with-einstein-for-developers)
* [Introducing Agentforce for Developers (GA, сентябрь 2024)](https://developer.salesforce.com/blogs/2024/09/introducing-agentforce-for-developers)
* [Amazon Q Developer — Features](https://aws.amazon.com/q/developer/features/)
* [Amazon DevOps Guru](https://aws.amazon.com/devops-guru/)
* [Azure DevOps MCP Server — GA (InfoQ, ноябрь 2025)](https://www.infoq.com/news/2025/11/microsoft-ado-mcp-server/)
* [Apple: AI features in Xcode (9to5Mac, февраль 2024)](https://9to5mac.com/2024/02/15/apple-ai-xcode-features/)
* [Apple: Writing Code with Intelligence in Xcode](https://developer.apple.com/documentation/Xcode/writing-code-with-intelligence-in-xcode)
* [BrowserStack: Visual Review Agent](https://itdigest.com/quick-byte/browserstack-unveils-visual-review-agent-to-enhance-ai-driven-visual-testing/)
* [BrowserStack Percy AI Agents](https://www.browserstack.com/percy/ai-agents)
* [Tricentis: Agentic Test Automation для Tosca](https://www.tricentis.com/blog/agentic-test-automation-tosca)
* [Tricentis приобрел SeaLights (Business Wire, июль 2024)](https://www.businesswire.com/news/home/20250403379304/en/Tricentis-Launches-Cloud-Based-Test-Data-Capabilities-for-Toscas-AI-Powered-Platform)
* [Katalon: AI-Augmented Test Automation Platform](https://katalon.com/ai-powered-testing-platform)
* [TestRail: AI Test Case Generation (Business Wire)](https://www.businesswire.com/news/home/20250911870533/en/TestRail-Launches-AI-Test-Case-Generation-Powered-by-Sembi-IQ-for-QA-Teams)
* [Stack Overflow Developer Survey 2025 — AI](https://survey.stackoverflow.co/2025/ai)
* [Rainforest QA: AI in Software Testing Report 2025](https://www.rainforestqa.com/blog/ai-in-software-testing-report-2025)