Нефункциональное тестирование (Non-Functional testing)

Нефункциональное тестирование проводится для проверки нефункциональных требований приложения, таких как производительность, безопасность, совместимость, надежность, удобство использования и т. д. В большинстве случаев это выполняется методом black box testing. Оно проверяет, соответствует ли поведение системы требованиям по всем аспектам, не охваченные функциональным тестированием. В нашем повседневном тестировании много внимания уделяется функциональному тестированию и функциональным требованиям и клиенты также заинтересованы в выполнении функциональных требований, которые напрямую связаны с функциональностью приложения, но когда ПО выходит на рынок и используется реальными конечными пользователями, у них есть шансы столкнуться с проблемами. Эти проблемы не связаны с функциональностью системы, но могут негативно повлиять на пользовательский опыт.

Нефункциональные требования могут быть отражены как:

• Пользовательские / Технические истории (User /Technical Stories): запись нефункциональных требований в виде пользовательской истории такая же, как и запись любых других требований. Единственная разница между пользователем и технической историей заключается в том, что пользовательская история требует обсуждения и имеет видимость (? visibility);

• В критериях приемки (Acceptance criteria): это точка, которая определяется для принятия продукта заказчиком. Нефункциональное требование должно быть включено в критерии приемки, но иногда невозможно проверить нефункциональные требования с каждой историей, то есть с каждой итерацией. Следовательно, требования следует добавлять или тестировать только с соответствующей итерацией;

• В артефактах (Artifact): для нефункциональных требований следует подготовить отдельный артефакт, это, в свою очередь, поможет лучше понять, что нужно тестировать и как это можно делать в итерациях;

Документ подхода к тестированию (Approach Document):

Разработайте конкретный подход к этапу тестирования, уточнив общую стратегию тестирования. Этот подход к тестированию помогает при планировании и выполнении всех задач тестирования:

• Объем испытаний (Test Scope);

• Метрики тестирования;

• Инструменты тестирования;

• Основные даты и результаты;

Виды нефункционального тестирования (список не полный):

• Тестирование производительности (Performance Testing)

• Нагрузочное тестирование (Load Testing)

• Стрессовое тестирование (Stress Testing)

• Объемное тестирование (Volume Testing)

• Тестирование восстановления (Recovery Testing)

• Тестирование отказоустойчивости (Failover Testing)

• Тестирование эффективности (Efficiency Testing)

• Тестирование аварийного восстановления (Disaster Recovery Testing)

• Тестирование установки (Installation Testing)

• Тестирование документации (Documentation Testing)

• Тестирование на удобство использования (Usability Testing)

• Тестирование графического интерфейса пользователя (User Interface Testing)

• Тестирование совместимости (Compatibility Testing)

• Тестирование обслуживаемости (Maintainability Testing)

• Тестирование безопасности (Security Testing)

• Тестирование масштабируемости (Scalability Testing)

• Тестирование выносливости (Endurance Testing)

• Тестирование надежности (Reliability Testing)

• Тестирование соответствия (Compliance Testing)

• Тестирование локализации (Localization Testing)

• Тестирование интернационализации (Internationalization Testing)

• Тестирование переносимости (Portability Testing)

• Тестирование на основе базового уровня (Baseline Testing)

Примеры чек-листов:

Тестирование производительности:

• Время отклика (The response time) приложения, то есть сколько времени требуется для загрузки приложения, за какое время любой ввод, предоставленный приложению, обеспечивает вывод, время обновления браузера и т. д.;

• Пропускную способность (Throughput) следует проверять по количеству транзакций, завершенных во время нагрузочного теста;

• Настройка среды (Environment) должна быть такой же, как и в реальной среде, иначе результаты не будут такими же;

• Время процесса (Process time) - такие действия, как импорт и экспорт Excel, любые вычисления в приложении должны быть протестированы;

• Совместимость (Interoperability) должна быть проверена, т.е. программное обеспечение должно иметь возможность взаимодействовать с другим программным обеспечением или системами;

• Необходимо проверить время ETL, то есть время, затраченное на извлечение, преобразование и загрузку данных из одной базы данных в другую;

• Необходимо проверить возрастающую нагрузку (Load) на приложение;

Тестирование безопасности:

• Аутентификация (Authentication): только достоверный пользователь может войти в систему;

• Авторизация (Authorized): пользователь должен иметь возможность входить в те модули, для которых он авторизован или к которым пользователю был предоставлен доступ;

• Пароль: Требование пароля должно быть подтверждено, т.е. пароль должен соответствовать тому, как это требование определяется, то есть длине, специальным символам, числам и т. д.;

• Тайм-аут: если приложение неактивно, оно должно истечь по таймауту в указанное время;

• Резервное копирование данных: резервное копирование данных должно быть выполнено в указанное время и данные должны быть скопированы в безопасное место;

• Внутренние ссылки на веб-приложение не должны быть доступны, если размещены непосредственно в браузере;

• Вся коммуникация должна быть зашифрована;

Тестирование документации:

• Пользовательская и системная документация;

• Документы для учебных целей;

Источник: A Complete Non-Functional Testing Guide For Beginners