Эталонное и базовое тестирование (Benchmark and Baseline Testing)

Эталонный тест (benchmark test):

(1) стандарт, согласно которому может производиться измерение или сравнение.

(2) тест, который может использоваться для сравнения компонентов или систем друг с другом

или на соответствие стандарту, указанному в (1). (IEEE 610)

Базовая версия (baseline): Спецификация или программный продукт, который был формально отрецензирован или согласован, впоследствии используется как базовая версия для дальнейшей разработки, и который может быть изменен только в процессе формального контроля процесса изменений. (IEEE 610)

Эталонное тестирование (Benchmark Testing) - это набор стандартов, метрик или контрольных точек (reference point), по которым оценивается (assessed or evaluated) качество работы продукта или услуги, через нагрузочное тестирование модуля или всей комплексной программной системы для определения ее производительности. Оно определяет повторяемый набор экспериментальных результатов, которые помогают определить функциональные возможности как для текущих, так и для будущих выпусков программного обеспечения.

Тестирование базовой версии (Baseline Testing) - это подход к тестированию, в котором за точку отсчета берется базовая линия - это показатель конкретного ориентира, который служит основой для нового тестирования. В Baseline Testing тесты прогоняют, сохраняют все результаты и сравнивают с базовым уровнем. Этот базовый уровень относится к последним принятым результатам испытаний. Если в исходном коде есть новые изменения, то для повторного выполнения тестов необходимо сформировать текущий базовый уровень. Если последние результаты будут приняты, то текущая базовая линия станет базовой.

Самым первым этапом жизненного цикла разработки программного обеспечения является сбор и анализ требований. Этот тест играет важную роль, так как в случае, если начальная фаза не протестирована должным образом, в дальнейшем могут возникнуть серьезные проблемы. Это также может повлиять на стоимость, сроки, бюджет и репутацию клиента. После того, как требование собрано бизнес-аналитиком, он обсуждает то же самое с менеджером проекта для тестирования требования и его осуществимости. В случае неясности прототип требования создается разработчиком и представляется клиенту. Если это соответствует ожиданиям клиента и одобрено, командам предоставляется документ с требованиями для начала дальнейшего процесса. На основе этого документа с требованиями создаются другие документы для разработки и тестирования программного обеспечения, такие как план проекта, проектный документ, план тестирования, тестовые примеры и т. д. Поэтому очень важно правильно выполнить базовый тест. Если документ с требованиями не подтвержден должным образом, дальнейшие документы и процессы не пройдут. После завершения тестирования начинается процесс разработки и тестирования.

Разница между Baseline и Benchmark testing:

Benchmark testing	Baseline Testing
Метрики уже созданы для оценки производительности приложения. Оно сравнивает характеристики продукта с отраслевыми стандартами;	Метрики создаются после завершения тестирования производительности. Набор тест-кейсов запускается для сбора информации о производительности;
Проводится с точки зрения бизнеса. SLA создаются на основе того же;	Выполняется на самом начальном этапе, с которого начинаются разработка, внедрение, тестирование и сравнение;
Можно пользоваться для всех продуктов / программного обеспечения в организации;	Проводится для конкретных продуктов / программного обеспечения;
Это состояние, в котором вы хотите достичь или превзойти то, чего вы уже достигли;	Выполняется на самом начальном этапе, с которого начинаются разработка, внедрение, тестирование и сравнение;
Предназначено для измерения производительности приложения вместе с другим приложением, имеющим аналогичные функции;	Определяет производительность приложения для сравнения в будущем;

Пороговый тест (Threshold Test) - это тест, вставленный в Deployment Pipeline, который отслеживает некоторое измеримое явление, сравнивая значение в текущей сборке с пороговым значением. Если значение текущей сборки превышает пороговое значение, тест завершается неудачно, и сборка не выполняется. Типичный пример использования пороговых тестов - производительность. Команда берет репрезентативный набор операций и засекает их. Затем они устанавливают пороговый тест и если эти операции занимают значительное количество времени, превышающее текущее значение, тест завершается неудачей.

Источники:

• What Is Benchmark Testing In Performance Testing

• What Is Baseline Testing And Its Benefits For Software Quality

• Threshold Test