ISTQB_CTFL_Syllabus_2018-RU_3 — копия. Программа обучения Базового уровня Версия 2018 International Software Testing Qualifications Board
 Скачать 1.3 Mb.
|
|
1. Тестирование демонстрирует наличие дефектов, а не их отсутствие Тестирование может показать, что дефекты присутствуют, но не может доказать, что их нет. Тестирование снижает вероятность наличия дефектов, находящихся в программном обеспечении, но, даже если дефекты не были обнаружены, тестирование не доказывает его корректности. 2. Исчерпывающее тестирование недостижимо Полное тестирование с использованием всех комбинаций вводов и предусловий физически невыполнимо, за исключением тривиальных случаев. Вместо попытки исчерпывающего тестирования должны использоваться анализ рисков, методы тестирования и расстановка приоритетов, чтобы сосредоточить усилия по тестированию. Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 17 of 94 24 февраля 2019 © International Software Testing Qualifications Board 3. Раннее тестирование сохраняет время и деньги Для нахождения дефектов на ранних стадиях, как статические, так и динамические активности по тестированию должны быть начаты как можно раньше в жизненном цикле разработки программного обеспечения. Раннее тестирование иногда называют «сдвигом влево». Тестирование на ранних этапах жизненного цикла разработки программного обеспечения помогает сократить или исключить дорогостоящие изменения (см. раздел 3.1). 4. Кластеризация дефектов Обычно небольшое количество модулей содержит большинство дефектов, обнаруженных во время тестирования перед выпуском, или отвечает за большинство эксплуатационных отказов. Предсказанные кластеры дефектов и фактические наблюдаемые кластеры дефектов в ходе тестирования или эксплуатации являются важными входными данными для анализа риска, используемого для сосредоточения усилий по тестированию (как указано в принципе 2). 5. Парадокс пестицида Если одни и те же тесты будут выполняться снова и снова, в конечном счете эти тесты больше не будут находить новых дефектов. Для обнаружения новых дефектов может потребоваться изменение существующих тестов и тестовых данных, а также написание новых тестов. (Тесты больше не эффективны при обнаружении дефектов, так же как пестициды через некоторое время больше не эффективны при борьбе с вредителями). В некоторых случаях, таких как автоматизированное регрессионное тестирование, парадокс пестицидов имеет положительный результат, который является относительно низким числом регрессионных дефектов. 6. Тестирование зависит от контекста Тестирование выполняется по-разному в зависимости от контекста. Например, программное обеспечение управления производством, в котором критически важна безопасность, тестируется иначе, чем мобильное приложение электронной коммерции (см. раздел 2.1). 7. Заблуждение об отсутствии ошибок Некоторые организации ожидают, что тестировщики смогут выполнить все возможные тесты и найти все возможные дефекты, но принципы 2 и 1, соответственно, говорят нам, что это невозможно. Кроме того, ошибочно ожидать, что простое нахождение и исправление большого числа дефектов обеспечит успех системе. Например, тщательное тестирование всех указанных требований и исправление всех обнаруженных дефектов может привести к созданию системы, которая будет трудной в использовании, не будет соответствовать потребностям и ожиданиям пользователей или будет хуже по сравнению с другими конкурирующими системами. 1.4 Процесс тестирования Нет универсального процесса тестирования программного обеспечения, но есть общие наборы тестовых активностей, без которых тестирование вряд ли достигнет поставленных целей. Эти наборы тестовых активностей и есть процесс тестирования. Правильный соответствующий процесс тестирования программного обеспечения в любой конкретной ситуации зависит от многих факторов. Какие тестовые активности участвуют в этом процессе и когда они происходят, можно обсудить в корпоративной стратегии тестирования. 1.4.1 Процесс тестирования в контексте Контекстные факторы, которые влияют на корпоративный процесс тестирования, включают, в частности: Используемые модель жизненного цикла разработки программного обеспечения и проектные методологии Рассматриваемые уровни и типы тестирования Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 18 of 94 24 февраля 2019 © International Software Testing Qualifications Board Продуктовые и проектные риски Предметную область Ограничения, включая, в частности: o Бюджеты и ресурсы o Сроки o Сложность o Договорные и нормативные требования Организационные политики и практики Необходимые внутренние и внешние стандарты В следующих разделах описываются общие аспекты организации процессов тестирования с точки зрения: Активностей и задач тестирования Рабочих продуктов тестирования Трассируемости между базисом тестирования и рабочими продуктами тестирования Очень полезно, если базис тестирования (для любого рассматриваемого уровня и типа тестирования) имеет конкретные измеримые критерии покрытия. Критерии покрытия могут эффективно использоваться в качестве ключевых показателей эффективности (КПЭ) для управления мероприятиями, демонстрирующими достижение целей тестирования программного обеспечения (см. раздел 1.1). Например, для мобильного приложения базис тестирования может состоять из списка требований и списка поддерживаемых мобильных устройств. Каждое требование является элементом базиса тестирования. Каждое поддерживаемое устройство также является элементом базиса тестирования. Для критериев покрытия может потребоваться по крайней мере один тестовый сценарий для каждого элемента базиса тестирования. После выполнения этих тестов заинтересованные лица узнают, выполнены ли указанные требования и наблюдались ли отказы на поддерживаемых устройствах. Стандарт ИСО (ISO/IEC/IEEE 29119-2) содержит дополнительную информацию о процессах тестирования. 1.4.2 Активности и задачи в тестировании Процесс тестирования состоит из следующих основных групп активностей: Планирование тестирования Мониторинг и контроль тестирования Анализ тестирования Проектирование тестов Реализация тестов Выполнение тестов Завершение тестирования Каждая группа активностей состоит из отдельных активностей, описание которых приводится в подразделах ниже. Каждая активность в рамках каждой группы активностей в свою очередь Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 19 of 94 24 февраля 2019 © International Software Testing Qualifications Board может состоять из нескольких отдельных задач, которые будут варьироваться от одного проекта или релиза к другому. Более того, хотя многие из этих групп активностей могут выглядеть логически последовательными, они часто реализуются итеративно. Например, в гибкой методологии разработки задействуют небольшие итерации проектирования программного обеспечения, сборки и тестирование происходят постоянно, поддерживаемые непрерывным планированием. Поэтому в рамках этой методологии тестовые активности также повторяются непрерывно. Даже при последовательной разработке логически ступенчатая последовательность активностей будет включать перекрытие, сочетание, параллельное выполнение или пропуск этих активностей, поэтому, как правило, требуется их адаптация в контексте системы и проекта. Планирование тестирования Планирование тестирования состоит из активностей, которые определяют цели тестирования и подход к достижению целей тестирования с ограничениями, налагаемыми контекстом (например, определение подходящих методов тестирования и задач, а также формирование графика тестирования для соблюдения крайнего срока). Планы тестирования могут быть пересмотрены на основе обратной связи от мониторинга и контроля. Планирование тестирования далее объяснено в разделе 5.2. Мониторинг и контроль тестирования Мониторинг тестирования предполагает непрерывное сравнение фактического хода работы с планом тестирования, используя любые метрики мониторинга тестирования, определённые в плане тестирования. Контроль тестирования подразумевает принятие мер, необходимых для достижения целей плана тестирования (который может быть обновлен с течением времени). Мониторинг и контроль тестирования поддерживаются оценкой критериев выхода, которые в некоторых жизненных циклах называются критериями готовности (см. программу ISTQB Базовый уровень. Тестировщик в сфере Гибких методологий). Например, оценка критериев выхода для выполнения тестов в рамках заданного уровня тестирования может включать: Проверку результатов и журналов тестирования на соответствие заданным критериям покрытия Оценку уровня качества компонентов или систем на основе результатов и журналов тестирования Определение потребности в дополнительных тестах (например, потребуется написание и выполнение дополнительных тестов, если тесты, первоначально предназначенные для достижения покрытия определенного уровня риска продукта, не смогли этого сделать) Прогресс тестирования по сравнению с планом сообщается заинтересованным лицам в отчетах о ходе тестирования, включая отклонения от плана и информацию для подтверждения какого- либо решения о прекращении тестирования. Мониторинг и контроль тестирования более подробно описаны в разделе 5.3. Анализ тестирования В процессе анализа тестирования анализируют базис тестирования для определения тестируемых функций и установление соответствующих тестовых условий. Другими словами, анализ тестирования решает “что тестировать” с точки зрения измеримых критериев покрытия. Анализ тестирования состоит из следующих основных активностей: Анализ базиса тестирования, применимого к рассматриваемому уровню тестирования. Базисом тестирования могут быть, например: Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 20 of 94 24 февраля 2019 © International Software Testing Qualifications Board o Спецификации требований, такие как бизнес-требования, функциональные требования, системные требования, пользовательские истории, бизнес- потребности, сценарии использования системы, или аналогичные рабочие продукты, которые описывают функциональные и нефункциональные компоненты или поведение системы o Информация о проектировании и реализации, такая как диаграммы или документы архитектуры системы или программного обеспечения, спецификации проектирования, потоки вызовов, диаграммы моделирования (например, UML или диаграммы «сущность-связь»), спецификации интерфейсов или аналогичные рабочие продукты, которые определяют структуру компонента или системы o Реализация самого компонента или системы, включая код, метаданные и запросы базы данных, а также интерфейсы o Отчеты анализа рисков, в которых могут быть рассмотрены функциональные, нефункциональные и структурные аспекты компонента или системы Оценка базиса тестирования и элементов тестирования для выявления дефектов различных типов, таких как: o Неоднозначность o Пропуски o Несоответствие o Неточность o Противоречивость o Избыточные утверждения Определение свойств и совокупность свойств для тестирования Установление и приоритизация тестовых условий для каждого свойства на основе анализа базиса тестирования, с учетом функциональных, нефункциональных и структурных характеристик, других бизнес и технических факторов, а также уровней рисков Обеспечение двунаправленной трассируемости между каждым элементом базиса тестирования и соответствующими тестовыми условиями (см. разделы 1.4.3 и 1.4.4) Применение методов тестирования на основе черного ящика, белого ящика и на основе опыта может быть полезно в процессе анализа тестирования (см. главу 4) для уменьшения вероятности пропуска важных и определения более ясных и точных тестовых условий. Выявление дефектов в ходе анализа тестирования является важным потенциальным преимуществом, особенно если процесс рецензирования не используется и/или если процесс тестирования тесно связан с процессом рецензирования. Такие активности по анализу тестирования не только проверяют, являются ли требования согласованными, сформулированными должным образом и полными, но также проверяют, правильно ли требования отражают потребности клиентов, пользователей и других заинтересованных лиц. Например, такие методы как разработка, основанная на описании поведения (BDD) и разработка через приемочные тесты (ATDD), которые затрагивают формирование тестовых условий и тестовых сценариев из пользовательских историй и критериев приемки перед кодированием, проверяют, корректируют и выявляют дефекты в пользовательских историях и критериях приемки (см. программу ISTQB Базовый уровень. Тестировщик в сфере Гибких методологий). Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 21 of 94 24 февраля 2019 © International Software Testing Qualifications Board Проектирование тестов Во время проектирования тестов тестовые условия воплощаются в высокоуровневые тестовые сценарии, наборы высокоуровневых тестовых сценариев и другое тестовое обеспечение. Так, анализ тестирования отвечает на вопрос «что тестировать?», а проектирование тестов отвечает на вопрос «как тестировать?». Проектирование тестов состоит из следующих основных активностей: Проектирования и приоритизации тестовых сценариев и наборов тестовых сценариев Определения необходимых тестовых данных для поддержки тестовых условий и тестовых сценариев Проектирования тестового окружения и определения необходимой инфраструктуры и инструментов Отражения двунаправленной трассируемости между базисом тестирования, тестовыми условиями, тестовыми сценариями и процедурами тестирования (см. раздел 1.4.4) Воплощение тестовых условий в тестовые сценарии и в наборы тестовых сценариев во время проектирования тестов часто включает использование методов тестирования (см. главу 4). Так же, как и при анализе тестирования, проектирование тестов может привести к выявлению аналогичных типов дефектов в базисе тестирования. Кроме того, как и при анализе тестирования, выявление дефектов при проектировании тестов является важным потенциальным преимуществом. Реализация тестов Во время реализации тестов создается и/или подготавливается необходимое тестовое обеспечение для выполнения тестов, включая упорядочивание тестовых сценариев в процедурах тестирования. Таким образом, проектирование тестов отвечает на вопрос «как проверить?», в то время как реализация тестов отвечает на вопрос: «у нас теперь есть все для запуска тестов?». Реализация тестов – это активность, во время которой процедуры или сценарии тестирования выстраиваются в определенном порядке, чтобы облегчить выполнение тестов. Реализация тестов состоит из следующих основных активностей: Разработка и расстановка приоритетов процедур тестирования и, возможно, создание автоматизированных сценариев тестирования Создание наборов тестов из процедур тестирования и (при наличии) автоматизированных сценариев тестирования Организация наборов тестов с расписанием выполнения тестов таким образом, чтобы тесты выполнялись эффективно (см. раздел 5.2.4) Построение тестового окружения (в том числе, возможно, тестовые стенды, сервисы виртуализации, симуляторы и другие элементы инфраструктуры) и проверка правильности настройки всего необходимого Подготовка тестовых данных и правильная загрузка их в тестовое окружение Проверка и обновление двунаправленной трассируемости между базисом тестирования, тестовыми условиями, тестовыми сценариями, процедурами тестирования и наборами тестов (см. раздел 1.4.4) Часто задачи по проектированию тестов и реализации тестов объединяют. При исследовательском тестировании и других типах тестирования, основанных на опыте, разработка и реализация тестов могут выполняться и документироваться как часть выполнения Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 22 of 94 24 февраля 2019 © International Software Testing Qualifications Board тестов. Исследовательское тестирование может основываться на концепциях тестирования (составленных в рамках анализа тестирования), и исследовательские тесты выполняются немедленно по мере их разработки и реализации (см. раздел 4.4.2). Выполнение тестов Во время выполнения тестов, наборы тестов запускаются в соответствии с расписанием выполнения тестов. Выполнение тестов состоит из следующих основных активностей: Запись идентификаторов и версий элемента (-ов) тестирования или объекта тестирования, инструмента (-ов) тестирования, и тестового обеспечения Выполнение тестов вручную или с помощью инструментов выполнения тестов Сравнение фактических и ожидаемых результатов Анализ отклонений для установления их вероятных причин (например, отказы могут произойти из-за дефектов в коде, но также могут возникнуть ложные срабатывания (см. раздел 1.2.3)) Составление отчетов о дефектах на основе наблюдаемых отказов (см. раздел 5.6) Протоколирование результатов выполнения тестов (например, пройден, не пройден, блокировка) Повторение тестовых действий, результаты которых привели к каждому из отклонений, либо в рамках запланированного тестирования (например, выполнение исправленного теста, подтверждающее тестирование и/или регрессионное тестирование) Проверка и обновление двунаправленной трассируемости между базисом тестирования, тестовыми условиями, тестовыми сценариями, процедурами тестирования и результатами тестирования |