ISTQB_CTFL_Syllabus_2018-RU_3 — копия. Программа обучения Базового уровня Версия 2018 International Software Testing Qualifications Board
 Скачать 1.3 Mb.
|
|
5. Управление тестированием – 225 мин Ключевые слова управление конфигурацией, управление дефектами, критерии входа, критерии выхода, риск продукта, риск проекта, риск, уровень риска, тестирование, основанное на рисках, подход к тестированию, контроль тестирования, оценка затрат на тестирование, руководитель тестирования, мониторинг тестирования, план тестирования, планирование тестирования, отчет о ходе тестирования, стратегия тестирования, итоговый отчет о тестировании, тестировщик Цели обучения для главы «Управление тестированием» 5.1 Организация тестирования FL-5.1.1 (K 2) Объяснить преимущества и недостатки независимого тестирования FL-5.1.2 (K 1) Определить задачи руководителя тестирования и тестировщика 5.2 Планирование и оценка тестирования FL-5.2.1 (K 2) Кратко описать цели и содержания плана тестирования FL-5.2.2 (K 2) Описать различия между различными стратегиями тестирования FL-5.2.3 (K 2) Привести примеры потенциальных критериев входа и выхода FL-5.2.4 (K 3) Применить знания о приоритезации, технических и логических зависимостях к графику выполнения теста для заданного набора тестовых сценариев FL-5.2.5 (K 1) Определить факторы, которые влияют на затраты, связанные с тестированием FL-5.2.6 (K 2) Объяснить разницу между двумя подходами: оценкой, основанной на метриках, и экспертной оценкой 5.3 Контроль и мониторинг FL-5.3.1 (K 1) Вспомнить метрики, используемые в тестировании FL-5.3.2 (K 2) Кратко описать цели, содержание и аудиторию отчета о тестировании 5.4 Управление конфигурацией FL-5.4.1 (K 2) Кратко описать, как управление конфигурацией поддерживает тестирование 5.5 Риски и тестирование FL-5.5.1 (K 1) Оценить уровень риска, используя вероятность и влияние FL-5.5.2 (K 2) Указать различие рисков проекта и продукта FL-5.5.3 (K 2) Описать, используя примеры, как анализ риска продукта может влиять на тщательность и объем тестирования 5.6 Управление дефектами FL-5.6.1 (K 3) Написать отчет, описывающий дефекты, найденные во время тестирования Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 66 of 94 24 февраля 2019 © International Software Testing Qualifications Board 5.1 Организация тестирования 5.1.1 Независимость тестирования Задачи тестирования могут выполняться как людьми в конкретной роли, связанной с тестированием, так и людьми в иной роли (например, заказчиками). Конкретный уровень независимости часто делает тестировщика более эффективным в поиске дефектов из-за психологических различий разработчика и тестировщика (см. раздел 1.5). Независимость не является, однако, альтернативой осведомленности, и разработчики могут находить много дефектов в своем собственном коде. Уровни независимости тестирования включают следующие (от низкого уровня до высокого уровня независимости): Нет независимых тестировщиков; разработчики тестируют собственный код, других форм тестирования нет Независимые разработчики или тестировщики в команде разработки или в команде проекта; это могут быть разработчики, тестирующие продукты своих коллег Независимая команда или группа тестирования внутри организации, отчитывающаяся перед руководством проекта или руководством организации Независимые тестировщики из организации заказчика или сообщества пользователей. Могут специализироваться на отдельных типах тестирования, таких как тестирование практичности, тестирование безопасности, тестирование производительности, тестирование на соответствие нормативным документам или тестирование переносимости Независимые тестировщики, внешние по отношению к организации, работающие либо на территории компании (инсорсинг), либо вне ее (аутсорсинг) Для большинства проектов лучше иметь несколько уровней тестирования, часть из которых выполняется независимыми тестировщиками. Разработчики должны участвовать в тестировании, особенно на более низких уровнях, чтобы контролировать качество своей работы. Способ организации независимого тестирования зависит от модели жизненного цикла. Например, в гибкой разработке тестировщики могут быть частью команды разработчиков. В некоторых организациях, использующих гибкие методологии разработки программного обеспечения, тестировщики могут также считаться частью большой независимой группы тестирования. Кроме того, в таких организациях владельцы продуктов могут выполнять приемочные испытания для проверки пользовательских историй в конце каждой итерации. К потенциальным преимуществам независимого тестирования можно отнести: Эффективное распознавание различных видов отказов по сравнению с разработчиками из-за разницы подходов, технических перспектив и предубеждений Возможность независимого тестировщика проверять, оспаривать или опровергать допущения, сделанные заинтересованными сторонами во время проектирования и внедрения системы К потенциальным недостаткам независимого тестирования относятся: Изоляция от команды разработчиков, что приводит к отсутствию сотрудничества, задержкам с предоставлением обратной связи команде разработчиков или соперничеству с командой разработчиков Потеря разработчиками чувства ответственности за качество Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 67 of 94 24 февраля 2019 © International Software Testing Qualifications Board Восприятие независимых тестировщиков как «узкого места» и обвинения в задержках релиза. Недостаточность у независимых тестировщиков какой-либо важной информации (например, об объекте тестирования). Многие организации могут успешно пользуются преимуществами независимого тестирования, избегая при этом указанных недостатков. 5.1.2 Задачи руководителя тестирования и тестировщика В этой программе рассматриваются две тестовые роли - руководителя тестирования и тестировщика. Действия и задачи, выполняемые людьми в этих двух ролях, зависят от контекста проекта и продукта, навыков людей в этих ролях и организации. Руководитель тестирования отвечает за процесс тестирования и успешное руководство активностями тестирования. Роль руководителя тестирования может выполняться профессиональным руководителем тестирования, руководителем проекта, руководителем разработки, или руководителем по обеспечению качества. В крупных проектах или организациях несколько команд тестирования могут отчитываться перед одним руководителем тестирования, куратором или координатором тестирования, при этом каждая команда возглавляется лидером тестирования или ведущим тестировщиком. Типичные задачи руководителя тестирования могут включать: Разработку или рецензирование тестовой политики и стратегии тестирования для организации Планирование тестирования, с учетом контекста и понимания целей и рисков тестирования. Это может включать выбор тестовых подходов, оценку времени тестирования, трудозатрат и стоимости, привлечение ресурсов, определение уровней тестирования и циклов тестирования и планирование управления дефектами Составление и обновление планов тестирования Согласование планов тестирования с руководителями проектов, владельцами продуктов и другими участниками Координацию активностей тестирования с другими проектами, такими как планирование интеграции Инициирование анализа, разработки, реализации и выполнения тестов, отслеживание прогресса и результатов тестирования, контроль выполнения критериев выхода (или критериев готовности) Подготовку и предоставление отчетов о статусе тестирования и сводных отчетов о тестировании на основе собранной информации Адаптацию планов в зависимости от прогресса и результатов тестирования (и выполнение действий, необходимых для контроля тестирования) Поддержку настройки системы управления дефектами и конфигурацией тестового обеспечения Выбор подходящих метрик для измерения результатов тестирования и оценки качества процесса тестирования и продукта Выбор и внедрение инструментов поддержки процесса тестирования, включая рекомендации по выбору инструментария (и, возможно, приобретение и / или поддержку), выделение времени и трудозатрат для пилотных проектов, обеспечение постоянной поддержки в использовании инструмента/инструментов Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 68 of 94 24 февраля 2019 © International Software Testing Qualifications Board Решения о создании тестовой среды/сред Демонстрацию ценности тестировщиков, группы тестирования и профессии тестировщика в организации Развитие навыков и карьеры тестировщиков (например, посредством планов обучения, оценки эффективности, коучинга и т.д.) Реализация роли руководителя тестирования зависит от используемой модели жизненного цикла разработки. Например, в гибкой разработке некоторые из упомянутых выше задач выполняются командой, особенно те, что связаны с повседневным тестированием. Они выполняются внутри команды, часто с помощью тестировщиков, работающих в команде. Задачи, охватывающие несколько команд или всю организацию, или связанные с управлением персоналом, могут выполняться руководителями тестирования (иногда их называют кураторами тестирования) за пределами команды разработки. См. [Black 2009] для получения дополнительной информации об управлении процессом тестирования. К типичным задачам тестировщика могут относиться: Рецензирование и разработка планов тестирования Анализ, рецензирование и оценка требований, пользовательских историй и критериев приемки, спецификаций и моделей (базиса тестирования) на предмет тестируемости Определение и документирование тестовых условий, установление связей между тестовыми сценариями, тестовыми условиями и базисом тестирования Проектирование, настройка и проверка тестовой среды/сред, зачастую вместе с системным администрированием и управлением сетью Проектирование и разработка тестовых сценариев и процедур тестирования Подготовка и получение тестовых данных Создание подробного расписания выполнения тестов Выполнение тестирования, оценка результатов и документирование отклонений от ожидаемых результатов Использование соответствующих инструментов поддержки процесса тестирования Автоматизация процесса тестирования по мере необходимости (может поддерживаться разработчиком или экспертом по автоматизации тестирования) Оценка нефункциональных характеристик, таких как производительность, надежность, практичность, безопасность, совместимость и переносимость Рецензирование тестов, разработанных другими тестировщиками Люди, занимающиеся тест-анализом, проектированием тестов, выполняющие специфические виды тестирования или занимающиеся автоматизацией, могут быть специалистами в этих ролях. В зависимости от рисков проекта и продукта, а также используемой модели жизненного цикла, роль тестировщика на различных уровнях тестирования могут выполнять разные люди. Например, на уровне компонента и интеграции компонентов роль тестировщика часто выполняют разработчики. На уровне приемки роль тестировщика могут выполнять бизнес- аналитики, эксперты и пользователи. На уровне системы и интеграции систем роль тестировщика могут выполнять специалисты независимой команды тестирования. На уровне эксплуатационной приемки роль тестировщика часто выполняют специалисты по сопровождению и/или администрированию системы. Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 69 of 94 24 февраля 2019 © International Software Testing Qualifications Board 5.2 Планирование и оценка тестирования 5.2.1 Цель и содержание плана тестирования В плане тестирования перечисляются работы по тестированию для проектов разработки и сопровождения. Планирование зависит от политики тестирования и стратегии тестирования организации, используемых методов и жизненных циклов разработки (см. раздел 2.1), объема тестирования, целей, рисков, ограничений, критичности, тестируемости и доступности ресурсов. По ходу проекта становится доступно больше информации, и в план тестирования могут быть включены дополнительные сведения. Планирование тестирования - непрерывная деятельность, которая выполняется в течение всего жизненного цикла продукта. (Обратите внимание, что жизненный цикл продукта может выходить за рамки проекта и включать в себя фазу сопровождения.) Обратная связь в ходе работ по тестированию должна использоваться для идентификации изменяющихся рисков с последующей корректировкой планов. План может быть оформлен как в виде главного плана тестирования, так и в виде уровневых планов (план системного тестирования, план приемочного тестирования) или планов для отдельных видов тестирования (план тестирования практичности, план тестирования производительности). Мероприятия по планированию тестирования могут включать в себя следующие работы, часть из которых может быть отражена в плане тестирования: Определение объема, целей и рисков тестирования Определение общего подхода к тестированию Координацию работ по тестированию и их совмещение с другими работами в рамках жизненного цикла программного обеспечения Принятие решений о том, что тестировать, кто будет выполнять тестирование и как должны выполняться работы по тестированию Планирование анализа, проектирования, реализации и выполнения тестов, оценки результатов тестирования с указанием сроков (при последовательной разработке) либо итераций (при итеративной разработке) Выбор метрик для мониторинга и контроля тестирования Формирование бюджета тестирования Определение структуры и уровня детализации тестовой документации (например, путем предоставления шаблонов или примеров документов) Содержание планов тестирования различается и может выходить за пределы указанных тем. Примеры планов тестирования можно найти в стандарте ИСО (ISO/IEC/IEEE 29119-3). 5.2.2 Стратегия тестирования и подходы к тестированию Стратегия тестирования содержит верхнеуровневое описание процесса тестирования, как правило, на уровне продукта или организации. К распространенным типам стратегий тестирования относятся: Аналитический подход – базируется на анализе некоторого фактора (например, требования или риска). Тестирование, основанное на рисках, является примером аналитического подхода, при котором тесты разрабатываются и ранжируются по приоритетам в зависимости от уровня риска. Тестирование на основе моделей – подход, при котором тесты разрабатываются на основании модели некоторого аспекта продукта, такого как функция, бизнес-процесс, внутренняя структура или нефункциональная характеристика (например, надежность). Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 70 of 94 24 февраля 2019 © International Software Testing Qualifications Board Примерами являются модели бизнес-процессов, модели состояния и модели роста надежности. Методический подход – основан на систематическом использовании некоторого предопределенного набора тестов или тестовых условий, таких как классификация общих или вероятных типов отказов, список важных характеристик качества или корпоративный стандарт дизайна мобильных приложений или веб-страниц. Тестирование на основе процесса (или стандарта) – подразумевает анализ, проектирование и выполнение тестов в соответствии с внешними правилами или стандартами, такими как: отраслевые стандарты, документация процесса, базис тестирования или любой другой нормативной базой, используемой в организации. Направленный (или консультативный) подход – определяется, прежде всего, советами, руководствами или инструкциями заинтересованных сторон, экспертов предметной области или экспертов по технологиям, которые могут находиться вне команды тестирования или организации. Тестирование на основе минимизации регресса – нацелено на проверку работоспособности существующих возможностей ПО. Эта стратегия тестирования подразумевает повторное использование существующего тестового обеспечения (особенно тестовых сценариев и тестовых данных), обширную автоматизацию регрессионных тестов и стандартные наборы тестов. Реактивный подход – тестирование в данном случае не является спланированным заранее, но зависит от тестируемого компонента, системы или событий, происходящих при выполнении тестов. Новые тесты проектируются, разрабатываются и выполняются, исходя из знаний, ранее полученных при тестировании. Исследовательское тестирование является распространенной методикой, применяемой в реактивных стратегиях. Подходящая стратегия тестирования может быть создана путем объединения нескольких стратегий тестирования. Например, тестирование на основе рисков (аналитическая стратегия) может сочетаться с исследовательским тестированием (реактивная стратегия); они дополняют друг друга и могут обеспечить более эффективное тестирование при совместном использовании. Стратегия тестирования дает общее описание процесса тестирования, в то время как подход к тестированию адаптирует стратегию к конкретному проекту или релизу. Подход к тестированию является отправной точкой при выборе методов тестирования, уровней и типов тестирования, а также при определении критериев входа и выхода (или критериев готовности и критериев завершения соответственно). Построение стратегии тестирования зависит от решений, принятых в отношении сложности и целей проекта, типа разрабатываемого продукта, анализа рисков продукта. Выбранный подход зависит от контекста и может учитывать такие факторы, как риски, безопасность, доступные ресурсы и навыки, технологии, характер системы (например, разработанная на заказ или готовый коммерческий продукт), цели тестирования и правила. 5.2.3 Критерии входа и выхода (критерии готовности и критерии завершения) Для обеспечения эффективного управления тестированием и качеством программного обеспечения рекомендуется иметь критерии, которые определяют, когда начинается и завершается каждая из работ по тестированию. Критерии входа (или критерии готовности в гибкой разработке) определяют условия, которые должны быть выполнены до начала работ. Если критерии входа не выполнены, вполне вероятно, что выполняемая задача окажется более сложной, более трудоемкой, более дорогостоящей и более рискованной. Критерии выхода (или критерии завершения в гибкой разработке) определяют, какие условия должны быть выполнены, чтобы завершить уровень тестирования или набор тестов. Критерии входа и Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 71 of 94 24 февраля 2019 © International Software Testing Qualifications Board выхода должны быть определены для каждого уровня и типа тестирования и могут отличаться в зависимости от целей тестирования. Типичные критерии входа включают: Доступность тестируемых требований, пользовательских историй и/или моделей (например, при использовании стратегии тестирования на основе моделей) Наличие элементов тестирования, которые удовлетворяют критериям выхода для предыдущих уровней тестирования Доступность тестовой среды Наличие необходимых инструментов тестирования Наличие тестовых данных и других необходимых ресурсов Типичные критерии выхода включают: Выполнение запланированных тестов Достижение определенного уровня покрытия (например, требований, пользовательских историй, критериев приемки, рисков, кода) Количество открытых дефектов ниже оговоренного порогового значения Низкая оценка количества еще не обнаруженных дефектов Соответствие требуемым значениям оценок надежности, производительности, практичности, безопасности и других характеристик качества Даже если критерии завершения не выполняются, тестирование может быть сокращено из-за превышения бюджета, истечения запланированного времени и/или необходимости вывода продукта на рынок. Завершение тестирования может быть приемлемым, если заинтересованные лица со стороны проекта и бизнеса рассмотрели и приняли риск вывода продукта в промышленную эксплуатацию без дальнейшего тестирования. 5.2.4 Расписание выполнения тестов После того, как тестовые сценарии и процедуры (в том числе автоматизированные) разработаны, их объединяют в наборы тестов. Эти наборы располагаются в соответствии с расписанием тестирования, которое задает последовательность их выполнения. Расписание должно учитывать такие факторы как: приоритет, зависимости между тестами и/или тестируемыми функциями, необходимость выполнения подтверждающих тестов и регрессионных тестов и наиболее эффективную последовательность выполнения тестов. В идеальном случае тестовые сценарии упорядочиваются на основе их приоритетов, при этом сначала выполняются тестовые сценарии с наивысшим приоритетом. Однако эта практика может не работать, если тесты или тестируемые функции имеют зависимости. Если тестовый сценарий с более высоким приоритетом зависит от тестового сценария с более низким приоритетом, то сначала выполняется тестовый сценарий с более низким приоритетом. Аналогичным образом, если в тестовых сценариях есть зависимости, они должны быть упорядочены соответствующим образом, без учета относительных приоритетов. Подтверждающие и регрессионные тесты тоже должны иметь приоритет, исходя из важности обратной связи об изменениях, но здесь также могут применяться зависимости. Иногда могут использоваться разные последовательности тестов, имеющие разные уровни эффективности. В таких случаях должен быть достигнут компромисс между эффективностью выполнения тестов и соблюдением приоритетов. Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 72 of 94 24 февраля 2019 © International Software Testing Qualifications Board 5.2.5 Факторы, влияющие на затраты на тестирование Оценка затрат на тестирование подразумевает прогнозирование объема связанной с тестированием работы, которая необходима для достижения целей тестирования проекта, релиза или итерации. Факторы, влияющие на затраты, могут включать характеристики продукта, характеристики процесса разработки, характеристики людей и результаты тестирования. |