ISTQB_CTFL_Syllabus_2018-RU_3 — копия. Программа обучения Базового уровня Версия 2018 International Software Testing Qualifications Board
 Скачать 1.3 Mb.
|
|
6. Инструменты тестирования – 40 мин Ключевые слова тестирование на основе данных, тестирование на основе ключевых слов, инструменты нагрузочного тестирования, автоматизация тестирования, инструменты управления тестами, инструменты выполнения тестов Цели обучения для главы «Инструменты тестирования» 6.1 Классификация инструментов тестирования FL-6.1.1 (K 2) Классифицировать инструменты тестирования в соответствии с целями и выполняемыми ими действиями в процессе тестирования FL-6.1.2 (K 1) Определить преимущества и риски автоматизации тестирования FL-6.1.3 (K 1) Вспомнить об особенностях инструментов выполнения тестов и управления тестированием 6.2 Эффективное использование инструментов FL-6.2.1 (К1) Определить ключевые принципы выбора инструмента FL-6.2.2 (К1) Перечислить цели использования пилотного проекта для внедрения инструментов FL-6.2.3 (К1) Определить факторы успеха для оценки, внедрения, развертывания и непрерывной поддержки инструмента тестирования в масштабах организации Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 81 of 94 24 февраля 2019 © International Software Testing Qualifications Board 6.1 Инструменты тестирования Инструменты тестирования могут использоваться для одной и более активностей тестирования. Это могут быть: Инструменты, которые напрямую используются в тестировании, например, инструменты выполняющие тесты, подготавливающие тестовые данные Инструменты, помогающие управлять требованиями, тестовыми сценариями, тестовыми процедурами, автоматизированными тестовыми скриптами, результатами тестирования, тестовыми данными, дефектами, а также инструменты создания отчетов и мониторинга выполнения тестов Инструменты, используемые для исследования и оценки Любые инструменты, которые используется при тестировании (электронная таблица - это тоже инструмент тестирования) 6.1.1 Классификация инструментов тестирования Инструменты, поддерживающие тестирование, могут иметь одну или несколько целей, в зависимости от контекста: Повысить эффективность тестирования за счет автоматизации повторяющихся действий или задач, которые требуют значительных трудозатрат при выполнении вручную (например, выполнение тестов, регрессионное тестирование) Повысить эффективность за счет поддержки ручного тестирования на протяжении всего процесса тестирования (см. раздел 1.4) Повысить качество тестирования, предоставляя более содержательное тестирование и более высокий уровень воспроизводимости дефектов Автоматизировать действия, которые невозможно выполнить вручную (например, масштабное тестирование производительности) Увеличить надежность тестирования (например, путем автоматизации сравнения большого объема данных или моделирования поведения) Классификация инструментов может быть разной в зависимости от нескольких критериев: цели, цены, предоставляемой лицензии (например, коммерческий продукт или с открытым исходным кодом), используемой технологии. В нашей программе обучения инструменты классифицированы в соответствии с видом деятельности, которому они сопутствуют. Одни инструменты способны поддерживать один (всегда или как правило) вид деятельности, другие могут использоваться для выполнения сразу нескольких активностей, но классифицируются они в соответствии с той активностью, с которой наиболее тесно связаны. Инструменты от одного производителя могут быть объединены в единый интегрированный пакет, особенно если были разработаны для совместного использования. Некоторые типы инструментов могут стать помехой, влияя на результат теста. Например, фактическое время ответа приложения может изменяться из-за дополнительных операций, выполняемых инструментом нагрузочного тестирования. Последствия использования подобных инструментов называют побочным эффектом. Другие инструменты предлагают поддержку наиболее подходящую для разработчиков (например, инструменты, используемые при выполнении компонентного и интеграционного тестирования). Такие инструменты отмечены буквой “D” в нижеследующих разделах. Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 82 of 94 24 февраля 2019 © International Software Testing Qualifications Board Инструменты управления тестированием и тестовым окружением Инструменты управления применяются к любым активностям тестирования на протяжении всего жизненного цикла программного продукта. Примерами инструментов, поддерживающих управление тестированием и тестовым окружением, являются: Инструменты управления тестированием и инструменты управления жизненным циклом приложения (ALM - application lifecycle management) Инструменты управления требованиями (например, трассируемость объектов тестирования) Инструменты управления дефектами Инструменты управления конфигурацией Инструменты непрерывной интеграции (D) Инструменты статического тестирования Активности и выгоды, связанные с инструментами статического тестирования, описаны в главе 3. Примерами таких инструментов являются: Инструменты рецензирования Инструменты статического анализа (D) Инструменты проектирования и реализации тестов На этапе разработки и реализации тестов инструменты проектирования тестов способствуют созданию поддерживаемых рабочих продуктов. Этот этап включает в себя проектирование и реализацию тестовых сценариев, процедур тестирования и тестовых данных. Примерами таких инструментов являются: Инструменты проектирования тестов Инструменты тестирования на основе модели Инструменты подготовки тестовых данных Инструменты разработки тестов через приемочное тестирование (ATDD – acceptance test driven development) и на основе поведения (BDD - behavior driven development) Инструменты разработки через тестирование (D) Некоторые инструменты проектирования и реализации тестов могут поддерживать исполнение и протоколирование тестов или напрямую предоставлять необходимые данные инструментам, поддерживающим эти действия. Инструменты выполнения тестов и протоколирования Существует множество инструментов для поддержки и улучшения активностей по выполнению тестов и протоколированию действий. Примерами таких инструментов являются: Инструменты выполнения тестов (например, запуск регрессионных тестов) Инструменты покрытия (например, покрытие требований, покрытие кода (D)) Тестовые обвязки (D) Интегрированные среды компонентного тестирования (D) Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 83 of 94 24 февраля 2019 © International Software Testing Qualifications Board Инструменты динамического анализа и тестирования производительности Без инструментов динамического анализа и инструментов, предназначенных для измерения производительности, вручную невозможно эффективно выполнить тестирование производительности и нагрузки. Примерами таких инструментов являются: Инструменты тестирования производительности Инструменты мониторинга Инструменты динамического анализа Инструменты для специализированных нужд тестирования В дополнение к инструментам, которые сопутствуют основным процессам тестирования, существует множество инструментов для конкретных нужд тестирования. Примерами могут быть инструменты, ориентированные на: Оценку качества данных Преобразование и перенос данных Тестирование практичности Тестирование доступности Тестирование локализации Тестирование безопасности (D) Тестирование переносимости (например, тестирование программного продукта на нескольких поддерживаемых платформах) 6.1.2 Преимущества и риски автоматизации тестирования Покупка какого-либо инструмента не дает гарантии его успешного использования. Ввод в эксплуатацию нового инструмента всегда требует усилий, чтобы достичь реальной и долгосрочной выгоды. Говоря про потенциальную выгоду и возможности использования инструментов тестирования, необходимо помнить и про риски. Особенно, это касается инструментов выполнения тестирования (часто называемые инструментами автоматизации). Преимущества использования инструментов, сопровождающих выполнение тестирования: Уменьшение повторяющихся действий, выполняемых вручную (например, выполнение регрессионных тестов, задачи по развертыванию/свертыванию окружения, повторный ввод одних и тех же тестовых данных, проверка на соответствие стандартам оформления кода) и за счет этого экономия времени Увеличение целостности и стабильности (например, последовательно связанные тестовые данные, тесты, выполняемые инструментом в одном и том же порядке и с одинаковой частотой, тесты, полученные из требований) Более объективная оценка (например, статические измерения, покрытие) Улучшение доступности информации о тестировании (например, статистика и графики процесса тестирования, доля дефектов и информация о тестировании производительности) Риски использования инструментов тестирования: Нереалистичные ожидания от использования инструмента (включая функциональность и простоту использования) Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 84 of 94 24 февраля 2019 © International Software Testing Qualifications Board Недооценка времени, стоимости и трудозатрат, необходимых для внедрения инструмента (например, обучение, внешняя экспертиза) Недооценка времени и трудозатрат, необходимых для достижения значительной и постоянной выгоды от использования инструмента (включая необходимость изменений в процессе тестирования и непрерывного улучшения способов использования инструмента) Недооценка трудозатрат, необходимых для поддержки тестовых данных, сгенерированных инструментом Чрезмерная зависимость от инструмента (замена проектирования тестов или использование автоматизированного тестирования там, где уместнее использовать ручное тестирование) Пренебрежение контролем версий тестовых ресурсов в инструменте Пренебрежение взаимодействием между ключевыми инструментами тестирования - инструментами управления требованиями, управления конфигурацией, дефектами, а также пренебрежение взаимодействием между инструментами от разных производителей. Риски, связанные с уходом производителя инструмента из бизнеса, выходом инструмента из обращения, продажей инструмента другому поставщику Медленная реакция производителя по вопросам поддержки, обновления и исправления дефектов Приостановка проекта с открытым исходным кодом Отсутствие возможности поддерживать новую платформу или технологию Инструмент может не находиться в собственности поставщика (например, только курирование, обновление) 6.1.3 Особенности использования инструментов выполнения и управления тестами Для успешной реализации тестов существует ряд факторов, которые необходимо учитывать при выборе и последующей интеграции инструментов выполнения и управления тестами Инструменты выполнения тестов Инструменты выполнения тестов исполняют тестовые скрипты. И зачастую, используя такие инструменты, необходимо приложить значительные усилия, чтобы достигнуть существенного результата. Запись действий, выполняемых вручную, в тестовые скрипты выглядит заманчиво, но подходит не для всех тестов. Созданный таким образом скрипт – это линейная последовательность конкретных действий с конкретными данными. И в случае возникновения непредусмотренных событий данный скрипт окажется ненадежным. Последнее поколение инструментов, использующих технологию захвата действий пользователя, повысило применимость инструментов подобного класса. Тем не менее, сгенерированные скрипты по-прежнему требуют постоянной поддержки, поскольку интерфейс пользователя системы со временем меняется. При тестировании на основе данных (data-driven testing approach) выбираются входные данные и ожидаемый результат, обычно сформированные в виде таблицы, и используется единый скрипт, который, считывая входные данные из таблицы, выполняется с разным набором данных. Даже те тестировщики, которые не знакомы со скриптовыми языками, впоследствии могут создавать новые наборы тестовых данных для таких ранее определенных скриптов. При тестировании на основе ключевых слов (keyword driven testing), единый скрипт обрабатывает ключевые слова, описывающие действия, которые нужно предпринять (так Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 85 of 94 24 февраля 2019 © International Software Testing Qualifications Board называемые слова-действия), затем по ключевым словам вызываются скрипты для обработки соответствующих тестовых данных. Тестировщики, даже будучи не знакомыми со скриптовыми языками, по ключевым словам и соответствующим данным могут подбирать тесты под тестируемое приложение. Дополнительные подробности и примеры подходов на основе данных и ключевых слов приведены в программе обучения ISTQB-TAE для инженеров по автоматизации тестирования продвинутого уровня [Fewster 1999], [Buwalda 2001] Приведенные выше подходы нуждаются в экспертизе скриптов тестировщиком, разработчиком или специалистом по автоматизации тестов. Независимо от используемого метода написания скрипта, в каждом случае необходимо сопоставить ожидаемый и фактический результаты либо динамически (во время выполнения теста), либо, сохранив результаты теста, выполнить сравнение после прохождения тестов. Инструменты тестирования на основе модели позволяют интерпретировать функциональные требования в виде модели, например, в виде диаграммы действий. Эта задача обычно выполняется разработчиком системы. Такой инструмент интерпретирует модель для создания спецификаций тестовых сценариев, которые впоследствии могут быть сохранены в инструменте управления тестированием и/или могут использоваться инструментом выполнения тестов (см. также программу ISTQB-MBT Базовый уровень. Тестирование на основе моделей). Инструменты управления тестированием Инструменты управления тестированием зачастую должны быть интегрируемы с другими инструментами или электронными таблицами по ряду различных причин: для получения необходимой информации в удобном для организации формате для обеспечения постоянной трассируемости требований в инструменте управления требованиями для обеспечения связи между версиями объекта тестирования в инструменте управления конфигурацией Особенно важно это учитывать при использовании интегрированного инструмента (например, инструмента управления жизненным циклом приложения), который включает в себя модуль управления тестированием (и, возможно, систему управления дефектами), а также другие модули (например, планирования проекта и информации о бюджете), которые используются различными группами внутри организации. 6.2 Эффективное использование инструментов 6.2.1 Ключевые принципы выбора инструментов Ключевыми принципами выбора инструментов для использования в организации являются: Оценка зрелости организации, ее сильных и слабых сторон Определение возможностей улучшения процесса тестирования, поддерживаемых инструментами Понимание технологий, используемых объектом (объектами) тестирования для выбора совместимого с технологией инструмента Инструменты сборки и непрерывной интеграции, используемые в организации, для обеспечения совместимости и интеграции инструментов Оценка инструментов на соответствие предъявляемым требованиям и объективности критериев Наличие бесплатного пробного периода использования (если есть, то на какой срок) Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 86 of 94 24 февраля 2019 © International Software Testing Qualifications Board Оценка надежности производителя (включая обучение, поддержку и коммерческие аспекты) или поддержка некоммерческих инструментов (например, с открытым исходным кодом) Определение внутренних требований передачи знаний и опыта по использованию инструментов Оценка необходимости обучения с учетом имеющихся навыков тестирования (и автоматизации тестирования) тех, кто напрямую будет работать с инструментами Определение достоинств и недостатков различных вариантов лицензирования продуктов (например, коммерческих, с открытым исходным кодом) Оценка соотношения затрат и выгоды применительно к конкретному бизнес-сценарию (если необходимо) Наконец, оценка правильности концепции, чтобы оценить, будет ли инструмент эффективен применительно к тестируемому программному продукту и текущей инфраструктуре, или определить объем изменений инфраструктуры для эффективного использования инструмента. 6.2.2 Пилотный проект для оценки инструмента После выбора инструмента и успешного доказательства правильности концепции внедрение инструмента в организации обычно начинается с выбора пилотного проекта, целями которого являются: Получить глубокие знания об инструменте, поняв его слабые и сильные стороны Оценить, насколько инструмент соответствует существующему процессу и практикам применения, и определить, что необходимо изменить Выбрать пути использования, управления, хранения и поддержки инструмента и тестов (например, определить правила именования файлов и тестов, выбрать стандарт программирования, создать библиотеки, определить модульность тестовых наборов) Оценить, будет ли выгода оправдывать цену. Определить метрики, которые необходимо собирать и включать в отчет, и настроить инструмент соответствующим образом 6.2.3 Факторы успеха Факторами успеха для оценки, внедрения, развертывания и постоянной поддержки инструмента в организации являются: Постепенное внедрение инструмента в масштабах организации Адаптация и улучшение процессов в соответствии с использованием инструмента Проведение обучения для тех, кто пользуется инструментом Определение правил использования инструмента (например, внутренних стандартов автоматизации) Реализация способа сбора информации о фактическом использовании инструмента Мониторинг использования инструмента и выгоды Обеспечение поддержки инструмента для команды тестирования Накопление извлеченного опыта от всех пользователей Сертифицированный тестировщик Программа обучения базового уровня International Software Testing Qualifications Board Версия 2018 Страница 87 of 94 24 февраля 2019 © International Software Testing Qualifications Board Также важно обеспечить техническую и организационную интеграцию инструмента в жизненный цикл разработки программного обеспечения, который может включать отдельные организации, отвечающие за отдельные процессы, и/или сторонних поставщиков. Об опыте и советах по использованию инструментов выполнения тестов см. [Graham 2012]. |