Техники тест дизайна. Тест дизайна
 Скачать 5.43 Mb.
|
|
Классификация, описание, примеры ТЕХНИКИ ТЕСТ ДИЗАЙНА Виола Ленчик Специалист по тестированию ©2021 Неофлекс. Все права защищены 1 планирование и проектирование тестов написание тестовых случаев (test case), в соответствии с требованиями проекта, критериями качества будущего продукта и финальными целями тестирования ЧТО ТАКОЕ ТЕСТ ДИЗАЙН ©2021 Неофлекс. Все права защищены 25 ЧТО ТЕСТИРОВАТЬ КАК ТЕСТИРОВАТЬ этап процесса тестирования ПО, на котором проектируются и создаются тест-кейсы в соответствии с критериями качества и целями тестирования Последовательность действий по проверке функциональности, которые ведут к фактическому результату Набор тест-кейсов, собранных в последовательность метрика оценки качества тестирования, представляющей из себя плотность покрытия тестами требований или кода СМЕЖНЫЕ ПОНЯТИЯ ©2021 Неофлекс. Все права защищены 3 ТЕСТ-КЕЙС ТЕСТОВЫЙ СЦЕНАРИЙ ТЕСТОВОЕ ПОКРЫТИЕ Какое подмножество из всех возможных тестовых случаев имеет наибольшую вероятность обнаружения максимального количества ошибок? ЦЕЛИ ТЕСТ ДИЗАЙНА Тесты должны покрывать весь функционал Тестов должно быть минимально достаточно ©2021 Неофлекс. Все права защищены 4 ЗАДАЧИ ТЕСТ ДИЗАЙНА Анализ требований и рисков Определение проверок Формализация проверок в виде тестовых сценариев Приоритезация проверок ©2021 Неофлекс. Все права защищены 5 диапазон возможных входных значений разделяется на группы значений, идентичных по воздействию на систему Если один тестовый случай в классе эквивалентности обнаруживает дефект, все другие тестовые случаи в рамках этого класса обнаружат тот же дефект Если один тестовый случай в классе эквивалентности не обнаруживает дефект, то ни один другой тестовый случай в рамках этого класса не сможет обнаружить дефект ЭКВИВАЛЕНТНОЕ РАЗБИЕНИЕ ©2021 Неофлекс. Все права защищены 6 ЭКВИВАЛЕНТНОЕ РАЗБИЕНИЕ ©2021 Неофлекс. Все права защищены 7 ДАНО: Система скоринга рассчитывает процентную ставку по кредиту для клиента, исходя из его возраста: От 18 до 25 лет – 18% От 25 до 45 лет – 16 % От 45 до 60 лет (включительно) – 20%
дополняет классы эквивалентности на границе изменения условий Определить диапазон значений Обозначить границы диапазонов На каждую границу создать три тест-кейса (значение до, на и после) АНАЛИЗ ГРАНИЧНЫХ ЗНАЧЕНИЙ ©2021 Неофлекс. Все права защищены 8 АНАЛИЗ ГРАНИЧНЫХ ЗНАЧЕНИЙ ©2021 Неофлекс. Все права защищены 99 ДАНО: Система скоринга рассчитывает процентную ставку по кредиту для клиента, исходя из его возраста: От 18 до 25 лет – 18% От 25 до 45 лет – 16 % От 45 до 60 лет (включительно) – 20% Классы эквивалентности Граничные значения тестовые сценарии разрабатываются таким образом, чтобы выполнить все возможные отдельные комбинации каждой пары входных параметров Ортогональные массивы (orthogonal arrays) Алгоритм всех пар (all-pairs algorithm) Утилиты ПОПАРНОЕ ТЕСТИРОВАНИЕ ©2021 Неофлекс. Все права защищены 10 ПОПАРНОЕ ТЕСТИРОВАНИЕ ©2021 Неофлекс. Все права защищены 11 ОРТОГОНАЛЬНЫЙ МАССИВ – таблица, где m - число строк, n - число столбцов, которое соответствует входным параметрам, k - количество вариантов значений элементов таблицы
Получаем все возможные комбинации входных данных Выбираем столбцы по принципу: любые два столбца содержат все комбинации значений этих столбцов (1-2, 2-3, 1-3) ПОПАРНОЕ ТЕСТИРОВАНИЕ ©2021 Неофлекс. Все права защищены 1112 АЛГОРИТМ ВСЕХ ПАР – комбинаторная методика, использующая алгоритм, генерирующий пары напрямую
Вместо 8 комбинаций (2*2*2), имеем 4 Наглядная разбивка на уникальные пары по столбцам ПОПАРНОЕ ТЕСТИРОВАНИЕ ©2021 Неофлекс. Все права защищены 513 ДАНО:
Структурируем параметры и их значения Первый столбец - наибольшее количество переменных, далее по убыванию ПОПАРНОЕ ТЕСТИРОВАНИЕ ©2021 Неофлекс. Все права защищены 14 Меняем порядок переменных в столбцах Поставщик, ОС, Расчет, чтобы обеспечить уникальность пар Дополняем тестовыми случаями для «прямой-курьер» и «посредник-пункт» «» – произвольные значения ПОПАРНОЕ ТЕСТИРОВАНИЕ ©2021 Неофлекс. Все права защищены 15 Если заданные параметры отсутствуют, то применяем эквивалентное разбиение: выбираем любое из выделенного класса PICT ПОПАРНОЕ ТЕСТИРОВАНИЕ 1. Создать текстовый файл с перечислением параметров и их возможных значений 2. Запустить PICT через CMD
©2021 Неофлекс. Все права защищены 16 13 кейсов набор условий, одновременное выполнение которых должно привести к определённому действию ТАБЛИЦА ПРИНЯТИЯ РЕШЕНИЙ ©2021 Неофлекс. Все права защищены 17 1. Определить условия 2. Определить возможные действия 3. Подсчитать общее количество комбинаций 4. Заполнить таблицу 5. Сделать ревью таблицы ТАБЛИЦА ПРИНЯТИЯ РЕШЕНИЙ ©2021 Неофлекс. Все права защищены 18
- в первом ряду чередуются, начиная с True - в каждом следующем ряду каждое значение предыдущего ряда увеличивается на единицу - в каждый ряд вписывается столько значений, сколько помещается ТАБЛИЦА ПРИНЯТИЯ РЕШЕНИЙ ©2021 Неофлекс. Все права защищены 2119
(например, нет смысла проверять пароль на совпадение с предыдущим, если он не состоит из 8 символов
Тест 1 Тест 2 Тест 3 Тест 4 Тест 5 система переходит в то или иное состояние в зависимости от того, какие операции над ней выполняются ПЕРЕХОДЫ СОСТОЯНИЙ ©2021 Неофлекс. Все права защищены 20 Таблица все возможные комбинации начальных и конечных состояний, включая действительные и недействительные переходы, инициирующие события, защитные условия и результирующие действия Диаграмма показывает только действительные переходы и исключает недействительные переходы ДИАГРАММА ПЕРЕХОДОВ СОСТОЯНИЙ ©2021 Неофлекс. Все права защищены 21
От бронирования билета до посадки в самолет ТАБЛИЦА ПЕРЕХОДОВ СОСТОЯНИЙ ©2021 Неофлекс. Все права защищены 22 Тест-кейсы: все валидные комбинации (отмечены оранжевым цветом), т.е. строки, по которым изменилось состояние системы ТАБЛИЦА ПЕРЕХОДОВ СОСТОЯНИЙ ©2021 Неофлекс. Все права защищены 23 Можно использовать и невалидные комбинации для тест-кейсов СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ ©2021 Неофлекс. Все права защищены 24 описывают, как действующее лицо (человек/другая система/устройство) взаимодействует с системой для достижения определенной цели Use case представляет собой множество сценариев:
СЦЕНАРИЙ ИСПОЛЬЗОВАНИЯ ЭЛЕМЕНТЫ ©2021 Неофлекс. Все права защищены 25
СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ ДИАГРАММА ©2021 Неофлекс. Все права защищены 26 ДАНО (ТЗ для ПО): для учеников
для учителя В UML (унифицированный язык моделирования) - диаграмма, отражающая отношения между участниками и прецедентами СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ ТЕКСТОВОЕ ОПИСАНИЕ ©2021 Неофлекс. Все права защищены 27 ТЕХНИКИ ТЕСТ ДИЗАЙНА ЭКВИВАЛЕНТНОЕ РАЗБИНИЕ АНАЛИЗ ГРАНИЧНЫХ ЗНАЧЕНИЙ ТАБЛИЦА ПРИНЯТИЯ РЕШЕНИЙ ПЕРЕХОДЫ СОСТОЯНИЙ СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ ©2021 Неофлекс. Все права защищены 28 Decision Table Testing Boundary Value Analysis Equivalence Partitioning State Transition Testing Use Case Testing ПОПАРНОЕ ТЕСТИРОВАНИЕ Pairwise Testing определяют все события, возникающие во время работы системы, и ее реакции на эти события Анализ граничных значений используется при наличии множества взаимосвязанных входных данных Попарное тестирование функционал разделяется на группы значений, идентичных по воздействию на систему Эквивалентное разбиение КВИЗ ©2021 Неофлекс. Все права защищены 29 Переходы состояний Таблица принятия решений Сценарии использования большинство ошибок может возникнуть на границах эквивалентных классов описание взаимодействия пользователя с системой для достижения определенной цели используется для анализа реакции системы на различные входные данные БЕЛЫЙ ЯЩИК ©2021 Неофлекс. Все права защищены 30 Покрытие кода показывает процент исходного кода программы, который был выполнен в процессе тестирования Способы измерения:
Error Guessing Предположение об ошибках Exploratory Testing Исследовательское тестирование Checklist-based Testing Тестирование на основе чек-листов ТЕХНИКИ, ОСНОВАННЫЕ НА ОПЫТЕ ©2021 Неофлекс. Все права защищены 30 предугадывание того, какие дефекты могут иметься в тестируемом объекте в результате ошибок на этапе разработки История работы приложения в прошлом Наиболее вероятные типы дефектов, допускаемых при разработке Типы дефектов, обнаруженные в схожих приложениях ПРЕДПОЛОЖЕНИЕ ОБ ОШИБКАХ ©2021 Неофлекс. Все права защищены 32 Используется следующая информация: Требования к заполнению: ФИО – русскими буквами, возможен дефис, тогда слово считается за одно ДР – цифровой формат ДД.ММ.ГГГГ, валидация на возраст от 23 до 65 лет МТ – цифровой формат +7(ХХХ)ХХХ-ХХ-ХХ Паспорт – цифровой формат ХХХХ ХХХХХХ Email – содержит @, домен проверяется Согласие – обязательно Отсутствие отчества – обязательно, если введены только фамилия и имя ПРЕДПОЛОЖЕНИЕ ОБ ОШИБКАХ ©2021 Неофлекс. Все права защищены 33 одновременное изучение программного продукта, проектирование тестов и их исполнение ИССЛЕДОВАТЕЛЬСКОЕ ТЕСТИРОВАНИЕ ©2021 Неофлекс. Все права защищены 34
метод создания тестов, при котором тестировщик использует высокоуровневые списки ТЕСТИРОВАНИЕ НА ОСНОВЕ ЧЕК-ЛИСТОВ ©2021 Неофлекс. Все права защищены 35 гибкость простота создания и поддержки простота визуализации недостаточная детализация может быть неудобно для отчетности различная интерпретация ИСПОЛЬЗОВАННЫЕ ИСТОЧНИКИ Алистер Коберн «Современные методы описания функциональных требований к системам» ( »Writing Effective Use Case» Alistair Cockburn) Ли Коупленд «Практическое руководство по разработке тестов программного обеспечения» («A practitioner's Guid to Software Test» Design Lee Copeland) Материалы ISTQB (International Software Testing Qualifications Board- международная организация, занимающаяся сертификацией специалистов в области QA) ©2021 Неофлекс. Все права защищены 36 СПАСИБО ЗА ВНИМАНИЕ! Виола Ленчик Специалист по тестированию ©2021 Неофлекс. Все права защищены 37 vlenchik@neoflex.ru |