Документация обычно содержится в тестпланах
 Скачать 270.2 Kb.
|
Результаты тестирования по версиямНазначение этого модуля - выявлять версии, начиная с которых "сломались" тесты. Укажите нужный тест-план для отбора сценариев и приложение покажет таблицу с результатами их выполнения в разрезе версий. МетрикиИспользуйте метрики для верхнеуровневого контроля за процессом тестирования. Перечень метрик с их значениями доступен в модуле "Метрики". В категории "Тестирование" вычисляются следующие метрики:
Оценка необходимого количества тестов. Цель работы: изучить классификацию видов тестирования, практически закрепить эти знания путем генерации тестов различных видов, научиться планировать тестовые активности в зависимости от специфики, поставляемой на тестирование функциональности. Тест ГородскаяБиблиотека  Вывод: я провел план тестирования ИС Городской Библиотеки. Контрольные вопросы 1. Что такое тестирование? Тестирование - процесс и метод психологической диагностики, использующий стандартизированные вопросы и задачи 2. Какие существуют типы тестов по покрытию? Дайте Характеристику каждому. Smoke test – тестирование системы для определения корректной работы базовых функций программы в целом, без углубления в детали. При проведении теста определяется пригодность сборки для дальнейшего тестирования. Minimal Acceptance Test (MAT, Positive test): тестирование системы или ее части только на валидных данных (валидные данные – это данные, которые необходимо использовать для корректной работы модуля/функции). При тестировании проверяется правильной работы всех функций и модулей с валидными данными. Для крупных и сложных приложений используется ограниченный набор сценариев и функций. Acceptance Test (AT): полное тестирование системы или ее части как на корректных, так и на некорректных данных/сценариях. Вид теста, направленный на подтверждение того, что приложение может использоваться по назначению при любых условиях. Тест на этом уровне покрывает все возможные сценарии тестирования: проверку работоспособности модулей при вводе корректных значений; проверку при вводе некорректных значений; использование форматов данных отличных от тех, которые указаны в требованиях; проверку исключительных ситуаций, сообщений об ошибках; тестирование на различных комбинациях входных параметров; проверку всех классов эквивалентности; тестирование граничных значений интервалов; сценарии, не предусмотренные спецификацией и т.д. Какие существуют тестовые активности? Дайте характеристику Каждому. Defect Validation – проверка результата исправления дефектов. Включает в себя проверку на воспроизводимость дефектов, которые были исправлены в новой сборке продукта, а также проверку того, что исправление не повлияло на ранее работавшую функциональность New Feature Test (NFT, AT of NF) – определение качества поставленной на тестирование новой функциональности, которая ранее не тестировалась. Данный тип тестирования включает в себя: проведение полного теста (АТ) непосредственно новой функциональности; тестирование новой функциональности на соответствие документации; проверку всевозможных взаимодействий ранее реализованной функциональности с новыми модулями и функциями. Regression testing (регрессионное тестирование) – проводится с целью оценки качества ранее реализованной функциональности. Включает в себя проверку стабильности ранее реализованной функциональности после внесения изменений, например добавления новой функциональности, исправление дефектов, оптимизация кода, разворачивание приложения на новом окружении. Регрессионное тестирование может быть проведено на уровне Smoke, MAT или AT. Какие существуют типы тестов по изолированности компонентов? Дайте характеристику каждому. Unit /component (модульное) – тестирование отдельных компонентов (модулей) программного обеспечения. Integration (интеграционное) – тестируется взаимодействие между интегрированными компонентами или системами. System (системное) – тестируется работоспособность системы в целом с целью проверки того, что она соответствуя установленным требованиям. Какие существуют типы тестов по подготовленности? Дайте Характеристику каждому. Интуитивное тестирование выполняется без подготовки к тестам, без определения ожидаемых результатов, проектирования тестовых сценариев. Исследовательское тестирование – метод проектирования тестовых сценариев во время выполнения этих сценариев. Тестировщик совершает проверки, продумывает их, придумывает новые проверки, часто использует для этого полученную информацию. Тестирование по документации – тестирование по подготовленным тестовым сценариям, руководству по осуществлению тестов. Характеристику каждому. Функциональное тестирование рассматривает заранее указанное поведение и основывается на анализе спецификаций функциональности компонента или системы в целом. Тестирование безопасности — это стратегия тестирования, используемая для проверки безопасности системы, а также для анализа рисков, связанных с обеспечением целостного подхода к защите приложения, атак хакеров, вирусов, несанкционированного доступа к конфиденциальным данным. Тестирование взаимодействия (Interoperability Testing) – это функциональное тестирование, проверяющее способность приложения взаимодействовать с одним и более компонентами или системами и включающее в себя тестирование совместимости (compatibility testing) и интеграционное тестирование Характеристику каждому. 1. Тестирование пользовательского интерфейса (GUI) – тестирование, выполняемое путем взаимодействия с системой через графический интерфейс пользователя. · навигация · цвета, графика, оформление · содержание выводимой информации · поведение курсора и горячие клавиши · отображение различного количества данных (нет данных, · минимальное и максимальное количество) · изменение размеров окна или разрешения экрана 2. Тестирование удобства использования (Usability Testing) – тестирование с целью определения степени понятности, легкости в изучении и использовании, привлекательности программного продукта для пользователя при условии использования в заданных условиях эксплуатации. · визуальное оформление · навигация · логичность 3. Тестирование доступности (Accessibility testing) – тестирование, которое определяет степень легкости, с которой пользователи с ограниченными способностями могут использовать систему или ее компоненты. 4. Тестирование интернационализации – тестирование способности продукта работать в локализованных средах (способность изменять элементы интерфейса в зависимости от длины и направления текста, менять сортировки/форматы под различные локали и т.д.). (Максим Черняк). Интернационализация – это процесс, упрощающий дальнейшую адаптацию продукта к языковым и культурным особенностям региона, отличного от того, в котором разрабатывался продукт. Это адаптация продукта для потенциального использования практически в любом месте, Интернационализация производится на начальных этапах разработки, в то время как локализация — для каждого целевого языка. 5. Тестирование локализации (Localization testing) – тестирование, проводимое с целью проверить качество перевода продукта с одного языка на другой. Тестирования? Изучение и анализ предмета тестирования начинается еще до утверждения спецификации и продолжается на стадии разработки (кодирования) программного обеспечения. Конечной целью этапа изучение и анализ предмета тестирования является получение ответов на два вопроса: - какие функциональности предстоит протестировать, - как эти функциональности работают. 14. Что происходит на этапе планирования тестирования? Планирование тестирования происходит на стадии разработки (кодирования) программного обеспечения. На стадии планирования тестирования перед тестировщиком стоит задача поиска компромисса между объемом тестирования, который возможен в теории, и объемом тестирования, который возможен на практике. На данной стадии необходимо ответить на вопрос: как будем тестировать? Результатом планирования тестирования является тестовая документация Программного продукта? Для последующих билдов композиции тестов могут быть следующими: - Если не была добавлена новая функциональность, то: DV+MAT. Т.е., выполняется проверка исправления дефектов программистом (Defect Validation, DV), а также проверка работоспособности остальной функциональности после исправления дефектов на позитивных сценариях (Minimal Acceptance Test, MAT). - Если была добавлена новая функциональность, то: Smoke+DV+NFT+Regression Test. В частности, выполняется поверхностное тестирование (Smoke Test), проверка исправления дефектов программистом (Defect Validation, DV), тестирование новых функциональностей (New Feature Testing, NFT), проверка старых функциональностей, т.е. регрессионное тестирование (Regression Test). - Если была добавлена новая функциональность, то возможен также вариант: DV+NFT+Resression test, т.е. без выполнения Smoke Test. В зависимости от типа и специфики приложения (web, desktop, mobile) выполняют специализированные тесты (например, кроссбраузерное или кроссплатформенное тестирование, тестирование локализации и интернационализации и др.). Цель работы: изучить классификацию видов тестирования, практически закрепить эти знания путем генерации тестов различных видов, научиться планировать тестовые активности в зависимости от специфики, поставляемой на тестирование функциональности. Тест ГородскаяБиблиотека Вывод: я провел план тестирования ИС Городской Библиотеки. Контрольные вопросы 1. Что такое тестирование? Тестирование - процесс и метод психологической диагностики, использующий стандартизированные вопросы и задачи 2. Какие существуют типы тестов по покрытию? Дайте Характеристику каждому. Smoke test – тестирование системы для определения корректной работы базовых функций программы в целом, без углубления в детали. При проведении теста определяется пригодность сборки для дальнейшего тестирования. Minimal Acceptance Test (MAT, Positive test): тестирование системы или ее части только на валидных данных (валидные данные – это данные, которые необходимо использовать для корректной работы модуля/функции). При тестировании проверяется правильной работы всех функций и модулей с валидными данными. Для крупных и сложных приложений используется ограниченный набор сценариев и функций. Acceptance Test (AT): полное тестирование системы или ее части как на корректных, так и на некорректных данных/сценариях. Вид теста, направленный на подтверждение того, что приложение может использоваться по назначению при любых условиях. Тест на этом уровне покрывает все возможные сценарии тестирования: проверку работоспособности модулей при вводе корректных значений; проверку при вводе некорректных значений; использование форматов данных отличных от тех, которые указаны в требованиях; проверку исключительных ситуаций, сообщений об ошибках; тестирование на различных комбинациях входных параметров; проверку всех классов эквивалентности; тестирование граничных значений интервалов; сценарии, не предусмотренные спецификацией и т.д. User Acceptance Testing (UAT) ( приемочноетестирование ) – формальное тестирование по отношению к потребностям, требованиям и бизнес-процессам пользователя, проводимое с целью определения соответствия системы критериям приёмки и дать возможность пользователям, заказчикам или иным авторизованным лицам определить, принимать систему. Alpha Testing (альфа-тестирование) – моделируемое или действительное функциональное тестирование, выполняется в организации, разрабатывающей продукт, но не проектной командой (это может быть независимая команда тестировщиков, потенциальные пользователи, заказчики). Альфа тестирование часто применяется к коробочному программному обеспечению в качестве внутреннего приемочного тестирования. Beta Testing (бета-тестирование) – эксплуатационное тестирование потенциальными или существующими клиентами/заказчиками на внешней стороне (в среде, где продукт будет использоваться) никак связанными с разработчиками, с целью определения действительно ли компонент или система удовлетворяет требованиям клиента/заказчика и вписывается в бизнес-процессы. Бета-тестирование часто проводится как форма внешнего приемочного тестирования готового программного обеспечения для того, чтобы получить отзывы рынка. Какие существуют типы тестов по объекту тестирования? Дайте характеристику каждому. Functional testing (функциональное тестирование) – это тестирование, основанное на анализе спецификации, функциональности компонента или системы. Функциональным можно назвать любой вид тестирования, который, согласно требованиям, проверяет правильную работу. Safety testing (тестирование безопасности) – тестирование программного продукта с целью определить его безопасность (безопасность – способность программного продукта при использовании оговоренным образом оставаться в рамках приемлемого риска причинения вреда здоровью, бизнесу, программам, собственности или окружающей среде. Security testing (тестирование защищенности) – это тестирование с целью оценить защищенность программного продукта. Тестирование защищенности проверяет фактическую реакцию защитных механизмов, встроенных в систему, на проникновение. Compatibility testing (тестирование совместимости) – процесс тестирования для определения возможности взаимодействия программного продукта, проверка работоспособности приложения в различных средах (браузеры и их версии, операционные системы, их типа, версии и разрядность) Какие существуют типы функциональных тестов? Дайте Характеристику каждому. Функциональное тестирование рассматривает заранее указанное поведение и основывается на анализе спецификаций функциональности компонента или системы в целом. Тестирование безопасности — это стратегия тестирования, используемая для проверки безопасности системы, а также для анализа рисков, связанных с обеспечением целостного подхода к защите приложения, атак хакеров, вирусов, несанкционированного доступа к конфиденциальным данным. Тестирование взаимодействия (Interoperability Testing) – это функциональное тестирование, проверяющее способность приложения взаимодействовать с одним и более компонентами или системами и включающее в себя тестирование совместимости (compatibility testing) и интеграционное тестирование Какие существуют типы нефункциональных тестов? Дайте Характеристику каждому. 1. Тестирование пользовательского интерфейса (GUI) – тестирование, выполняемое путем взаимодействия с системой через графический интерфейс пользователя. · навигация · цвета, графика, оформление · содержание выводимой информации · поведение курсора и горячие клавиши · отображение различного количества данных (нет данных, · минимальное и максимальное количество) · изменение размеров окна или разрешения экрана 2. Тестирование удобства использования (Usability Testing) – тестирование с целью определения степени понятности, легкости в изучении и использовании, привлекательности программного продукта для пользователя при условии использования в заданных условиях эксплуатации. · визуальное оформление · навигация · логичность 3. Тестирование доступности (Accessibility testing) – тестирование, которое определяет степень легкости, с которой пользователи с ограниченными способностями могут использовать систему или ее компоненты. 4. Тестирование интернационализации – тестирование способности продукта работать в локализованных средах (способность изменять элементы интерфейса в зависимости от длины и направления текста, менять сортировки/форматы под различные локали и т.д.). (Максим Черняк). Интернационализация – это процесс, упрощающий дальнейшую адаптацию продукта к языковым и культурным особенностям региона, отличного от того, в котором разрабатывался продукт. Это адаптация продукта для потенциального использования практически в любом месте, Интернационализация производится на начальных этапах разработки, в то время как локализация — для каждого целевого языка. 5. Тестирование локализации (Localization testing) – тестирование, проводимое с целью проверить качество перевода продукта с одного языка на другой. тестирование – процесс тестирования с целью определения производительности программного продукта. 7. Тестирование требований (Requirements testing) – проверка требований на соответствие основным характеристикам качества. 8. Тестирование прототипа (Prototyte testing) – метод выявления структурных, логических ошибок и ошибок проектирования на ранней стадии развития продукта до начала фактической разработки. 9. Тестирование установки (Installability testing) и лицензирования – процесс тестирования устанавливаемости программного продукта. Тестирование на отказ и восстановление (Failover and Recovery Testing ) – тестирование при помощи эмуляции отказов системы или реально вызываемых отказов в управляемом окружении. Какие этапы составляют процесс тестирования? 1. Проверка в нормальных условиях. Предполагает тестирование на основе данных, которые характерны для реальных условий функционирования программы. 2.Проверка в экстремальных условиях. Тестовые данные включают граничные значения области изменения входных переменных, которые должны восприниматься программой как правильные данные. Типичными примерами таких значений являются очень маленькие или очень большие числа и отсутствие данных. Еще один тип экстремальных условий - это граничные объемы данных, когда массивы состоят из слишком малого или слишком большого числа элементов. 3.Проверка в исключительных ситуациях. Проводится с использованием данных, значения которых лежат за пределами допустимой области изменений. Известно, что все программы разрабатываются в расчете на обработку какого-то ограниченного набора данных. Что происходит на этапе изучения и анализа предмета Тестирования? Изучение и анализ предмета тестирования начинается еще до утверждения спецификации и продолжается на стадии разработки (кодирования) программного обеспечения. Конечной целью этапа изучение и анализ предмета тестирования является получение ответов на два вопроса: - какие функциональности предстоит протестировать, - как эти функциональности работают. 14. Что происходит на этапе планирования тестирования? Планирование тестирования происходит на стадии разработки (кодирования) программного обеспечения. На стадии планирования тестирования перед тестировщиком стоит задача поиска компромисса между объемом тестирования, который возможен в теории, и объемом тестирования, который возможен на практике. На данной стадии необходимо Разработка тестовых пакетов. Можно использовать рейси пакетов для распространения конкретных пакетов в ограниченную группу тестировщиков. Пакеты, которые вы уже опубликовали в магазине, будут использоваться для других клиентов, поэтому их работа не будет нарушена. С помощью рейсов пакетов различаются только пакеты; сведения о списке магазинов будут одинаковыми для всех клиентов. Любой пользователь в группе рейсов получит пакеты, включенные в пакетный перелет, а клиенты, которые не входят в группу рейсов, продолжают принимать ваши обычные (нерейсические) пакеты. Если позже вы решите, что вы хотите сделать пакеты из пакета, доступного для всех клиентов, вы можете легко использовать эти же пакеты в нерейсовой отправке. Обратите внимание, что процесс сертификации применяется к пакетным обновлениям так же, как и при любой отправке, однако некоторые wack сбои передаются в виде заметок и разрешают отправку для рейса. Этот ослабление проверок WACK только в том случае, когда пакет передается в ограниченную аудиторию и предназначен для помощи при тестировании и подготовке к выпуску пакета. Ошибки WACK должны быть исправлены до общего выпуска. При настройке рейсов пакетов можно указать пользователей, которые должны получать определенные пакеты, добавив их в известную группу пользователей (иногда называемую группой рейсов). Любой участник тестовой группы, который использует устройство с версией Windows 10, поддерживающей тестовые пакеты (Windows.Desktop сборки 10586 или более поздней; Windows.Mobile сборки 10586.63 или более поздней или Xbox One), получит тестовые пакеты, предназначенные для этой группы. (Рейси пакета могут включать пакеты, предназначенные для любой версии ОС, включая Windows 8.1/Windows Phone 8,1 или более раннюю версию, если ранее опубликованное приложение уже поддерживает их.) Все, кто не был добавлен в одну из групп рейсов или использует устройство, которое не поддерживает рейси пакетов, получит пакеты из нерейсовой отправки. Важно! Участники тестовых групп на настольных компьютерах и мобильных устройствах получат пакеты автоматически, когда вы предоставите обновления. Однако участники ваших тестовых групп, пользующиеся устройствами Xbox, должны будут проверять наличие обновлений вручную, чтобы получить последние пакеты. Они должны будут убедиться, что вход в систему на используемом ими устройстве выполнен с помощью учетной записи Майкрософт (с соответствующим адресом электронной почты, указанном в вашей группе известных пользователей). Обратите внимание, что тестовые пакеты не будут предоставляться в Магазине Майкрософт для бизнеса и Магазине Майкрософт для образовательных учреждений. Это связано с тем, что для получения тестового пакета участники ваших групп известных пользователей должны выполнить вход с учетной записью Майкрософт. Все приобретения, сделанные через Магазин Майкрософт для бизнеса или Магазин Майкрософт для образовательных учреждений, получат ваши нетестовые пакеты. Совет Тестовые пакеты предлагаются только выбранным вами пользователям. Чтобы распространить пакеты среди случайно выбранных пользователей в указанных процентных частях, можно воспользоваться постепенным выпуском пакета. Можно также объединить выпуск с тестовыми пакетами, если требуется постепенно распространять обновление в одной из тестовых групп. В отличие от тестовых пакетов, параметры, выбранные для постепенного выпуска пакета, все же действуют для клиентов, которые приобретают ваше приложение через Магазин Майкрософт для бизнеса и Магазин Майкрософт для образовательных учреждений. Совет Подумайте также о способе получения отзывов о вашем приложении от пользователей тестового пакета. Мы рекомендуем добавить в приложение элемент управления для запуска Центра отзывов, чтобы пользователи могли оставлять отзывы напрямую; вы сможете просмотреть их отзывы в отчете об отзывах для приложения). |