Тестирование программного обеспечения
 Скачать 361.79 Kb.
|
|
8.2 Требования к проекту · Исходный код и всё, что необходимо для сборки и тестирования проекта, хранится в репозитории системы управления версиями · Операции копирования из репозитория, сборки и тестирования всего проекта автоматизированы и легко вызываются из внешней программы. 8.3 Организация На выделенном сервере организуется служба, в задачи которой входят: · получение исходного кода из репозитория; · сборка проекта; · выполнение тестов; · развёртывание готового проекта; · отправка отчетов. Локальная сборка может осуществляться: · по внешнему запросу, · по расписанию, · по факту обновления репозитория .4 Сборка по расписанию В случае сборки по расписанию (англ. 8.5 Преимущества · проблемы интеграции выявляются и исправляются быстро, что оказывается дешевле; · немедленный прогон модульных тестов для свежих изменений; · постоянное наличие текущей стабильной версии вместе с продуктами сборок - для тестирования, демонстрации, и т. п. · немедленный эффект от неполного или неработающего кода приучает разработчиков к работе в итеративном режиме с более коротким циклом. .6 Недостатки · затраты на поддержку работы непрерывной интеграции; · потенциальная необходимость в выделенном сервере под нужды непрерывной интеграции; · немедленный эффект от неполного или неработающего кода отучает разработчиков от выполнения периодических резервных включений кода в репозиторий. · в случае использования системы управления версиями исходного кода с поддержкой ветвления, эта проблема может решаться созданием отдельной «ветки» (англ. branch) проекта для внесения крупных изменений (код, разработка которого до работоспособного варианта займет несколько дней, но желательно более частое резервное копирование в репозиторий). По окончании разработки и индивидуального тестирования такой ветки, она может быть объединена (англ. merge) с основным кодом или «стволом» (англ. trunk) проекта. .7 Средства непрерывной интеграции · Bamboo · Hudson · CruiseControl · TeamCity · BuildBot · Travis CI 9. Покрытие кода тестами .1 Покрытие кода Определения для общего понимания темы: · Тестовое покрытие (Test Coverage) - это одна из метрик оценки качества тестирования программного обеспечения. Представляет собой величину, выраженную в процентах, которая отображает степень плотности покрытия тестами функциональных требований или исполняемого кода. Существует два основных подхода к оценке и измерению тестового покрытия: покрытие требований (можно соотнести с тестированием по методу черного ящика), покрытие кода (можно соотнести с тестированием по методу белого ящика). • Покрытие требований (Requirements Coverage) - оценка покрытия тестами функциональных и не функциональных требований к продукту путем построения матриц трассировки (traceability matrix); · Покрытие кода (Code Coverage) - оценка покрытия исполняемого кода тестами, путем отслеживания непроверенных в процессе тестирования частей программного обеспечения. Покрытие кода является важной метрикой для обеспечения качества тестируемого приложения, особенно если речь о проектах со сложной логикой и большим объемом кода. Анализ покрытия кода выполняется с помощью специального инструментария, который позволяет проследить в какие строки, ветви и т.д. кода, были вхождения во время работы автотестов. Наиболее известные инструменты для проведения измерения покрытия кода: AQTime, Bounds Checker, Bullseye Coverage, Coverage Meter, Clover, NCover, IBM Rational PurifyPlus, Intel Compiler, Intel Code Coverage Tool Prototype, JetBrains. С помощью анализа покрытия кода можно оценить плотность покрытия авто-тестами исполняемого кода тестируемого приложения (можно ответить на вопрос “какой объем тестирования мы (наши автотесты) выполняем?”). При детальном анализе результатов покрытия кода автотестами можно оценить покрытие отдельных компонентов системы (т.е. можно ответить на вопросы: что и в каком объеме мы тестируем?, в каких местах нужно оптимизировать покрытие?, какие места системы не проверяются тестами? и т.д.). Таким образом, зная данную метрику, станет ясно для каких тестовых случаев нужно создать новые тесты, или убрать дублирующие тесты. Данные мероприятия помогут увеличить значение метрики Code Coverage, что в свою очередь должно повысить качество кода и качество тестируемого приложения в целом. Естественно, чем выше показатель данной метрики - тем лучше, однако уже хорошо если у вас покрыты тестами наиболее сложные и важные фрагменты кода. Покрытие кода тестами - мера, показывающая, на сколько процентов исходный код программы был протестирован. Техника покрытия кода была одной из первых методик, изобретённых для систематического тестирования программного обеспечения Первое упоминание покрытия кода в публикациях появилось в 1963 году · Покрытие операторов - каждая ли строка исходного кода была выполнена и протестирована? · Покрытие условий - каждая ли точка решения (вычисления истинно ли или ложно выражение) была выполнена и протестирована? · Покрытие путей - все ли возможные пути через заданную часть кода были выполнены и протестированы? · Покрытие функций - каждая ли функция программы была выполнена? · Покрытие вход/выход - все ли вызовы функций и возвраты из них были выполнены? · Покрытие комбинаций - проверка всех возможных комбинаций результатов условий. При оценке покрытия кода тестируемого ПО собирается со специальными настройками или библиотеками и запускается в особом окружении, в результате чего для каждой выполняемой функции программы определяется местонахождение этой функции в исходном коде. Этот процесс позволяет разработчикам и специалистам по обеспечению качества определить части системы, которые при нормальной работе используются редко или никогда не используются (такие, как код обработки ошибок и т.п.). Тестировщики могут использовать результаты проверки покрытия для разработки дополнительных тестов или тестовых данных. .2 Практическое применение Обычно исходный код снабжается тестами, которые регулярно выполняются. Полученный отчёт анализируется с целью выявить невыполнявшиеся области кода, набор тестов обновляется, пишутся тесты для непокрытых областей. Цель состоит в том, чтобы получить набор тестов для регрессионного тестирования Степень покрытия кода обычно выражают в виде процента. Например, «мы протестировали 67 % кода». Смысл этой фразы зависит от того какой критерий был использован. Например, 67 % покрытия путей - это лучший результат чем 67 % покрытия операторов. Вопрос о связи значения покрытия кода и качества тестового набора ещё до конца не решён. Покрытие кода, по своей сути, является тестированием методом белого ящика. Тестируемое ПО собирается со специальными настройками или библиотеками и/или запускается в особом окружении, в результате чего для каждой используемой (выполняемой) функции программы определяется местонахождение этой функции в исходном коде. Этот процесс позволяет разработчикам и специалистам по обеспечению качества определить части системы, которые, при нормальной работе, используются очень редко или никогда не используются (такие как код обработки ошибок и т.п.). Это позволяет сориентировать тестировщиков на тестирование наиболее важных режимов. Тестировщики могут использовать результаты теста покрытия кода для разработки тестов или тестовых данных, которые расширят покрытие кода на важные функции. Как правило, инструменты и библиотеки, используемые для получения покрытия кода, требуют значительных затрат производительности и/или памяти, недопустимых при нормальном функционировании ПО. Поэтому они могут использоваться только в лабораторных условиях. Литература 1) Анашкина Н.В., Петухова Н.Н., Смольянинов В.Ю. Технологии и методы программирования. ) Кнут Д. Искусство программирования для ЭВМ ) Соммервил И., Инженерия программного обеспечения. 6-е изд. ) Орлов С.А., Технологии разработки программного обеспечения. ) Брауде Эрик Дж., Технология разработки программного обеспечения. ) Жоголев Е.А., Технология программирования. ) Мейер Б., Бодуэн К. Методы программирования. 8) ) ) ) ) http://bugscatcher.net/archives/1103 Приложение 1 Тест прошел Тест Один из тестов не прошел не прошел Все тесты завершились успешно Приложение 2
| ||||||||||||||||||||||