Глава 16. Пример сводного отчета по системным испытаниям 369
k
На приемочные испытания или
выпуск программного продукта
Рис. 16.1. Обзор системных испытаний
Сводный отчет по тестированию не обязательно включает детализованные ре
зультаты прогона каждого теста, однако, он может содержать ссылки на эти результа
ты в случае, если они были скомпилированы и архивированы. Сбор и архивирование всех результатов тестирования — это одно из преимуществ коммерческого инстру
ментария управления процессом тестирования. Если в результате применения по
добного инструментария все тесты объединяются в рамках одного документа, свод
ный отчет по тестированию будет содержать ссылки на этот документ.
В оставшейся части главы приводится пример сводного отчета по тестированию.
Обратите внимание на то, что в этом примере содержатся элементы, которые могут использоваться в других отчетах. Такими элементами, в частности, являются:
• Отчет о состоянии тестирования.
• Отчет об открытых ошибках.
• Сводка по обнаруженным ошибкам по степени их серьезности.
Сводный отчет по тестированию ТМТ
TMT-TPS-10
Идентификатор документа: TMT-TSR-10
Версия: 0.2
Авторы: Джеймс Барнс (James Barnes)
Набор инструментальных средств управления тестированием
Версия 1.0
Сводный отчет по тестированию
Хронология версий
Версия
0.1 0.2
Дата
12/02/2001 12/03/2001
Автор
Дж. Барнс
Дж. Барнс
Описание
Описание результатов тестирования
Изменения, основанные на пересмотрах
Утверждено
Тестирования
Брит Гейтер (Bret Gater), менеджер отдела тестирования
Дата утверждения
12/03/2001 370
Сводный отчет по тестированию ТМТ
TMT-TPS-10
Содержание
1. Введение 371
2. Сводка по результатам тестирования 371
3. Свойства, которые должны тестироваться 375
4. Свойства, которые не должны тестироваться 375
5. Отклонения от плана тестирования 376
6. Соблюдение графика 376
7. Ссылки 376
Приложение 1 — Список аббревиатур 376
Приложение 2 — Определение терминов 376
Приложение 3 — Сообщения электронной почты от утверждающих лиц 376
От: Брит Гейтер (Bret Gater) [bgater@tmtco.com] 376
1. Введение
Назначение этого документа заключается в представлении отчета о результатах системных испыта
ний набора инструментальных средств управления тестированием (Test Management Toolkit, ТМТ).
Тесты производились в соответствии с документом "Набор инструментальных средств управления тестированием, План тестирования": http://www.tmtcointernal.com/usr/www/docstores/desion/Dlans/TMT-TP-10.doc.
Свойства, на которые производятся ссылки в этом документе, находятся в документе определения требований, именуемого "Набор инструментальных средств управления тестированием, Определе
ние требований": httD://www.tmtcointernal.com/usr/www/docstores/desian/reauirements^MT-RD-10.doc.
2. Сводка по результатам тестирования
Три завершенных цикла тестирования, которые были проведены для профаммного продукта ТМТ, на
100% реализуют комбинированное тестирование системы. К моменту прогона заключительного теста было пройдено 95% тестов, причем катастрофические ошибки обнаружены не были. Используя по
лученные результаты, команда тестирования рекомендует утвердить выпуск этого программного продукта.
Сводка по ошибкам, остающимся актуальными к концу тестирования, приводится в таблице 2.2.
Накопительная сводка по ошибкам, найденным во время тестирования профаммного продукта ТМТ, показана в таблице 2.3. Сводка по ошибкам также представлена в виде гистограммы на рис. 3.1.
371
Сводный отчет по тестированию Т М Т TMT-TPS-10
Таблица 2.1. Отчет о состоянии тестирования
Тестовый набор
3.1.1. Пользовательский интерфейс
3.1.2. Навигация
3.1.3. Аутентификация пользователей — клиент
3.1.4. Аутентификация пользователей — администратор
3.1.5. Текущие проекты
3.1.6. Завершенные проекты
3.1.7. Создание проекта
3.1.8. Изменение проекта
3.1.9. Удаление проекта
3.1.10. Создать тестовый случай или набор
3.1.11. Измени тестовый случай или набор
3.1.12. Удалить тестовый случай или набор
3.1.13. Показать тест
3.1.14. Показать тестовый набор
3.1.15. Прогнать одиночный тест
3.1.16. Прогнать тестовый набор
3.1.17. Сводный отчет по ошибкам
3.1.18. Результаты тестирования/Одиночный тест
3.1.19. Результаты тестирования/Тестовый набор
3.1.20. Создать матрицу прослеживаемости
3.1.21. Резервное копированиеЯестовые случаи
3.1.22. Резервное копирование/Тестовые наборы
# тестов
20
25
12 12
15
15
12 12
12
15
15
15
10
10
10 10
12
15
15
10
12
12
# про
шедших
18
24
12 12
15
15
12 12
12
15
15
15
10 10
10
10 11
15
15
9
12
12
# непро
шедших
2
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
1
0
0
# не вы
полненных
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
% выпол
ненных
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
372
Сводный отчет по тестированию ТМТ
TMT-TPS-10
Окончание табл. 2.1
Тестовый набор
3.1.23. Резервное копирование/Результаты прогона тестов
3.1.24. Восстановление/
Тестовые случаи
3.1.25. Восстановление/
Тестовые наборы
3.1.26. Восстановление/
Результаты прогона тестов
3.1.27. Экспорт/Тестовые случаи
3.1.28. Экспорт/Тестовые наборы
3.1.29. Экспорт/Результаты
прогона тестов
3.1.30. Справка
3.1.31. Многопользователь
ские функциональные возможности
# тестов
12 12 12 12 12 12 12
18
10 408
# про
шедших
12 12 12 12 11 11 11
18
10
400
# непро
шедших
0
0
0
0
1
1
1
0
0
8
# не вы
полненных
0
0
0
0
0
0
0
0
0
0
% выпол
ненных
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
373
Сводный отчет по тестированию ТМТ TMT-TPS-10
Таблица 2.2. Отчет об открытых ошибках
Инструментарий по управлению тестированием
Сводка по открытым ошибках
Дата просмотра: 30-11-02
Посетители
Иденти
фикатор
ошибки
В3.1.1А
В3.1.1В
ВЗ.1.2
ВЗ.1.16
ВЗ.1.19
ВЗ.1.26
ВЗ.1.27
ВЗ.1.28
Состояние
Назначено
Назначено
Назначено
Назначено
Назначено
Назначено
Назначено
Назначено
Серьез
ность
Малая
Малая
Малая
Малая
Малая
Большая
Большая
Большая
Дата обна
ружения
15-10-01 16-10-01 17-10-01 20-10-01 22-10-0.1 01-11-01 01-11-01 01-11-01
Сводка по ошибке
Ошибка в метке поля "Test
Identifier". Tset Identifier
Ошибка в метке поля "Test
Name". *Test Nnme
Пропущена метка меню "Utility Menu"
Наложение полей Pass
(Пройдено) и Fail (Сбой)
Попытка выбора матрицы трассировки в корневом каталоге. Должен быть каталог /Trace
При экспорте "Test Case"
(Тестовый случай) данные оказываются разрушенными
При экспорте "Test Suite"
(Тестовый набор) данные оказываются разрушенными
При экспорте "Test Result"
(Результаты прогона тестов) данные оказываются разрушенными
Действие
Исправлено в 1.0
Исправлено в 1.0
Исправлено в 1.0
Исправлено в 1.0
Исправлено в 1.0
Отложено до версии
1.1
Отложено до версии
1.1
Отложено до версии
1.1
Примечания: ВЗ.1.26, ВЗ.1.27 и ВЗ.1.28 — для решения проблемы требуются архитектурные изменения, которые будут выполнены в следующей версии программы
Таблица 2.3. Сводка по ошибкам, найденным во время тестирования
Катастрофические
Крупные
Мелкие
Неделя 1
5
6
25
Неделя 2
6
7
32
Неделя 3
4
5
18
Неделя 4
4
4
7
Неделя 5
2
3
3
Неделя 6
0
0
2
374
Сводный отчет по тестированию ТМТ TMT-TPS-10 3. Свойства, которые должны тестироваться С целью обеспечения гарантии того, что программный продукт ТМТ удовлетворяет требованиям, указанным в спецификации требований ТМТ, были протестированы следующие свойства: • Требование 3.1.1. Пользовательский интерфейс • Требование 3.1.2. Навигация • Требование 3.1.3. Аутентификация пользователей — клиент • Требование 3.1.4. Аутентификация пользователей — администратор • Требование 3.1.5. Текущие проекты • Требование 3.1.6. Завершенные проекты • Требование 3.1.7. Создание нового проекта • Требование 3.1.8. Изменение проекта • Требование 3.1.9. Удаление проекта • Требование 3.1.10. Создание тестового случая или набора • Требование 3.1.11. Изменение тестового случая или набора • Требование 3.1.12. Удаление тестового случая или набора • Требование 3.1.13. Отображение теста • Требование 3.1.14. Отображение тестового набора • Требование 3.1.15. Прогон одиночного теста • Требование 3.1.16. Прогон тестового набора • Требование 3.1.17. Создание списка прогона • Требование 3.1.18. Выполнение списка прогона • Требование 3.1.19. Сводный отчет по ошибкам • Требование 3.1.20. Результаты тестирования — одиночный тест • Требование 3.1.21. Результаты тестирования — тестовый набор или список прогона • Требование 3.1.22. Создание матрицы прослеживаемости • Требование 3.1.23. Резервное копирование тестовых случаев • Требование 3.1.24. Резервное копирование тестовых наборов • Требование 3.1.25. Резервное копирование результатов прогона тестов • Требование 3.1.26. Восстановление тестовых случаев • Требование 3.1.27. Восстановление тестовых наборов • Требование 3.1.28. Восстановление результатов прогона тестов • Требование 3.1.29. Экспорт тестовых случаев • Требование 3.1.30. Экспорт тестовых наборов • Требование 3.1.31. Экспорт результатов прогона тестов • Требование 3.1.32. Получение справки • Требование 3.1.33. Многопользовательские функциональные возможности • В ходе прогона тестов по всем свойствам получены результаты, которые описаны ранее, в разделе 2. 4. Свойства, которые не должны тестироваться Ниже приводится список функциональных свойств и/или конфигураций системы, которые не тести ровались. • Web-сервер (Apache или IIS) непосредственно не тестировался. 375
Сводный отчет по тестированию ТМТ
TMT-TPS-10
• Не проводилось расширенное тестирование клиент/серверной архитектуры под большой на
грузкой. Многопользовательские функциональные возможности тестировались для пяти ре
альных пользователей, что является минимальной многопользовательской конфигурацией.
5. Отклонения от плана тестирования
Отклонения от плана тестирования не обнаружены.
6. Соблюдение графика
Тестирование было завершено по графику, хотя были обнаружены небольшие отклонения дат нача
ла и завершения для индивидуальных циклов тестирования.
7. Ссылки
Chris Brown, Test Management Toolkit, Requirements Definition (Набор инструментальных средств
управления тестированием, Определение требований). Документ TMT-RD-10, который размещает
ся под управлением системы контроля документов по адресу: http://wvvw.trntcointernal.corn/usr/www/docstores/clesiqn/reauirernents/TMT-RD-10.doc
Chris Brown and J. Barnes, Test Management Toolkit, Test Plan (Набор инструментальных средств
управления тестированием, План тестирования). Документ ТМТ-ТР-10, который размещается под управлением системы контроля документов по адресу: httD://www.tmtcointernal.com/usr/www/docstores/desiqn/plans/TMT-TP-10.doc
Chris Brown и J. Barnes, Test Management Toolkit, Release 1.0. Test Procedure Specification (Набор
инструментальных средств управления тестированием, Спецификация тестовой процедуры
ТМТ). Документ TMT-TPS-10, который размещается под управлением системы контроля документов по адресу: httD://www.tmtcointernal.com/usrAwww/docstores/desiqn/plans^MT-TPS-10.doc
Приложение 1 —Список аббревиатур
Отсутствует
Приложение 2 — Определение терминов
Отсутствует
Приложение 3 — Сообщения электронной почты от утверждающих лиц
От: Брит Гейтер (Bret Gater) [bgater@tmtco.com]
Отправлено: четверг 9/10/2001 07:30
Кому: Дж. Варне [jbarnes@tmtco]; test@tmtco; development@tmtco
Копия: marketing@tmtco; costumersupport@tmtco
Тема: Сводка по тестированию ТМТ 1.0
Уважаемые члены команды,
Я просмотрел сводный отчет по тестированию TMT-TSR-10, версия 2, и утвердил его, поскольку он точно представляет результаты тестирования. Команда тестирования рекомендует утвердить выпуск программного продукта ТМТ, версия 1.0. Поздравляю разработчиков и тестировщиков с достигнутым успехом!
С наилучшими пожеланиями, Брит
Брит Гейтер
Менеджер, отдел программирования
TMTCO
376
Литература
1. Albrecht, Allan J. (1979). "Measuring Application Development Productivity." Proceedings of
the IBM Application Development Symposium, 83-92.
2. Basili, V. R. and D. M. Weiss. (1984). "A Methodology for Collecting Valid Software Engi
neering Data." IEEE Transactions on Software Engineering, SE-10 (6).
3. Beizer, Boris. (1995). Black-Box Testing: Techniques for Functional Testing of Software and Systems.
New York: Wiley.
4. Belford, P. C, R. A. Berg, and T. L. Hannan. (1979). "Central Flow Control Software Devel
opment: A Case Study of the Effectiveness of Software Engineering Techniques," Proceed
ings from the Fourth Summer Software Engineering Workshop, SEL-79-005.
5. Black, Rex. (1999). Managing the Test Process. Redford, WA: Microsoft Press.
6. Boehm, Barry W. (1981). Software engineering economics. Englewood Cliffs, NJ: Prentice-Hall, Inc.
7. Boehm, Barry W. (1988). "A spiral model for software development and enhancement."
IEEE Computer, 21(5) (May): 61-72.
8. Boehm, Barry W. (1991). "Software risk management: Principles and practices." IEEE Soft
ware, 8(1) (January): 32-41.
9. Boehm, Barry W. (2000). Software Cost Estimation with COCOMO II. Englewood Cliffs, NJ:
Prentice Hall.
10. Brooks, Fred. (1982). The Mythical Man-Month: Essays on Software Engineering. Reading, MA:
Addison-Wesley.
11. Burnstein, Ilene, C.R. Carlson, and T. Suwanassart. (1996). "Developing a Testing Maturity
Model." Proceeding of the Ninth International Software Quality Week Conference, San Francisco,
May, 1996. Note: Ilene Burnstein is affiliated with the Illinois Institute of Technology, where work on the Testing Maturity Model is being conducted.
12. Cooley, J. W., and J. W. Tukey. (1965). "An Algorithm for Machine Calculation of Complex
Fourier Series." Mathematics of Computation, Vol. 19, pp. 297-301.
13. Curtis, Bill, Herb Krasner, Vincent Shen, and Neil Iscoe. (1987). "On building software process models under the lamppost." Proceedings of the 9th International Conference on Software
Engineering (pp. 96-103). Monterey, CA: IEEE Computer Press Society.
14. DeMarco, Tom, and Timothy Lister. (1987). Peopleware: Productive Projects and Teams. New
York: Dorset House Publishing.
15. Dustin, Elfriede, Jeff Rashka, and J o h n Paul. (1999). Automated Software Testing: Introduction,
Management, and Performance. Reading, MA: Addison-Wesley.
16. Fagan, M.E. (1976). "Design and code inspections to reduce errors in program develop
ment." IBM Systems Journal, 15(3): 182-210.
17. Fewster, Mark, and Dorothy Graham. (1999). Software Test Automation. Reading, MA: Addi
son-Wesley.
18. Good, Donald I., R. M. Cohen, С G. Hoch, L. W. Hunter, and D. F. Hare. (1978). "Certifi
able Minicomputer Project, ICSCA," Report on the Language Gypsy, Version 2.0. Technical
Report ICSCA-CMP-10, The University of Texas at Austin, September 1978.
19. Humphrey, Watts S. (1990). Managing the Software Process. Reading, MA: Addison-Wesley.
378 Л и т е р а т у р а
20. Humphrey, Watts S. (1997). Introduction to the Personal Software Process. Reading, MA: Addi- son-Wesley.
21. Humphrey, Watts S. (2000). Introduction to the Team Software Process. Reading.MA: Addison-
Wesley.
22. IEEE. (1983). IEEE Standard 829: IEEE Standard for Software Test Documentation. Los Alamitos,
CA: IEEE Computer Society Press.
23. IEEE. (1984). IEEE Standard 830: The IEEE Guide to Software Requirements Specifications. Los
Alamitos, CA: IEEE Computer Society Press.
24. IEEE. (1993). IEEE Standard 1044, IEEE Standard for Software Anomalies, © 1993 IEEE, New
York, NY.
25. Jones, Capers. (1986). Programming Productivity. New York: McGraw-Hill.
26. Jones, Capers. (1997). Software Quality: Analysis and Guidelines for Success. Boston: Interna
tional Thompson Computer Press.
27. Kaner, Cem, Jack Falk, and Hung Quoc Nguyen. (1999). Testing Computer Software (2nd ed.).
New York: Wiley.
28. Kit, Edward. (1995). Software Testing in the Real World: Improving the Process. Reading, MA:
Addison-Wesley.
29. Koomen, Tim, and Martin Pol. (1999). Test Process Improvement. Reading, MA: Addison-
Wesley.
30. Lewis, William E. (2000). Software Testing and Continuous Quality Improvement. Boca Raton,
FL: Auerbach.
31. McCabe, Thomas J. (1976). "A Complexity Measure." IEEE Transactions on Software Engineering.
32. McCabe, Thomas, and Charles W. Butler. (1989). "Design Complexity Measurement and
Testing." Communications of the ACM 32, 12 (December 1989): 1415-1425.
33. McConnell, Steve. (1996). Rapid Development: Taming Wild Software Schedules. Redmond, WA:
Microsoft Press.
34. Michael Fagan. (1976). "Design and Code Inspections to Reduce Errors in Program Devel
opment," IBM Systems Journal, 15 (Ъ), 182-211.
35. Musa, John D. (1993). "Operational Profiles in Software-Reliability Engineering." IEEE Soft
ware, 14-19.
36. Myers, Glen. (1979). The Art of Software Testing. New York: Wiley.
37. Myers, GlenfordJ. (1977). "An Extension to the Cyclomatic Measure of Program Complex
ity." SIGPLAN Notices.
38. Paulk, Mark, Charles Weber, and Bill Curtis. (1995). The Capability Maturity Model: Guidelines
for Improving the Software Process. Reading, MA: Addison-Wesley.
39. Paulk, Mark. "Using the Software CMM with Small Projects and Small Organizations." In
Eugene McGuire (1999), Software Process Improvement: Concepts and Practices. Hershey, PA:
Idea Group Publishing.
40. Perry, William E. (2000). Effective Methods for Software Testing(2nd ed.). New York: Wiley.
41. Perry, William E., and Randall W. Rice. (1997). Surviving the Top Ten Challenges of Software
Testing. New York: Dorset House Publishing.
42. Pfleeger, Shari Lawrence. (2001). Software Engineering: Theory and Practice (2nd ed.). Upper
Saddle River, NJ: Prentice Hall.
Литература 379
43. Pressman, Roger. (1997). Software Engineering: A Practitioner's Approach (4th ed.). New York:
McGraw-Hill.
44. Robertson, Suzanne, and James Robertson. (1999). Mastering the Requirements Process. Read
ing, MA: Addison-Wesley.
45. Schulmeyer, G. Gordon and Garth R. Mackenzie. (2000). Verification and Validation of Modern
Software-Intensive Systems. Upper Saddle River, NJ: Prentice Hall.
46. Software Productivity Consortium (1993). Software Error Estimation Program (SWEEP)
User Manual, (SPC-92017-CMC), Version 02.00.10.
47. Sommerville, Ian. (1992). Software Engineering (4th ed.). Reading, MA: Addison-Wesley.
48. The Standish Group. (1994). The CHAOS Report. Dennis, MA: The Standish Group.
49. The Standish Group. (1995). The Scope of Software Development Project Failures. Dennis, MA:
The Standish Group.
50. van Soligen, Rini, and Egon Berghout. (1999). The Goal/Question/Metric Method: A practical
guide for quality improvement of software development. Berkshire, England: McGraw-Hill Book
Company, UK.
51. p. 5 From Verification and Validation of Modern Software-Intensive Systems by Schulmeyer 8c
MacKenzie. © 2000. Reprinted by permission of Pearson Education, Inc., Upper Saddle
River, NJ.
52. pp. 67, 73 From Rapid Development: Taming Wild Software Schedules by Steve McConnell.
Copyright 1996. Reproduced by permission of Microsoft Press. All rights reserved.
53. pp. 10, 40 From Software Engineering: Theory and Practice, 2nd ed., by S. Pfleeger. © 2001. Ma
terial is reprinted by permission of Pearson Education, Inc.
54. pp. 25, 66, 134, 139 From Software Engineering Economics by Boehm, B.W. © 1981. Reprinted by permission of Pearson Education, Inc., Upper Saddle River, NJ.
55. p. 28 From Software Engineering: A Practitioner's Approach, 4th ed., by R. Pressman. © 1997
McGraw-Hill, Inc.
56. p. 31 Information regarding the content and format of requirements documents is re
printed with permission from IEEE Std. 830-1993: The IEEE Guide to Software Requirements
Specifications. Copyright 1993 by IEEE.
57. p. 36 From Software Testing in the Real World: Improving the Process, by E. Kit. © 1995 Addison-
Wesley, Inc.
58. p. 55 From Automated Software Testing (pp. 32-38) by E. Dustin, J. Rashka, &J. Paul. © 1999
Addison Wesley Longman, Inc. Reprinted by permission of Pearson Education, Inc.
59. p. 61 Material excerpted from Managing the Test Process by permission of the author, Rex
Black; second edition in press by John Wiley & Sons, Inc., ISBN 0-471-22398-0.
60. p. 70 From The Mythical Man-Month (p. 18) by F. Brooks, Jr. © 1999 Addison Wesley Long
man, Inc. Reprinted by permission of Pearson Education, Inc.
61. pp. 77, SO Information regarding the content and format of test documents is reprinted with permission from IEEE Std. 829-1983: IEEE Standard for Software Test Documentation. Copy
right 1983 by IEEE.
62. pp. 214-215 Information regarding defect reporting is reprinted with permission from
IEEE Std. 1044-1993: IEEE Standardfor Software Anomalies, Copyright 1993 by IEEE.
|
Скачать 4.53 Mb.