№
|
Вид теста
|
Описание теста
|
Ожидаемый результат
|
1
|
Тест определения максимальной производительности
|
При тестировании происходит пошаговое увеличение нагрузки с нуля до предельной (с шагом 20% от плановой). Пошаговое увеличение ппроисходит до тех пор, пока не нарушится один из критериев успешности. Время работы теста на каждом шаге (ступени) после стабилизации нагрузки (этап стабилизации нагрузки равен 5 минутам) составляет 10 мин. По результатам устанавливается уровень нагрузки L0 (последняя ступень нагрузки, на которой не были нарушены критерии успешности).
|
Определен уровень максимальной производительности.
L0 удовлетворяет требованиям по производительности ФП.
Получено значение общей квоты для сервиса L0.
|
2
|
Тест подтверждения максимальной нагрузки
|
Тест проводится на ступени нагрузки, предшествующей L0 (или на уровне нагрузки 90% от L0). Длительность стабильной нагрузки не менее 1 часа. Если в процессе тестирования система оказалась недогружена или перегружена, то значение нагрузки корректируется и второй тест проводится повторно. В случае увеличения нагрузки новый уровень может быть рассчитан на основе данных об утилизации ресурсов. Результатом тестирования является максимальный достигнутый уровень нагрузки (обозначается Lmax).
|
В ходе теста зафиксирован максимальный уровень нагрузки Lmax.
В ходе теста не были нарушены критерии успешности (глава 7 данного документа).
|
3
|
Тест надежности
|
Тест проводится на уровне нагрузки Lstab = 70% от Lmax. Длительность стабильной нагрузки не менее 24 часов. В ходе теста фиксируются все отклонения от "нормального" поведения системы, в т.ч. деградация производительности, утечки.
|
Не были нарушены критерии успешности.
В ходе теста показатели по интенсивности операций и времени отклика были стабильны.
Отсутствует утечка ресурсов.
В ходе теста наблюдалась хотя бы одна отработка FullGC (если этого не произошло, проводим дополнительный Тест на фиксацию утечки памяти).
Получен AWR-отчет за 10-минутный интервал теста. На основании AWR-отчета получено подтверждение от архитекторов БД, что тестируемая сервис не оказывает негативного влияния на работу БД.
|
3.1
|
Тест на фиксацию утечки памяти
|
Если в ходе теста надежности ни разу не отработал FullGC, проводится дополнительный тест. Подход к тесту определяется на основании оценки результатов теста надежности. Возможны два варианта:
Тестирование при повышенной нагрузке. Уровень нагрузки в ходе теста составляет 200% от Lstab (уровень может корректироваться в зависимости от условий тестирования, результатов отладочных запусков, оценке результатов теста надежности). Допускается проведение теста на уменьшенном числе серверов BH по сравнению с целевым. Тест длится пока не будет зафиксирована хотя бы одна отработка FullGC.
Тестирование при уменьшенном значении Maximum heap size на серверах BH. Перед началом тестирования на серверах BH тестируемой ФП (или на части серверов) выставляется сниженное значение Maximum heap size = limXmx. limXmx определяется на основании оценки результатов теста надежности. Тест длится пока не будет зафиксирована хотя бы одна отработка FullGC.
|
Критерии успешности для разных подходов к тестированию:
Количество ошибок в ходе теста не превышало 5%. После отработки FullGC произошла стабилизация потребления системной памяти на уровне, не превышающем 80%.
Количество ошибок в ходе теста не превышало 5%. После отработки FullGC произошла стабилизация потребления системной памяти и зафиксирован уровень, на котором произошла стабилизация limRam (измеряется в процентах). Расчетный показатель потребления RAM (estRam) при целевом значении Maximum heap size goalXmx не превышает 80%. Значение estRam расчитывается по формуле estRam = limRam * goalXmx / limXmx.
|
4
|
Тест отказоустойчивости при недоступности MQ Аудита
|
Тест проводится на уровне нагрузки Lstab. Через 5 минут стабильной нагрузки моделируется временный сбой в работе MQ ФП Аудит. Моделирование сбоя происходит следующим образом: перед началом тестирования между BH серверами тестируемой ФП и серверами MQ ФП Аудит запускается прокси-сервер. В момент начала эмуляции сбоя прокси-сервер останавливается. В момент окончания эмуляции сбоя прокси-сервер снова запускается. Длительность сбоя составляет 15 минут. Минимальная длительность стабильной нагрузки после окончания сбоя составляет 30 минут.
|
В момент эмуляции сбоя операции не выполнялись (или выполнялись - зависит от требований к конкретной ФП. Обсуждается с командой и сопровождением).
После окончания эмуляции сбоя система восстановила свою работоспособность в течение 2 минут - после этого времени количество ошибок не превышало 0.01%, времена отклика соответвуют установленным SLA.
После окончания эмуляции сбоя в течение 30 минут показатели системы вернулись в норму - показатели стали соответсвовать критериям успешности.
|
5
|
Тест отказоустойчивости при недоступности ФП Справочники
|
Тест проводится на уровне нагрузки Lstab. Через 5 минут стабильной нагрузки моделируется временный сбой в работе ФП Справочники. Моделирование сбоя происходит следующим образом: перед началом тестирования между BH серверами тестируемой ФП и endpoint до ФП Справочники запускается прокси-сервер. В момент начала эмуляции сбоя прокси-сервер останавливается. В момент окончания эмуляции сбоя прокси-сервер снова запускается. Длительность сбоя расчитывается по формуле [время жизни localCache+время жизни deadCache+5минут]. Минимальная длительность стабильной нагрузки после окончания сбоя составляет 30 минут.
|
В момент эмуляции сбоя операции продолжали выполняться, до момента окончания времени жизни localCache+deadCache.
После окончания времени localCache+deadCache операции перестали выполняться.
После окончания эмуляции сбоя система восстановила свою работоспособность в течение 2 минут - после этого времени количество ошибок не превышало 0.01%, времена отклика соответвуют установленным SLA.
После окончания эмуляции сбоя в течение 30 минут показатели системы вернулись в норму - показатели стали соответсвовать критериям успешности.
|
6
|
Тест отказоустойчивости при недоступности ФП StandIn
|
Тест проводится на уровне нагрузки Lstab. Через 5 минут стабильной нагрузки моделируется временный сбой в работе ФП StandIn. Моделирование сбоя происходит следующим образом: перед началом тестирования между BH серверами тестируемой ФП и endpoint до ФП StandInзапускается прокси-сервер. В момент начала эмуляции сбоя прокси-сервер останавливается. В момент окончания эмуляции сбоя прокси-сервер снова запускается. Длительность сбоя составляет 15 минут. Минимальная длительность стабильной нагрузки после окончания сбоя составляет 30 минут.
|
В момент эмуляции сбоя операции продолжали выполняться.
После окончания эмуляции сбоя система восстановила свою работоспособность в течение 2 минут - после этого времени количество ошибок не превышало 0.01%, времена отклика соответвуют установленным SLA.
После окончания эмуляции сбоя в течение 30 минут показатели системы вернулись в норму - показатели стали соответсвовать критериям успешности.
|
7
|
Тест отказоустойчивости при превышении максимальной производительности (проверка квотирования)
|
Перед началом теста на IAG должна быть выставлена общая квота L0. Тест проводится на уровне нагрузки Lstab. Через 5 минут стабильной нагрузки моделируется стрессовая нагрузка на ФП. Стрессовая нагрузка эмулируется посредством резкого (моментального) увеличения подаваемой на ФП нагрузки. Уровень стрессовой нагрузки составляет 2*Lstab. Длительность стрессовой нагрузки составляет 15 минут. Минимальная длительность стабильной нагрузки после окончания стрессовой нагрузки составляет 30 минут.
|
В момент стрессовой нагрузки были соблюдены SLA по времени отклика.
Уровень нагрузки на ФП в момент стрессовой нагрузки должен быть на уровне квоты L0.
После окончания эмуляции сбоя в течение 30 минут показатели системы вернулись в норму - показатели стали соответсвовать критериям успешности.
|
8
|
Тест отказоустойчивости при недоступности внешних систем.
|
Тест проводится на уровне нагрузки Lstab. Через 5 минут стабильной нагрузки моделируется временный сбой в работе внешних систем АС Стоп лист. Эмуляция сбоя происходит посредством отключения процесса эмулятора систем АС Стоп лист. Длительность недоступности внешних систем составляет 15 минут. Минимальная длительность стабильной нагрузки после окончания недоступности составляет 30 минут.
|
Система полностью сохранила работоспособность в части функционала, не связанного с работой внешних систем.
После окончания эмуляции сбоя система восстановила свою работоспособность в течение 2 минут - после этого времени количество ошибок не превышало 0.01%, времена отклика соответвуют установленным SLA.
После окончания эмуляции сбоя в течение 30 минут показатели системы вернулись в норму - показатели стали соответсвовать критериям успешности.
|
9
|
Тест отказоустойчивости при долгом ответе внешних систем.
|
В ходе теста эмулируется задержка от внешней системы на время близкое к установленному SLA.
|
Система корректно работает.
|
10
|
Тест отказоустойчивости при накоплении сообщений в MQ
|
В ходе теста в MQ очередь через которую сервис взаимодействует с внешней системой мгновенно помещается 1000 сообщений.
|
Система работает корректно.
|
Скачать 253.1 Kb.