Операционные сети сущ. ОС. Обзор содержания дисциплины операционные системы Обсуждение функций и эксплуатационных требований к ос

• Название: Обзор содержания дисциплины операционные системы Обсуждение функций и эксплуатационных требований к ос
• Анкор: Операционные сети сущ
• Дата: 18.03.2021
• Размер: 356.76 Kb.
• Имя файла: ОС.docx
• Тип: Документы; #186086
• страница: 6 из 16

ЛЕКИЯ 7. ПРИНЦИПЫ ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

Цели исследований и показатели производительности.

Различают три цели исследования производительности:

1. 
   Оценка с целью выбора ВС среди альтернатив для приобретения.
   
2. 
   Оценка производительности разрабатываемой ВС или ее компонент (планирование производительности или проектирование с заданной производительностью).
   
3. 
   Контроль производительности (сбор и накопление данных о характеристиках ВС для прогноза влияния планируемых изменений конфигурации и ОС на производительность ВС).
   

В общем случае для оценки производительности необходимо предсказать характер прикладных задач, решаемых на ВС, и нагрузку на ВС. Результаты оценки могут быть использованы для наилучшего конфигурирования ВС, подбора стратегий управления ресурсами ВС, настройки параметров ОС на требования пользователей.

Среди показателей производительности выделяют следующие:

1. 
   Цикл выполнения задания в пакетных системах (время от момента поступления задания в ВС до его выполнения и возвращения результатов пользователю).
   
2. 
   Время ответа для интерактивных систем (время от момента ввода данных с клавиатуры до момента начала ответа).
   
3. 
   Дисперсию времени ответа, являющуюся мерой предсказуемости времени ответа в диалоговых системах.
   
4. 
   Время реакции в системах реального времени (время от момента ввода данных / наступления события до момента выделения кванта на обслуживание запроса).
   
5. 
   Пропускную способность (число обслуженных заданий, запросов, транзакций в единицу времени).
   
6. 
   Загрузку ресурсов ВС.
   

Для оценки данных показателей используются следующие методы измерений:

1. 
   Измерение элементарных времен, позволяющее оценить техническую производительность компонент и узлов вычислителя.
   
2. 
   Измерение времени выполнения смеси команд, характерной для применения данной вычислительной установки
   
3. 
   Время выполнения образцовой программы, типичной для применения данной ВС (метод часто используется при построении компиляторов для выбора наиболее эффективного кода языковых конструкций программы).
   
4. 
   Время выполнения измерительных программ, типичных для решаемого на ВС класса задач (обычно данный метод применяется при намерении сменить ВС или ОС для эксплуатации готового программного обеспечения).
   
5. 
   Время выполнения синтетических программ, совмещающих в себе черты образцовых и измерительных программ.
   
6. 
   Аналитическое моделирование процессов, протекающих в ВС. Аналитические модели позволяют быстро и наиболее наглядно увидеть достоинства и недостатки ВС, однако формализация вычислительных процессов всегда предусматривает их идеализацию, после чего возникает вопрос адекватности аналитической модели реальной системе и проблема интерпретации полученных результатов.
   

Анализ системы – Формализация (идеализация) – Решение – Интерпретация результатов

7. 
   Имитационное моделирование ВС, позволяющее исследовать трудно формализуемые при аналитическом моделировании элементы вычислительного процесса.
   

Набор данных методов позволяет определить узкие места ВС и выделить насыщение ресурса (состояния, когда нагрузка на ресурс близка или превосходит его потенциальные возможности).

Пиковая и реальная производительность.

Пиковая (техническая) производительность определяет теоретический максимум быстродействия вычислительной системы в идеальных условиях. Пиковая производительность определяется числом операций, выполняемых всеми исполнительными устройствами вычислителя, и равна произведению тактовой частоты, числа арифметическо-лоrических устройств (конвейеров) процессора и количества процессоров вычислителя. Значение пиковой производительности измеряется в миллионах операций в секунду MIPS (millions instructions per second) или миллионах операций с плавающей точкой в секунду MFLOPS (millions floating operations per second). Пиковая скорость достигается при бесконечной последовательности несвязанных и не конфликтующих во время доступа в основную память команд, выборе операндов из внутри кристальной кэш памяти данных, а команд – из внутри кристальной кэш-памяти команд. Пиковая производительность не учитывает функциональное наполнение команд, реализуемое в различных архитектурах процессоров.

Реальная производительность определяется классом решаемых задач. В мировой практике наибольшее распространение получило использование наборов задач, характерных для данной области применения. Время выполнения каждой из задач – основа для расчета индекса производительности данной вычислительной системы. При оценке производительности на тестах возникает три проблемы, связанные с анализом результатов: Проблема достоверности оценок (корректности методов измерений, выделения показателей, которым можно доверять), проблема адекватности оценок (выбора тестов, наиболее точно характеризующих производительность при обработке типовых задач), проблема интерпретации (правильного истолкования результатов тестирования).

Тесты производительности

Существующие тесты можно разбить на три группы.
Тесты производителей средств вычислительной техники, используемые для оценивания качества собственных продуктов. Они ориентированы на сравнение компьютеров одного семейства. Одним из таких тестов является индекс iCOMP (Intel

Comparative Microprocessor Performance). Индекс iCOMP определяется временем исполнения смеси команд (67% – над 16-разрядными целыми, 3% – над 16 – разрядными числами с плавающей точкой, 25% – над 32-разрядными целыми, 5% – над 32-разрядными числами с плавающей точкой и т.д.). Тесты iCOMP оценивают фактически производительность микропроцессора, а не вычислительной установки. В общем случае тесты производителей являются идеальным средством оценивания быстродействия и технико-экономических показателей вычислительных систем с одной архитектурой, но различными средствами реализации.

Стандартные тесты, создаваемые независимыми аналитиками и используемые для сравнения широкого спектра компьютеров. В набор широко применяемых стандартных тестов входит тестовый пакет Linpack (автор Джек Донгappa), тестовые наборы SPEC ХХ, разрабатываемые компанией SPEC (Standard Performance Evaluation Corporation), тестовые пакеты ТРС для оценки производительности серверных платформ, выполняющих в реальном времени транзакции в системах оперативной обработки данных (ОLТР системах), данные тесты создаются компанией ТРС-С (Тransaction Processing Performance Council). В данную группу следует включить также тестовый комплекс WebStone для оценки Web-конфигураций.

Пользовательские тесты, учитывающие специфику конкретного применения вычислительной системы. Данные тесты создаются крупными компаниями, специализирующимися на внедрении компьютерных технологий, и используются для выбора средств вычислительной техники и программного обеспечения под определенные прикладные задачи, поскольку дают наиболее точные оценки производительности заданных приложений. К этому классу можно отнести комплекс тестов NAS, разработанный в исследовательском центре NASA Ames Research Center для оценки производительности многопроцессорных суперкомпьютеров с МРР архитектурой. Центром NASA сформулированы основополагающие требования, которым должны удовлетворять тестовые методики оценки производительности супер вычислителей:

1. 
   Поскольку алгоритмические и программные реализации тестовых программ являются зависимыми от архитектуры и могут отличаться для различных платформ, то тестовые "смеси" должны носить "общий" характер и не следовать какой-либо конкретной архитектуре.
   
2. 
   Корректность результатов должна быть легко проверяема, что требует точного описания входных и выходных данных и природы вычислений.
   
3. 
   Используемые вычислительные ресурсы и память должны быть масштабируемыми для повышения производительности.
   
4. 
   Тексты и спецификации применяемых тестов должны быть доступны и подтверждаться повторной реализацией.
   

Комплекс тестов NAS общепризнанно считается лучшим тестовым набором для оценки многопроцессорных вычислительных систем с массовым параллелизмом и включает пять расчетных тестов NAS Benchmarks kernel и три теста NAS Benchmarks моделирования реальных задач гидродинамики и аэродинамики. Тесты позволяют оценить вычислительные возможности компьютерной системы и скорость передачи данных между процессорами в массово-параллельных системах. Метрикой теста является относительная

производительность по сравнению с показателями традиционного векторного суперкомпьютера, в качестве которого выступает одна из моделей Cray. Тестовый комплекс определяет два класса тестов, отличающихся размерностью вычислений: А и В. Задачи класса В превосходят задачи класса А по размерности в четыре раза. Результаты тестирования в классе А нормируются на производительность однопроцессорного компьютера Cray Y-MP, а класса В – на однопроцессорный Cray С90.

Обычно тесты класса А используются для оценки масштабируемых систем с числом процессорных узлов менее 128. При числе узлов до 512 следует применять тесты класса В.

Комплект тестов NAS Benchmarks kernel включает следующие расчетные задачи.

1. 
   ЕР (Embarrasinghly Parralel). Вычисление интеграла методом Монте-Карло тест "усложненного параллелизма" для измерения вычислительной производительности плавающей арифметики. Тест имеет минимум межпроцессорного взаимодействия и определяет чисто вычислительные характеристики узла при работе с вещественной арифметикой.
   
2. 
   MG (3D Multigrid). Решение уравнения Пуассона ("Tpexмерная решетка") в частных производных. Данный тест требует высокоструктурированной организации взаимодействия процессоров и позволяет оценивать возможности системы выполнять дальние и короткие передачи данных.
   
3. 
   CG (Conjugate Gradient). Вычисление наименьшего собственного значения больших разреженных матриц методом сопряжённых градиентов. Это характерное неструктурированное вычисление на решетке, позволяющее оценить скорость передачи данных на длинные расстояния при отсутствии регулярности.
   
4. 
   FT (fast Fourier Тransformation). Вычисление методом быстрого преобразования Фурье трёхмерного уравнения в частных производных. Данная задача используется как серьезный тест для оценки эффективности взаимодействия удаленных процессров при передаче данных.
   
5. 
   IS (Integer Sort). Сортировка целых чисел, позволяющая оценить возможности работы системы с целочисленной арифметикой (в основном одного узла) и потенциал вычислителя при выполнении межпроцессорного взаимодействия.
   

Комплекс тестов NAS Benchmarks для задач моделирования включает следующие модули.

1. 
   LU (LU Solver). Решение системы уравнений с равномерно разреженной блочной треугольной матрицей 5х5.
   
2. 
   SP (Scalar Pentadiagonal). Решение нескольких независимых систем скалярных уравнений пентадиагoнальные матрицы с преобладанием недиагональных членов.
   
3. 
   ВТ (В1ock Тridiagonal). Решение серии независимых систем уравнений блочные трехдиагoнальные матрицы 5х5 с преобладанием недиагональных элементов.
   

Следует отметить, что результаты тестирования по различным тестам обычно не сопоставимы. Наиболее широкое распространение в настоящее время получили наборы стандартных тестов.

Тесты Linpack представляют собой совокупность программ решения задач линейной алгебры. Параметрами тестов являются

а) порядок матрицы;
б) формат значений элементов матрицы, определяющий точность представления ее элементов (одинарная/двойная);

в) способ компиляции (с оптимизацией либо без нее);
г) возможность применения оптимизированной библиотеки стандартных функций.
Для больших размерностей обрабатываемых матриц вычислительные системы, как правило, дают реальную производительность в интервале 80-95% от пикового показателя. По результатам тестирования набором тестов Linpack с 1993 года ведется список ТОР 500, включающий 500 самых производительных вычислительных систем в мире. В основном этот список содержит уникальные многопроцессорные МРР-системы, однако в последние годы в конец этого списка стали попадать и коммерческие вычислители с SМР- архитектурой.

Тесты SPEC ХХ. В данной группе тестов существует несколько тестовых пакетов: SPEC89, SPEC92, SPEC95, SPEC98, SPEC2000 и т.д. Далее эволюция тестов.

Пакет SPEC89 включает два тестовых набора Cint89, состоящий из четырех программ целочисленной обработки, и Cfp89, объединяющий шесть программ со значительным объемом операций над числами с плавающей точкой двойной точности. Все десять программ представляют собой достаточно сложные коды на языках С и Fortran с широким спектром решаемых задач от оптимизации представлений функций булевой логики в программируемых логических схемах до моделирования замещения атомов в квантовой химии.

Методика оценки производительности SPEC89 предполагает формирование десяти дифференциальных оценок SPECratio(i), каждая из которых определяется как отношение времени выполнения i-й программы на тестируемом компьютере ко времени выполнения той же программы на вычислителе DЕС VАХ 11/780. Интегральной характеристикой производительности компьютера является показатель SPECmark, являющийся средним геометрическим всех десяти частных оценок SPECratio. К параметру SPECmark добавляются еще две оценки SPECint89 и SPECfp89, раздельно характеризующие быстродействие компьютера при обработке целочисленных данных и вещественных чисел. Принцип расчета этих показателей такой же, как и параметра SPECmark: SPECint89 представляет собой среднее геометрическое частных оценок SPECratio для четырех программ из набора Cint89, а SPECfp89 – аналогичную величину для шести программ из состава Cfp89. Пакет тестовых программ SPEC92 расширяет набор тестируемых функций по сравнению со SPEC89.

n
1/ n

 

1/ m

 ^m 

S P E C in t X X X X

^  ^

SPECin t ratio( i) _

, SPECfpXXXX

^{ } 

SPECfpratio( j) _ ,

 i 1  _ j 1 _

_ n m

1/ n  m



SPECmarkXXXX

^{ } 

S P E C in t ra t io (i )  _

SPECfpratio( j) _ .

_ i 1 j 1 _
Пакет оценивающих программ Cint92 предназначен для оценки производительности вычислительных систем при выполнении целочисленных операций преимущественно в коммерческой области применения. В его состав входят шесть эталонных тестов, написанных на языке С и представляющих собой:

• 
  задачу из теории сетей;
  

• 
  интерпретатор языка Lisp;
  

• 
  задачу логического проектирования;
  

• 
  Unix-утилиту упаковки текстового файла размером 1 Мбайт, который 20 раз подвергается сжатию;
  
• 
  операции со строками и столбцами электронной таблицы;
  

• 
  компилятор языка С.
  

Пакет оценочных программ Cfp92 предназначен для оценки производительности ВС при выполнении операций с плавающей точкой преимущественно в технической и научной областях применения. Он включает 14 прикладных программ, две из которых написаны на языке С и 12 – на языке Fortran. В пакет входят:

• 
  программы схемного проектирования;
  

• 
  модули моделирования термодинамики ядерного реактора методом Монте-Карло;
  

• 
  задачи квантовой химии и физики;
  

• 
  алгоритмы решения уравнений Максвелла;
  

• 
  преобразование координат;
  

• 
  трассировка оптических лучей;
  

• 
  задачи робототехники и нейросетей;
  

• 
  моделирование человеческого уха;
  

• 
  решение уравнений Навье-Стокса для определения параметра межгалактического газа;
  

• 
  семь библиотечных функций обработки матриц (умножение, обращение и т.д.).
  

В SPEC92 введено одно качественное новшество – показатель SPECrate, характеризующий мультипрограммную обработку задач методом однородной нагрузки в

многопроцессорной ВС. При этом тестируемая ВС выполняет множество копий одной программы, а показателем производительности многопроцессорной обработки служит количество копий, завершенных за определенный интервал времени.

SPECrate(i)=количество копий i-й программы, выполненных на заданное время.

Для получения оценки SPECrate используются те же программы, что и для расчета показателей SPECint92 и SPECfp92. Тестовый модуль реализуется как несколько копий, образующих одно задание, а результатом измерений является нормированное общее время выполнения всех копий задания. Данной процедуре подвергается каждая из 20 тестовых программ, что позволяет получить шесть частных оценок SPECratio для программ целочисленной обработки и 14 – для программ вещественных чисел. Эти показатели позволяют получить представление о:

• 
  возможностях компилятора по организации параллельного мульти задачного кода;
  

• 
  способностях операционной системы организовать эффективное динамическое распределение ресурсов ВС между выполняемыми параллельными программами.
  

Тестовые программы SPEC95 используют два тестовых набора Cint95 и Cfp95, состоящие из 8 и 10 программ соответственно. При испытаниях ВС формируются:

• 
  индексы производительности SPECint95, SPECfp95, SPECint base95 и SPECfp base95 для фиксированной и плавающей точки в режиме компиляции с агрессивной и консервативной оптимизацией соответственно;
  
• 
  индексы пропускной способности SPECint rate95, SPECfp rate95 и SPECint rate base95, SPECfp rate base95 для оценки многозадачных режимов SМР-систем с агрессивной и консервативной оптимизацией соответственно.
  

Все интегральные индексы производительности формируются как среднее геометрическое индексов по отдельным тестам.

Комплект процессорных тестов SPEC2000 включает:

19 приложений, не входивших ранее ни в один из тестовых наборов SPEC, и предназначен для тестирования главным образом трех компонент вычислителя: процессора, иерархической памяти, компиляторов. В комплект тестов SPECint2000 входит 12 программ:

• 
  2 программы компрессии;
  

• 
  размещение элементов и расчет разводки FРGА-микросхем;
  

• 
  компилятор Си;
  

• 
  комбинаторная оптимизация;
  

• 
  шахматная игра;
  

• 
  обработка текста;
  
• 
  компьютерная визуализация;
  

• 
  интерпретатор perl;
  

• 
  интерпретатор теории групп;
  

• 
  объектно-ориентированная база данных;
  

• 
  моделирование размещения элементов и разводки микропроцессора. Тестовый набор SPECfp2000 включает 14 программ:
  
• 
  физика (квантовая хромо динамика);
  

• 
  моделирование мелкой воды;
  

• 
  многосеточные методы (трехмерное потенциальное поле);
  

• 
  дифференциальные уравнения в частных производных;
  

• 
  библиотека трехмерной графики;
  

• 
  вычислительная гидродинамика;
  

• 
  распознавание образов/нейросети;
  

• 
  моделирование распространения сейсмических волн;
  

• 
  обработка изображений (распознавание лиц);
  

• 
  вычислительная химия;
  

• 
  теория чисел (поиск простых чисел);
  

• 
  моделирование столкновений с применением метода конечных элементов;
  

• 
  проектирование ускорителей элементарных частиц;
  

• 
  метеорология (распространение загрязняющих веществ). Недавно появился тест SPECWeb.
  

Пакет тестовых программ ТРС применяется для оценки производительности при работе с базами данных. Тесты ТРС включают набор тестов для измерения эффективности функционирования в различных режимах обработки данных – TPC-A, TPC-B, ТРС-С, TPC-D. Тесты дают сравнительную оценку стоимости и производительности совокупности аппаратно-программных средств (Средств вычислительной техники, ОС, СУБД, мониторов транзакций). С 2000 года пакет тестовых программ ТРС включен тест ТРС-W.
В основе тестового набора ТРС лежат следующие фундаментальные принципы:

• 
  производительность соотносится с общей стоимостью тестируемой системы, включая аппаратную составляющую, программное обеспечение и эксплуатационные издержки в расчете на заданный срок эксплуатации;
  
• 
  тест формулируется на высоком функциональном уровне без связи с конкретной программно-аппаратной платформой, допуская тем самым сравнение между собой различных реализаций;
  
• 
  тест должен учитывать потенциальный рост мощности вычислительных систем и допускать масштабирование нагрузки по числу пользователей и объему базы данных.
  

Тест ТРС-А используется для оценки эффективности исполнения транзакций типа

«дебет-кредит». При этом моделируется работа филиальной сети банка по приему-выдаче вкладов клиентов. В тесте используется один тип транзакции, задающий манипулирование со счетом клиента (так называемые "короткие транзакции"). Ведется история реализации транзакции. Доступ к центральному серверу баз данных осуществляется либо по терминальным линиям, либо по сети с удаленных рабочих мест. Соотношение СТОИМОСТЬ/ПРОИЗВОДИТЕЛЬНОСТЬ оценивается как стоимость 5летней эксплуатации всего полностью сконфигурированного оборудования и программных средств ВС, отнесенная к максимальному числу транзакций в секунду, которое способна выполнить система.

Тест ТРС-В аналогичен тесту ТРС-А, но ориентирован на пакетный режим обработки и имеет другую методику подсчета стоимости ВС. Стоимость системы подсчитывается без стоимости терминалов, терминальных линий связи и сетевых соединений. Задачей теста является оценка эффективности работы сервера, дисковой конфигурации и СУБД в условиях интенсивной нагрузки. В настоящее время данный тест сохранил лишь историческое значение.

Тест ТРС-С является основным продуктом ТРС и предназначен для оценки эффективности ВС при работе в режиме оперативной обработки транзакций (Оn-Linе Тrаnsасtiоn Processing). Тест составляет смесь транзакций, характерных для OLTP, считывающих и обновляющих содержимое базы данных (смесь «коротких» и

«длинных» транзакций). При исполнении теста ТРС-С моделируется функционирование нескольких складов компании. Каждый склад имеет 10 участков, каждый участок – 3000 заказчиков, 10000 наименований товаров. Используются операции агрегирования, соединения, селекции отношений базы данных. Используется пять типов транзакций: новый заказ, платеж, статус заказа, выполнение заказа, уровень запасов по последним 20 наименованиям запрошенных товаров. Тест оценивает количество транзакций, выполненных в минуту tpmC (trаnsасtiоn реr minutе С), и стоимость одной выполненной транзакции в минуту.

Тест TPC-D используется для оценки эффективности сложных информационных систем поддержки принятия решений (Decision Support System) с много направленными соединениями, сортировками и агрегированием данных отношений. Создаваемая тестом нагрузка существенно отличается от характерного для OLTP потока простых транзакций, обрабатывающих небольшие порции данных. Системам поддержки принятия решений присуще небольшое число сложных взаимосвязанных запросов, обрабатывающих обычно всю базу данных. На результаты тестирования важнейшее влияние оказывает объем базы данных. В тесте предусмотрено 6 градаций объемов базы

данных: 1 Гбайт, 10 Гбайт, 30 Гбайт, 100 Гбайт, 300 Гбайт, 1 Тбайт. По результатам тестирования определяются:

• 
  производительность обработки запросов QppD (Query processing Performance), измеряемое количеством запросов, обработанных при монопольном использовании всех ресурсов ВС;
  
• 
  пропускная способность системы QthD (Query Throughput), измеряемое количеством запросов, обрабатываемых в течение часа;
  
• 
  отношение стоимости к производительности QphD, измеряемое как стоимость 5-летней эксплуатации системы, отнесенная к числу запросов, обработанных за час.
  

В настоящее время тест TPC-D модернизирован и разделен на два теста: TPC-R (business reporting) и TPC-H (adhoc querying). Первый тест ориентирован на подготовку регулярных отчетов, а второй – на составление нерегулярных, непрогнозируемых отчетов. Тест TPC-R служит для оценки производительности систем поддержки бизнеса и подготовки отчетов (Business Support and Report workloads). Тест имеет две метрики: QphR (TPCR Composite Query-Per-Hour Performance) и дол./QрhR.

Тест TPC-H оценивает производительность систем принятия решений при выполнении набора запросов к стандартной базе данных. Основной метрикой является QphH (TPCH Composite Query-Реr-Ноur Performance), которая публикуется совместно с указанием размера базы данных, изменяющейся в пределах от 1 до 10 тыс. Гбайт. Вторая метрика

«цена/производительность» (ТРС-Н Price/Performance Metric), измеряемая в дол./QрhН, также соотносится с размером базы данных.

Тест TPC-W предназначен для оценки систем поддержки электронной коммерции, электронного бизнеса, коммерческих Web-приложений, корпоративных сетей. TPC-W измеряет производительность и производительность, отнесенную к цене, аппаратно- программного обеспечения для транзакционной Web-среды. От близких по смыслу тестов SPECWeb и WebStone тест ТРС- W отличается тем, что включает доступ к динамически генерируемым базам данных Wеb-страниц, функции обеспечения безопасности пользовательского интерфейса и внешних транзакций, а также позволяет оценивать экономическую эффективность решения в расчете на трехлетний эксплуатационный срок. Основной моделью тестирования сайтов является книжный магазин, представленный восемью таблицами. Размер базы данных может изменяться от 1000 до 1 млн товаров. Базовые метрики – число взаимодействий (покупок) с Web-cepвepoм в секунду (Web Interactions Per Second – WIPS) с делением по категориям баз данных различных размеров и отношение стоимости по категориям баз данных к WIPS (Price Per WIPS), измеряемое в дол./WIРS. Дополнительные метрики WIPSb (WIPS browsing) и WIPSo (WIPS ordering) позволяют оценивать скорость навигации и оформления заказов соответственно.

Тест WebStone используется для оценки конфигураций Web. Тест WebStone позволяет дать объективную оценку аппаратуры, программного обеспечения и дисциплины взаимодействия с сетью. Данный тест отражает специфику работы в глобальной сети с многократными переключениями, коррекцией ошибок, переадресациями и

т.д. Он позволяет моделировать разнородную среду, в которой работает одновременно множество клиентов, порождающих разнообразные процессы доступа к Web-информации различных серверов. Тест представляет собой инструмент измерения загрузки серверов в зависимости от режима работы клиентов, задающих НТТР-трафик. Предусмотрены четыре моделирующие смеси:

1. 
   Тестовый набор для моделирования работы с сетью через аналоговый модем, файлы данной смеси содержат небольшие, как правило, текстовые страницы объемом до 20 Кбайт.
   
2. 
   Тестовый набор для моделирования работы клиентов ЛBC при обмене файлами размера 1-1000 Кбайт.
   
3. 
   Тестовый набор для моделирования полнофункциональной работы с сетью, включающий мультимедийную информацию (видео, звук, графику) объемом до нескольких Мбайт.
   
4. 
   Четвертый тестовый набор объединяет первую и третью смеси.
   

Основными метриками теста WebStone являются пропускная способность и время выполнения запроса (задержка), которые усредняются по множеству измерений за сеанс тестирования. Различают два типа задержки: время установления соединения между клиентом и сервером и время передачи данных (исполнения запроса). Для оценки скорости безошибочного обслуживания максимального и заданного множества клиентов тестом WebStone порождаются запросы серверу по протоколу НТТР и организуется обработка данных по мере их поступления. При этом проводится измерение среднего и максимального времени соединения, среднего и максимального времени отклика, пропускной способности, количества обработанных страниц, числа открытых файлов. Тест WebStone организован в виде распределённого набора прикладных процессов – головного WebMASTER и потомков WebChildren. Стандартную тестовую смесь можно настроить с помощью следующих параметров:

1. 
   Продолжительность выполнения теста, задаваемая в минутах, максимальное значение которого определяется числом потомков и объемом памяти, выделяемым для каждого клиента.
   
2. 
   Число повторений, позволяющее устранить элемент случайности и выявить устойчивые закономерности.
   
3. 
   Количество тестовых файлов.
   
4. 
   Число страниц в формате HTML.
   
5. 
   Опции программного и аппаратного обеспечения сервера.
   
6. 
   Количество потомков.
   
7. 
   Количество сетей, управляемых одним сервером.
   
8. 
   Число клиентов, моделирующее режимы загрузки ресурсов.
   
9. 
   Загрузка страниц, задающая активность их использования.
   
10. 
    Ведение журнала, позволяющее получить подробный протокол работы теста.
    
11. 
    Отладка – для диагностики возможных сбоев.
    

При описании операционного окружения для работы теста необходимо задать конфигурацию программ и аппаратуры, имитирующую различные реальные сетевые комплексы.