метод экспертных оценок. 90Функциональная надежность. Теория и практикаКрянев А. В., Семенов С. С. К вопросу о качестве и надежности экспертных
 Скачать 0.74 Mb.
|
|
90 Функциональная надежность. Теория и практика Крянев А.В., Семенов С.С. К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ В данной статье показана актуальность использования метода экспертных оценок при создании сложных технических систем (СТС), и, в связи с этим, рассмотрены вопросы оценки необходимого числа экспертов при проведении экспертных оценок, их компетентности, приведены данные о ми- нимально допустимом размере экспертной группы и методический подход по определению уровня возможных ошибок экспертов для получения оценки группы экспертов, в том числе на основе знаний об оценках эксперта в прошлом, а также возможность агрегированного учета мнений отдельных экс- пертов, привлеченных к оценке по отдельным проблемам исследования. Ключевые слова: сложные технические системы, метод экспертных оценок, точность экспертной оценки, компетентность, число экспертов в составе группы, весовой коэффициент, дисперсия по- грешностей оценок экспертов. Актуальность метода экспертных оценок Методы экспертных оценок, основанные на знаниях специалистов и накопленном ими опыте при проведении научно-исследовательских и опытно-конструкторских работ, изучении информации по научно-технической литературе, периодической печати и патентной документации в конкретной области в сочетании с современными математическими методами обработки знаний, являются важным инструментом определения общих тенденций развития, параметров и технического уровня сложных технических систем (СТС) [1,2]. Как правило, метод экспертных оценок используется при исследовании объектов и проблем, анализ развития которых либо полностью, либо частично не поддается формализации, т.е. для которых трудно разработать адекватную модель. Процедура проведения методов экспертной оценки достаточно подробно описана в научно-технической литературе, например, в монографии [1] с рассмотрением вопросов формирования экспертных групп, компетентности экспертов, форм работы с экспертами, формированием анкет и таблиц экспертных оценок, а также анализа и об- работки экспертной оценки, в том числе с учетом согласованности мнений отдельных экспертов. Основными факторами при проведении экспертных оценок, определяющими надежность и точ- ность оценки, являются подбор экспертов и их компетентность. 91 К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ Точность оценки и число экспертов Определить необходимый численный состав экспертной группы очень важно. При недоста- точном числе экспертов результаты их деятельности не будут надежны. Многочисленную группу квалифицированных экспертов трудно сформировать и организовать ее работу. Разработан метод оценки технического уровня СТС с участием экспертов, основные положения которого приведены в работе [3-5]. В данном случае при оценке технического уровня СТС эксперты обычно привлекаются для формирования показателей и определения весомости (важности) оце- ночных показателей, рангов исследуемых объектов. Важным обстоятельством для исследователя является обоснованный подбор экспертов. Формирование экспертных рабочих групп является ответственным этапом в процедуре эксперт- ной оценки. В случае необходимости требуется предусмотреть выделение подгрупп экспертов, занимающихся какой-либо отдельной областью и количество экспертов в группе. Выбор групп экспертов производится в следующей последовательности: 1. Составляется список вопросов, по которым необходимо получить мнение экспертов. 2. Составляется список экспертов, которые в совокупности могут дать ответы по всему множе- ству вопросов. 3. Список вопросов рассылается каждому эксперту с тем, чтобы выяснить, сможет или не сможет он компетентно участвовать в рассмотрении данного вопроса при экспертизе. 4. Определяются затраты времени и средств, необходимых для получения ответа на каждый вопрос, при минимуме затрат времени и средств на проведение опроса. Эксперт должен удовлетворять следующим требованиям: – оценки эксперта должны быть стабильными в течение проведения экспертизы; – эксперт должен быть компетентным в данной области знаний, т.е. являться признанным спе- циалистом по вопросам создания новой продукции данного вида при оценке технического уровня СТС. Желательно привлекать к участию в экспертных оценках таких экспертов, оценки которых устойчиво отличаются от истинных в сторону уменьшения или увеличения, т.е. ошибка носит си- стематический характер. В этом случае можно выявлять смещение и делать на него поправки. В биноминальной модели выбора оценивание характеристики происходит тем точнее, чем объ- ем выборки больше. Считается, что минимальный из обычно использующихся объемов выборки в маркетинговых исследованиях составляет 100 единиц [6]. Поскольку стоимость исследования растет как линейная функция объема выборки, а точность повышается как квадратный корень из этого объема, то верхняя граница объема выборки выбирается также с учетом экономических со- ображений. Число экспертов должно быть достаточно большим, чтобы отдельные мнения не имели неправомерно большое значение. Однако при резком увеличении числа экспертов в группе снижается уровень их компетентности, что может существенно снизить точность эксперт- ных оценок. Для расчета численности группы экспертов можно воспользоваться известным соотношением, которое используется при вычислении погрешности наблюдений [7] К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ 92 N = t p 2 / ε 1 2 где N – число экспертов в группе, ε 1 = ε /S – предельно допустимая относительная ошибка экспертной оценки, S – среднеквадратическое отклонение распределения оценок какой-либо величины, t p – коэффициент Стьюдента, определяющий ширину доверительного интервала и зависимость от величины вероятности оценки P (t p – табулированная величина). В зависимости от заданной погрешности экспертной оценки и выбранной величины вероятности может быть определена минимально возможная численность экспертов в группе N (таблица 1). Таблица 1. Минимально допустимое число экспертов в группе ε 1 Вероятность оценки P 0,99 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,5 26 15 11 8 7 5 4 4 0,3 74 43 31 23 19 15 12 10 Эмпирическим путем установлено, что эксперты в количестве 13-15 человек могут рассматри- ваться как достаточно представительная группа для проведения экспертизы СТС. Подтверждением этого является зависимость точности и надежности результатов оценки срока наступления события с числом экспертов в группе N (рис. 1). Рис. 1. Связь точности и надежности результатов оценки срока наступления события с числом экспертов в группе N Определение допустимых размеров экспертной группы В связи с отмеченным выше, рассмотрим пример, приведенный в работе [1]. Пусть по некото- рому обсуждаемому вопросу имеется 100 специалистов. В связи с трудностями организацион ного характера мы можем сформировать группу экспер тов до 50 человек. Для простоты расчета будем считать экспертом такого специалиста, стаж работы которого по данной проблеме не менее 10 лет. 93 К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ Тогда исходная задача формулируется так: необходимо определить 50-процентную выборку из 100 специалистов с числом экспертов со стажем не менее 10 лет с вероятностью, равной 0,9545. Предположим, доля специалистов со стажем 10 лет и выше из некоторых априори заданных гипотез равна 0,6 и меньше 10 лет – соответственно 0,4. Ошибка репрезентативности может быть вычислена в соответствии с теоремой Бернулли по формуле М g = t rg n , где М g – ошибка репрезентативности; t – доверительный коэффициент; r – доля элементов выборки с наличием заданного признака (в нашем примере r = 0,6); g – для элементов с отсутствием заданного признака (g = 0,4). При заданной вероятности Р = 0,9545 коэффициент t = 2. Тогда М g = 2 . Таким образом, в исходном коллективе специалистов доля экспертов со стажем не менее 10 лет составит 0,6 ± 0,138 или будет находиться в пределах от 46,2 до 73,8%. В практике прогнозирования стремятся к минимально возможному числу экспертов в группе. Уменьшение числа экспертов ниже определенного предела равносиль но уменьшению точности выборки. В такой ситуации возникает задача установления численности экспертной группы при задаваемых значениях уменьшения точности выборки. Пусть задано уменьшение выборки на 10% в предыдущем примере, что составляет 0,0138 от рассчи танной ошибки репрезентативности. Тогда полученная ошибка составит ∆ g = ± (0,138 + 0,0138) = ± 0,1518. Численность выборки вычисляется по формуле ng = (t 2 r g )/ ∆ 2 g = (4 · 0,6 · 0,4) / 0,0225 = 36 экспертов. Таким образом, в группе из 100 специалистов с вероятностью Р = 0,9545, 36 специалистов могут привлекаться в качестве экспертов. В результате исследований по определению численного состава экспертной группы, приведенных в монографии [8], получена зависимость β /α = f (k) (β– вариа- ция, α–ширина доверительного интервала, k – число экспертов) для выбранной доверительной вероятности p (рис. 2). Допустим, что требуется сформировать группу экспертов для оценки технического уровня СТС, причем желательно, чтобы доверительный интервал экспертной оценки неметрического критерия составлял с вероятностью 0,8 не более ± 10% от среднего ее значения. На основании предыдущего опыта известно, что намечаемые к включению в группу специалисты в задачах подобного рода оценивали величину βне выше значения 0,25. Таким образом, в качестве входных данных имеем: α = 0,1; β= 0,25, т.е. β /α = 2,5; p = 0,8. Для этих исходных данных из графика (рис. 2) находим: k = 12. К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ 94 Таким образом, мы приходим к выводу, что оптимальным решением будет организация экспертной группы в составе 10-12 чел. В данном случае предполагали, что все эксперты знакомы с поставленной проблемой и готовы ответить на все поставленные вопросы. Однако порой при оценке технического уровня СТС перед экспертами ставятся вопросы настолько разнопланового характера (например, технические, эксплуатационные, экономические и пр.), что трудно бывает найти специалиста, способного компетентно разбираться по всему спектру вопросов. В таких случаях в состав экспертной группы наряду со специалистами по всем во- просам (ограниченное число), включаются специалисты в узкой области, способные ответить только на отдельные вопросы. В итоге формируется полноценная группа экспертов. Но, спра- шивается, будет ли достоверна оценка полученная данным экспертным коллективом? Ведь в данном случае свойства эксперта не распространены на всю совокупность поставленных перед экспертами вопросов. Компетентность экспертов Не менее важным вопросом, чем определение минимального объема экспертной группы, является оценка компетентности экспертов. Очевидно, что в зависимости от характера и вида продукции величина коэффициента компетентности у одного и того же эксперта может меняться и прини- мать значения от нуля (полностью некомпетентен) до единицы (наивысшее значение весового коэффициента). Следует отметить, что в настоящее время объективные способы оценки экспертов практически труднореализуемы и в основном используются до статочно субъективные способы – самооценка, взаимооценка и оценка на основании документов о квалификации. В первом приближении можно оценить качество эксперта, используя формализованный под- ход к оценке его профессиональной компетентнос ти [7]. Профессиональную компетентность, во-первых, определяют уровнем научной квалификации эксперта К к , который приблизительно можно оценить по табл. 2. Во-вторых, компетентность эксперта определяется структурой аргу ментов, послуживших ему основанием для оценки (коэффициент k а ), и степенью его знакомства с исследуемым вопросом (коэффициент К з ). Коэффициент аргументированности k а можно получить, в частности, путем суммирования со- ответствующих числовых значений в таблице (табл. 3), отмеченных в порядке самооценки самим экспертом (список источ ников аргументации приводится в анкете). Рис. 2. График для определения числа экспертов k в зависимости от соотношения β /α 95 К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ Таблица 2. Примерный уровень научной квалификации эксперта Должность Значения коэффициента квалификации К к без ученой степени кандидат наук доктор наук член-корреспондент, акаде мик Старший научный сотрудник 0,15 0,225 0,30 0,50 Начальник лаборатории, руководи тель группы, доцент 0,20 0,30 0,40 0,60 Начальник отдела, заместитель началь- ника отдела, заведующий кафедрой 0,25 0,375 0,50 0,75 Руководитель комплекса, заместитель руководителя комплекса 0,30 0,60 0,60 0,90 Директор, заместитель директора, научный руководитель проблемы 0,40 0,60 0,80 1,00 Таблица 3. Оценка аргументации мнения эксперта Источники аргументации Степень влияния источника высокая средняя низкая Производственный опыт 0,40 0,30 0,20 Проведенный теоретический анализ 0,20 0,15 0,10 Учет тенденций, выявленных на последних кон- ференциях и симпозиумах 0,10 0,10 0,05 Обобщение работ отечественных авторов 0,10 0,05 0,05 Обобщение работ зарубежных авторов 0,05 0,05 0,05 Личное знакомство с состоянием дел за рубежом 0,05 0,05 0,05 Интуиция 0,05 0,05 0,05 Коэффициент аргументации К а 1,00 0,80 0,50 Следует заметить, что числовые оценки в табл. 3 достаточно приблизитель ны, но важно под- черкнуть, что суммарный коэффициент аргументирован ности k а не должен превышать единицы. Степень влияния на мнение эксперта всех перечисленных источников аргументации ( k а = 1 – вы- сокая, k а = 0,8 – средняя, k а = 0,5 – низкая) определяется, как уже отмечалось, самим экспертом. Аналогично оценивается степень знакомства эксперта с пробле мой. В анкете эксперт проставляет балл самооценки (например, от 1 до 10), причем максимальному баллу (10) соответствует знакомство на уровне авторства (соавторства) в разработке конкретных подходов к ре шению проблемы, мини- мальному баллу (0) – полное отсутствие знакомст ва с проблемой. Затем производится нормировка балльной оценки, т.е. умножением на 0,1 коэффициент k з заключается в диапазон от 0 до 1. Комплексный показатель компетентности i-гo эксперта можно вычис лить по формуле k i = ( k к + k а + k з ) / 3. Величина k i лежит в пределах от 0,05 до 1,0. К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ 96 Как правило, коэффициент профессиональной компетентности экс перта учитывается в виде мно- жителя при соответствующей оценке, т.е. как бы служит коэффициентом значимости (весомости) мнения данного эксперта (например, при оценке значений весовой функции в матрицах уровней потребительских свойств и удельных затрат). В работе [8] степень компетентности характеризует коэффициент авторитета, под которым понимают число, показывающее, с каким весом следует включать в статистическую обработку количественные оценки данного эксперта. Коэффициент авторитета выражается в нормированной форме, при этом максимальному авторитету приписывается коэффициент µ = 1, а менее компе- тентные эксперты имеют µ ∠ 1, некомпетентный эксперт должен получить µ = 0. Для выбора рационального способа определения коэффициен тов авторитета экспертов по резуль- татам самой экспертизы в работе [8] предложен подход по формированию этого коэффициента. 1. Коэффициен т авторитета должен лежать в пределах 0 – 1. 2. Коэффициен т авторитета должен быть монотонной функцией разности между индивидуальной и средней оценкой исследуемого критерия системы. 3. При одинаковой разности между индивидуальной и средней оценкой коэффициент авторитета должен быть тем меньше, чем меньше дисперсия усредненного значения критерия. 4. При совпадении индивидуальной и усредненной оценки ко эффициент авторитета должен обращаться в 1, т. е. принимать свое наибольшее значение. 5. Коэффициен т авторитета должен определяться с использованием экспертных оценок иссле- дуемого критерия для всех конкурирующих систем в данной за даче выбора. Особенности положения 3 и 5 подробно представлены в работе [8]. Нами разработан подход, который предлагает использовать информацию об уровнях возможных ошибок экспертов и учитывать ее при получении сводной оценки группы экспертов [9]. Уточнение среднего значения с использованием дополнительных сведений, заложенных в анализируемой вы- борке данных, можно выполнить на основе схемы Байеса [10]. Подход Байеса широко используется как инструмент теории вероятности в различных областях. Для получения консолидированной оценки группы экспертов предлагается метод, учитывающий «расстояния» оценок экспертов до агрегированной оценки, на основе которых оценкам экспертов приписываются различные веса. Таким образом, для n критериев m экспертов имеем m×n оценок, которые можно представить в виде матрицы: 1 1 1 1 n m m n x x X x x é ù ê ú ê ú = ê ú ê ú ê ú ê ú ë û , (1) где ( ) i j x – вес критерия j по мнению эксперта i. Затем производится расчет среднеарифметических значений оценок для каждого критерия: ( ) ( ) ( ) ( ) ( ) ( ) 1 1 1 1 1 1 1 1 ,..., ( ,..., ), m m m A i i i A A n n i i i x x x x x x m m m = = = æ ö÷ ç ÷ = = = ç ÷ ç ÷ çè ø å å å (2) где ( ) A j x – средняя оценка по критерию j. 97 К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ Дальнейшее уточнение полученных значений весовых коэффициентов значимости критериев основано на учете разного уровня погрешностей в оценках у различных экспертов, которые будут учитываться при расчете консолидированных оценок. Введем случайную величину, чьи реализации равны отклонениям значений значимости крите- риев экспертов от истинного значения. Важно отметить, что в данном случае в качестве истинного значения взято среднеарифметическое значение экспертных оценок. Тогда для каждого эксперта имеем оценку дисперсии введенной случайной величины: ( )2 ( ) ( ) 2 1 1 ( ) . 1 n i i A j j j x x n = = - - å (3) Затем подсчитываем весовой коэффициент для каждого эксперта: ( ) ( )2 ( )2 1 1 1 / m i i i i w = = å (4) Важно отметить, что в данном случае принимается предположение о стохастической независи- мости оценок экспертов. Это предположение основано на том, что экспертам не сообщают оценки, выставленные их коллегами, что обеспечивает независимость оценок экспертов как случайных величин. После получения весов (4) подсчитываются уточненные оценки значимости критериев как средневзвешенные оценки с учетом разного уровня погрешностей оценок экспертов: ( ) ( ) 1 m B i j i j i x w x = = å (5) В результате для каждого критерия j будет найдено ( ) B j x , которое соответствует консолидирован- ной оценке всех экспертов с учетом индивидуальных погрешностей экспертов. Это значение явля- ется средневзвешенным значением оценок экспертов с учетом их экспертной компетентности. Еще одной надежной схемой определения компетенции каждого эксперта, выраженного в опреде- лении весов их оценок, является оценка дисперсий погрешностей оценок экспертов в прошлом. Эта схема применима, если известна матрица предшествующих оценок экспертов и реализованные значения прогнозируемой характеристики, которые можно представить в виде матрицы 11 12 1 1 21 22 2 2 1 2 , , , , ..., , , , , ..., ..., ..., ..., ..., ..., , , , , ..., m m N N Nm N X X X Y X X X Y X X X Y æ ö÷ ç ÷ ç ÷ ç ÷ ç ÷ ç ÷ ç ÷ ç ÷÷ ç ÷ ç ÷ ç ÷ çè ø , (6) где X ij – числовое значение оценки j-го эксперта при i-ом проведении оценок в прошлом, Y i – реа- лизованное значение оцениваемой характеристики. К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ 98 На основе известных значений элементов матрицы (6) можно оценить ковариационную матрицу относительных погрешностей оценок экспертов, используя формулы 1 ' 1 cov( , ') 1 1 , , ' 1,..., N ki ki i i k k k X X X X i i m N Y Y = æ ö æ ö ÷ ÷ ç ç ÷ ÷ = - × - = ç ç ÷ ÷ ç ç ÷ ÷ ç ç è ø è ø (7) В частности, при i = i’ формула (7) дает дисперсии относительных погрешностей оценок экс- пертов. Тогда оптимальная итоговая оценка оцениваемой характеристики совокупностью из m экспертов задается равенством ( ) ( ) 1 1 1. , 1.1 X opt X K X X K - - = (8) где 1 X K - – обратная матрица к ковариационной матрице X K относительных погрешностей оценок экспертов ((i, i ’ ) – элемент этой матрицы равен ковариации (7)), 1 =(1,1,…,1) Т – m – мерный вектор, 1 ( ,..., ) T m X X X = – вектор объединяемых оценок экспертов. Дисперсия относительной погрешности оптимальной оценки (8) задается равенством 2 1 1 ( ) ( 1.1) opt X X K - = (9) Оптимальность оценки (8) означает, что дисперсия относительной погрешности оценки любого из m экспертов больше дисперсии (9). Таким образом, предложенные выше схемы объединения оценок нескольких экспертов, обладая оптимальными свойствами, образно говоря, “выжимают” всю информацию из оценок отдельных экспертов и дают сводную объединительную оценку с наименьшей погрешностью 1∗ При оценке технического уровня СТС перед экспертами ставятся вопросы разнопланового ха- рактера (например, оценить значимость оценочных показателей таких как, «технический», «тех- нологический», «эксплуатационный», «экономический» и пр.), и поэтому бывает трудно найти специалиста, способного компетентно разбираться по всему спектру вопросов. В таких случаях в состав экспертной группы необходимо включать наряду со специалистами широкого профиля, высококвалифицированных специалистов в узких областях. Число таких специалистов зависит от их профессионального уровня и решается, в частности, с помощью равенства (9). Для агрегирования мнений экспертов принимается среднегеометриче ское, вычисляемое по следующему соотношению [11] 1 2 ... , A n n ij ij ij ij a a a a = (10) где A ij a – агрегированная оценка элемента, принадлежащая i-й строке и j-му столбцу матрицы парных сравнений; п – число матриц парных сравнений, каждая из которых составлена одним экспертом. 1∗ При объединении оценок нескольких экспертов часто ориентируются на утверждение, что количество экспертов должно быть достаточно большим. Приведенные выше схемы показывают, что часто достаточно оценки лишь одного высококвалифицированного эксперта, чтобы погрешность оценки была ниже приемлемого уровня 99 К ВОПРОСУ О КАЧЕСТВЕ И НАДЕЖНОСТИ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ ОПРЕДЕЛЕНИИ ТЕХНИЧЕСКОГО УРОВНЯ СЛОЖНЫХ СИСТЕМ Логичность критерия (10) становится очевидной, если два равноцен ных эксперта указывают при сравнении объектов соответственно оценки а и 1/а, что при вычислении агрегированной оценки дает единицу и свидетель ствует об эквивалентности сравниваемых объектов. Выводы На основе проведенных аналитических исследований по проблеме оценки точности и надеж- ности экспертных оценок при оценке технического уровня СТС: 1. Предложен порядок формирования группы экспертов и требования к экспертам. 2. Определен с достаточной для практических расчетов состав экспертной группы с числом экспертов, равным не менее 10-12 при доверительной вероятности 0,8. 3. Рассмотрены подходы и предложены варианты определения коэффициента компетентности эксперта, который учитывает факторы научной квалификации, аргументации мнения эксперта и его знакомство с оцениваемой проблемой. 4. Предложен методический подход к оценке возможных ошибок экспертов при получении сводной оценки группы экспертов. Литература 1. Ямпольский С.М., Лисичкин В.А. Прогнозирование научно-технического прогресса, – М.: Экономика, 1974. – 207 с. 2. Щеверов Д.Н. Проектирование беспилотных летательных аппаратов. – М.: Машиностроение, 1978. – 264 с. 3. Семенов С.С. Оценка технического уровня систем наведения управляемого авиационного оружия класса «воздух-поверхность» // Вестник компьютерных и информационных технологий. – 2006. – № 8 – С. 7-11; № 9 – С. 13-23; № 10 – С. 12-18. 4. Семенов С.С., Щербинин В.В. Метод оценки технического уровня систем наведения управляе- мых авиационных бомб / Материалы четвертой научно-практической конференции «Перспективные системы и задачи управления» и первой молодежной школы семинара «Управление и обработка информации в технических системах». Таганрог. ТФЮУ, 2009 г. – 291 с. – С. 160-167. 5. Семенов С.С., Щербинин В.В. Метод оценки технического уровня систем наведения управ- ляемых авиационных бомб // Вопросы оборонной техники. Сер. 9. Специальные системы управ- ления, следящие приводы и их элементы.. – М.: ФГУП «НТЦ «Информтехника», 2010. – Вып. 1 (242) – 2 (243). – 108 с. – С. 29-32. 6. Орлов А.И. Эконометрика. Ростов-на-Дону: Феникс, 2009. – 572 с. 7. Бобровников Г.Н., Клебанов А.И. Комплексное прогнозирование создания новой техники. – М.: 1989. – 205 с. 8. Брахман Т.P. Многокритериальность и выбор альтернативы в технике. – М.; Радио и связь, 1984. – 288 с. 9. Крянев А.В., Тихомирова А.Н., Сидоренко Е.В. Групповая экспертиза инновационных проектов с использованием байесовского подхода // Экономика и математические методы. – 2013 Том 49, №2 – С. 124-139. 10. Крянев А.В., Лукин Г.В., Удумян Д.К. Метрический анализ и обработка данных. – М.: Физматлит, 2012. – 308 с. 11. Андрейчиков А.В., Андрейчикова О.Н. Системный анализ и синтез управленческих ре- шений в инноватике: Математические, эвристические и интеллектуальные методы системного анализа и синтеза инноваций. – М.: Книжный дом «ЛИБРОКОМ», 2013. – 304 с. |