|
[7 семестр] Расписанные вопросы к экзамену. Закономерностей. 4 Понятия информационный объект, информационное взаимодействие
35. Типология и показатели оценки эффективности информационного поиска. Определение первичных координат описания выхода ИПС. 2 вида критериев оценки:
-экономический: $$ и временные затраты (на разработку, тестирование, фикс. затраты на стандартные расходы вроде аренды);
-технический: способность обеспечения требуемого пользователю результата.
Экономическая эффективность.
Положения для анализа эффективности затрат:
Необходимость четкого определения целей системы.
Необходимость существ. альтернатив для достижения целей.
Необходимость определения стоимость реализации альтернатив.
Необходимость создания модели, связывающей стоимость реализации с целями.
Необходимость ранжирования альтернатив, т.е. для каждого случая надо оценить затраты и ожидаемую эффективность.
Техническая эффективность.
2 точки зрения: юзера и админа. Обоих интересует:
Удовлетворяет ли система требованиям пользователей;
В чем причины невыдачи релевантных док-ов;
В чем причины выдачи нерелевантных док-ов;
Расходы и доходы системы.
6 показателей эффективности ИС:
Полнота поиска – способность выдавать релев. док.
Точность – способность отфильтровывать нерелев. док.
Усилия на формулирование запросов и просмотр выданной информации.
Время между поступлением запроса и выдачей ответа.
Форма представления выдачи.
Полнота инф. массива в целом – степень охвата релевантных интересных пользователю док-ов.
Первичные координаты описания выхода ИПС – соотношение множеств выданных и невыданных док-ов.
Диаграмма <L> - соотношение множеств L0-всего инф. потока, и Lи истинно релев. док-ов и Lc документов, выданных системой в ответ на поисковый запрос.
Таблица сопряженности <a,b,c,d> отображает количественное соотношение выданных и невыданных системой множеств релев. и нерелев. док-ов.
Диаграмма <n,x> -сочетание числа выданных релев. х и всего выданных n док-ов.
36. Основные частные и интегральные критерии оценки АИПС.
| выданные
| невыданные
| Релев.
| a
| b
| Нерелев.
| c
| d
| Частные:
Полнота r=a/(a+c)= x/x0=|LИ ∩LC|/|LИ|
Точность p=a/(a+b)=x/n=|LИ ∩LC|/|LC|
Специфичность σ=d/(b+d)=1- (n-x)/(n0 – x0)=|L0\ (LИ ULC)| / |L0\LИ|
Общностьp0- характеризует качество комплектования поискового массива ( доля релев. документов в информационном массиве): p0=(a+c)/(a+b+c+d)=n/n0=|LИ|/|L0|
Относительный объем выдачи: v=(a+b)/(a+b+c+d)=n/n0=|LC|/|L0|
Интегральные. (используются, когда невозможно сравнить 1,p1> 2,p2> где p12, r1>r2)
Коэффициент линейной корреляции R выдачи и релевантности документов – это корреляционный момент случайных величин С – «быть выданным док-ом» и И – «быть релев. док-ом». Принимают значения 0,1.
M[C]=P(C=1)= M[И]= (мат. ожидания)
σ2с= σ2и= (дисперсии)
covси=М[C*И]-M[C]*M[И]=![](26183_html_m57dbd858.gif)
R(0)=0, R(p0)=0, R(И)=+1, R(Д)=-1, R(1)>0, R(2)>0, R(3)<0.
Обозначим |LИ ∩LC=L, |LИ|=LИ, |LC|=LC, |L0|=L0
R=![](26183_html_34fdef32.gif)
Показатель полезной работы η При непосредственном просмотре L0 трудозатраты: С`=n`=x/p0
При просмотре массива Lc имеющего точность р, затраты C``=n``=x/p
Работа АИПС равна разности данных величин или высвобожденной информационной деятельности потребителя: Сис=n`-n``=x(1/p0 – 1/p)=![](26183_html_2dc2f948.gif)
η=CИС/(n0-x0)=r+σ-1
данная мера полезной работы изменяется от +1 до -1.
|
|
|