Выравнивание инженерного доверия теория, метод и эксперименты а
 Скачать 0.97 Mb.
|
|
Алиса имеет дополнительный рейтинг фоновых знаний ð'ConferenceZ'; «Уровень А». С помощью этой информации она может перевести сообщение от Боба в свою собственную систему отсчета, завоевав доверие — «Зак»; 4Þ. Однако мы не предполагаем, что это ее собственная оценка доверия. Оценка доверия Алисы теперь использует это переведенное сообщение вместе с любой другой информацией, которую она может получить о Заке, и вычисляет ее фактическую оценку Зака. Это она может использовать, чтобы решить, является ли Зак заслуживающим доверия автором введения ее книги. Пример 11. После дальнейшего общения Алиса создает второй SRA: Наше определение lggðc1; c2Þ не учитывает фоновую информацию. Поэтому нам нужно определить lggBðc1; c2Þ , что приводит к наименьшему общему обобщению относительно фоновой информации B. Для этого мы используем нижнее предложение ? ðcÞ пункта c. Поскольку y-сумпозиция не делает различий между LTrust и LDomain , нам нужно расширить наше определение взаимодействий как модели Гербранда: мы должны определить для LTrust часть сообщения с заменами. Пусть ¼ a'b;w — обобщение через y- подведение, если тогда существует замена yA, такая что: ObserveAðIÞ FAayA. Это прямое расширение определения 4.4. /trustð'Зак'; 3Т; авторð'NewArticle'; 'Zack'Þ4 публикация 'NewArticle'; 'Конференция Z'ÞS )}. Это позволяет нам два атома можно определить точнее, чем в определении 4.8, а именно: если атомы а1 и а2 начинаются с разных предикатных символов, то их обобщением является >, в противном случае это атом а, такой, что есть замены y1; y2 такие, что ay1 = a1 и ay2 = a2. Это ГРА. В нем говорится, что для любого агента X, которого Боб оценивает со значением 3 на основе статьи, опубликованной в месте с рейтингом TierA, Алиса должна интерпретировать это как оценку агента X со значением 4. обобщения обратно к нашему формированию канала: Она может построить? ðE2Þ и, таким образом, может рассчитать lggBðE1;E2Þ: lggð? РЭ1Т; ? ðE2ÞÞ ¼ довериеðX; 4Þ'довериеðX; 3Т; авторА; XÞ; публикацияðA; В; рейтинг B; 'TierA'Þ обобщение Hn, которое охватывает все СРА. lggBðEÞ вычисляет нижние предложения всех SRA, а затем продолжает попарно вычислять наименьшие общие обобщения, пока не останется ни одного. Полученная конъюнкция клауз и есть наша гипотеза Hn. Этот процесс представляет собой процесс индукции шага (4) на рис. 1. Его результатом являются пункты Hn — общие правила согласования (GRA), а доверительное выравнивание — набор GRA, изображенный в пункте (5) рис . 1 . ), рейтинг('КонференцияB', E2 ¼ доверятьð'Greg'; 4Þ'доверятьð'Грегу'; 3Т; авторð'ArticleThree'; 'Грег'Þ; публикация "ArticleThree"; 'КонференцияB'Þ существует замена yB такая, что: ObserveBðIÞ BbyB существует замена y такая, что IFwy Пример 12. Используя GRA из примера 11, Алиса может перевести новое сообщение от Боба, в котором говорится: Подводя итог: начиная с набора SRA, передаваемых по каналу, каждый агент может вычислить е Как мы видим в этом примере, GRA — это прогностические правила, которые позволяют агенту преобразовывать оценку доверия, даже если он не разделяет взаимодействия, на которых он основан. Затем модель доверия может использовать эту информацию так, как она обычно интегрирует информацию свидетеля, чтобы решить, следует ли взаимодействовать с целью, как в пунктах (7)–(9) на рис. 1 . 5 4 С темами из таксономии ACM. А. Костер и соавт. / Междунар. Дж. Человеко-компьютерные исследования 70 (2012) 450–473 Согласно, например, рейтинговой системе CORE для конференций. 463 4 5 Machine Translated by Google 5. Изучение предсказания: практика 4.4. Вычисление Наблюдая за этими искусственными взаимодействиями, агенты индивидуально вычисляют дополнительные свойства. Как и в случае с любой симуляцией, это означает, что нам не хватает богатства реальных взаимодействий. Вместе они могли бы найти обобщение своих комбинированных прогностических моделей. Заметим, однако, что это было бы не очень интересно: это давало бы только те правила, для которых обе их модели доверия точно совпадают, тогда как отдельные обобщения обладают большей предсказательной силой, давая перевод оценки доверия другого в определенной ситуации, описанной в LДомен. Во-вторых, это также означает, что способность прогнозирования не теряется, когда каждый агент изучает свое собственное обобщение отдельно. Используя онтологию LDomain, мы можем автоматически генерировать статьи, написанные авторами в системе. Предполагается, что исходная информация о конференциях, журналах и авторах известна всем оценивающим агентам в системе. Генерируя взаимодействия из онтологии LDomain , мы упрощаем проблему, обсуждавшуюся в разделе 3. В теории мы работаем в предположении, что существует корреляция между свойствами взаимодействий, описанными в LDomain , и субъективными наблюдениями агентов. Хотя могут быть и другие свойства взаимодействий, которые не охвачены LDomain, которые все еще можно наблюдать, они могут быть описаны косвенно с помощью LDomain. Например, автор статьи, являющийся носителем английского языка, показывает корреляцию с правильным использованием английского языка в статье, что затем можно наблюдать, читая статью. Вместо того, чтобы пытаться воссоздать такие корреляции в искусственных данных, мы решили не использовать их и генерировать взаимодействия, используя предикаты в LDomain. Доказательство этой теоремы дано в приложении. Эта теорема имеет несколько важных следствий. Во-первых, это означает, что мы не теряем предсказательную силу, рассматривая каждый целевой канал отдельно: обобщение через y-подведение объединения теорий такое же, как обобщение объединения обобщений. 5.1.1. Взаимодействия Регрессия — это форма контролируемого обучения, цель которой — предсказать значение одной или нескольких непрерывных целевых переменных (Bishop, 2006). Глядя на модели доверия в литературе (Jøsang et al., 2007), большинство современных моделей могут быть полностью выражены таким образом, и с подходящим определением LTrust можно использовать регрессию для изучения соответствия. Основное преимущество регрессии перед кластеризацией состоит в том, что она осуществляется с наблюдением, а не без наблюдения: мы точно знаем, какой предикат мы хотим предсказать, и поэтому можем сосредоточиться на подгонке эвристики к этому предикату. Напомним пример 11, в котором показано, как y-подключение приводит к обобщению двух SRA. Однако она была выбрана удачно, так что и Алиса, и Боб дали Дейву и Грегу абсолютно одинаковые оценки. На практике очень маловероятно, что наши примеры будут выстраиваться так же точно, как и наш текущий пример, и это особый случай регрессии: когда выравнивание имеет среднюю ошибку 0. Если значения не совпадают так идеально, тогда Алгоритм регрессии первого порядка по-прежнему может использовать y- подключение для обобщения с эвристикой для минимизации стандартной ошибки примеров, охваченных обобщением. Использование этого типа алгоритма обучения с учителем делает проблему решаемой, в то же время обеспечивая достаточную выразительность LTrust и LDomain. Мы демонстрируем, как алгоритм регрессии первого порядка может изучить выравнивание, используя сценарий, описанный в разделе 3. Для демонстрации регрессии мы используем LTrust и LDomain из примера. 5.1. Экспериментальная установка рассмотрим индексированное семейство разбиений XA½T и XB½T для всех целей T, тогда их объединение также образует полную решетку относительно y-подключения. Во-первых, вычисление наименьшего общего обобщения двух предложений экспоненциально по количеству предложений. Если этого недостаточно, доказательство того, что предложение y включает в себя другое предложение, также доказывает, что оно является NP-полным (Garey and Johnson, 1979). Наконец, любой оператор обобщения, который фактически вычисляет lgg двух предложений, может столкнуться с проблемой бесконечного сокращения. Эти проблемы решаются путем наложения больших ограничений на пространство, в котором вычислительный алгоритм ищет гипотезу. Это делается за счет языковой предвзятости, которая ограничивает, какие типы гипотез могут быть рассмотрены. Мы рассмотрим практические аспекты изучения предсказания в следующем разделе. Мы проводим эксперименты с конечным набором случайно сгенерированных статей. Затем мы применяем проверку удержания, Метод, описанный в предыдущих разделах, является формальной структурой. Чтобы на его основе можно было проводить фактические вычисления, необходимо ввести некоторые ограничения. Во-первых, при построении канала возникают проблемы с конфиденциальностью. Они ограничивают количество агентов связи, посылаемых друг другу. Однако существуют ограничения и на само вычисление. Структура, описанная в предыдущем разделе, дает абстрактное описание решения, которое мы ищем, однако, как указано в конце, реализация должна преодолевать различные вычислительные ограничения вычисления наименьших общих обобщений и y-подключения формул. Выбор эвристики во многом зависит от того, что мы хотим узнать, что в нашем случае определяется LTrust. В Koster et al. (2010a,b), мы предложили использовать алгоритм кластеризации, чтобы сначала сгруппировать SRA на основе собственной оценки доверия, а затем использовать средство обучения ILP для изучения обобщения, однако, если LTrust допускает только один предикат с числовым значением для доверия, то мы можем использовать регрессию вместо кластеризации. А. Костер и соавт. / Междунар. Дж. Человеко-компьютерные исследования 70 (2012) 450–473 464 Machine Translated by Google Теоретически самый простой случай, когда есть функция, которая полностью независима от LDomain части SRA, может преобразовывать оценку доверия, переданную другим, в собственную оценку доверия. В этом случае выравнивание заключается в простом применении этой функции, чему легко научиться: нам не нужно принимать во внимание информацию о взаимодействиях. Эта мера дает значение от 0 до 1, где 0 — самый простой случай, а 1 — самый сложный. Одна из целей нашего эксперимента — показать, что эту меру можно использовать для оценки сложности проблемы выравнивания. Мы предполагаем, что сложная проблема требует большего количества SRA для изучения выравнивания. Если два агента используют одни и те же модули «наблюдения» и «доверия», то можно ожидать, что согласование будет очень простым: сообщенные оценки доверия могут быть использованы немедленно, однако, если один из них отличается, оценки доверия агентов, основанные на одних и тех же взаимодействиях, могут быть разными: в этом случае согласование необходимо, и насколько трудна эта задача согласования, во многом зависит от того, насколько различны эти модели доверия. Точно так же самый сложный случай, когда любое значение, которое сообщает другой агент, может привести к любому значению для нашей собственной оценки доверия: в этом случае пары оценок доверия в SRA можно рассматривать как равномерное распределение по всем значениям доверия. В этом случае оценка доверия другой стороны вообще не дает реальной информации, и единственной полезной частью сообщения выравнивания является информация о домене. 5.1.2. Оценка сложности выравнивания Мы запрограммировали наших агентов с моделями доверия на Прологе. Используемые нами модели рассчитывают надежность автора на основе наблюдений за сгенерированными статьями, используя онтологию, показанную на рис. 3. Таким образом, агент состоит из двух основных частей: модуль «наблюдение», который наблюдает статьи и обрабатывает их во внутренние наблюдения и модуль «доверия», который вычисляет надежность других агентов на основе этих наблюдений. Комбинация этих двух модулей приводит к оценке доверия агента на основе некоторых взаимодействий, как мы описали в разделе 1. В нашем случае у нас есть конечное число дискретных оценок доверия (целые числа от 5 до 5), и поэтому мы можем вычислить сложность проблемы, используя следующую меру. Мера сложности дает оценку того, насколько сложной будет задача поиска соответствия. где Gði;jÞ — значение сетки с индексом строки i и индексом столбца j, а max_entropyðzÞ — энтропия равномерного распределения со значениями z, также известная как максимальное распределение энтропии. энтропия – это энтропийная функция Шеннона. Пусть X = fx1; ... ; xng — дискретная случайная величина с n возможными значениями, тогда энтропияðXÞ = probðxiÞlogðprobðxiÞÞ и для любого xi2X: probðxiÞ = Насколько нам известно, TILDE — единственный алгоритм ILP, способный выполнять регрессию, а другие алгоритмы регрессии не могут справиться с выразительностью языка первого порядка, который мы используем для LDomain. Регрессия работает лучше, чем кластеризация (Koster et al., 2010b) , если мы предполагаем, что оценки доверия выражаются с использованием числового значения. используя 60% этих взаимодействий для процесса выравнивания и 40% для его оценки (Snee, 1977). Используя наш тестовый набор из 40 % взаимодействий, мы можем рассчитать корреляцию между результатами согласования из сообщения о согласовании и оценками доверия, рассчитанными по собственной модели доверия. Чем выше эта корреляция, тем лучше выравнивание. Эта мера, однако, не дает представления о том, насколько такое согласование повышает полезность передаваемой информации. Для этого нам понадобится еще одна мера. Мы можем По каждой координате в сетке мы подсчитываем, как часто эта конкретная комбинация оценок доверия встречается в E. Пусть Z будет набором со всеми различными возможными значениями для оценки доверия с размером z. Тогда G будет сеткой размера zz, и мы используем ее для расчета сложности следующим образом: 5.1.3. Алгоритм регрессии Наш выбор алгоритма регрессии первого порядка пал на TILDE (Blockeel et al., 2002). Он использует древовидное обучение, чтобы выбрать, какие предикаты дают наибольший выигрыш в эвристике. сложностьðEÞ ¼ Хотя эти два случая являются теоретическими границами сложности проблемы, они дают нам способ измерить, насколько сложным, по нашему мнению, будет согласование двух моделей доверия. Мы можем измерить энтропию в распределении, определяемом тем, как часто собственная оценка доверия совпадает с любой из оценок доверия других. Чем ближе это значение к 0, тем больше проблема похожа на простой случай. Чем ближе это к максимальному распределению энтропии, тем больше проблема выглядит как самый сложный случай (это вдохновлено энтропией Шеннона 1948 года , в которой чем выше энтропия, тем больше информации содержит сообщение). Эта мера сложности отражает случаи, которые Nardin et al. (2009) обнаружили при попытке согласования онтологий для разных моделей доверия: они обнаружили, что часто невозможно сопоставить одно понятие из одной онтологии с одним понятием из другой онтологии. Мы чувствуем, что проблема глубже: невозможно не только всегда сопоставлять понятия, но и невозможно сопоставлять пары понятие-значение, которые мы называем оценками доверия. Определение 5.1 (мера сложности задачи). Учитывая набор E из n SRA, мы строим сетку G, где по оси X отложены возможные значения собственных оценок доверия, а по оси Y — возможные значения оценок доверия других. Pn xi= Pn j = 1 xj. я ¼ 1 А. Костер и соавт. / Междунар. Дж. Человеко-компьютерные исследования 70 (2012) 450–473 465 P i2Zð P j2ZGði;jÞÞ энтропияðGði;nÞÞþP i2Zð P j2ZGðj;iÞÞ энтропияðGðn;iÞÞ 2 n max_entropyðzÞ Machine Translated by Google доверие(þЦель, þСтатья, 5):- авторы(Статья, Авторы), член(Цель, Авторы), значимость(Статья, Знак), Знак 40:7, оригинальность(Статья, Ори), Ори 40:7, удобочитаемость( Статья, Прочтите), Прочтите 40:7, !. 5.3. Полученные результаты Затем модуль доверия берет эти «наблюдения» и вычисляет окончательный предикат доверия агента. Мы формализовали их как правила «если-то-иначе» в Прологе: Модель D разработана как пример «самого простого случая» при согласовании с моделью A. Мы сделали это, изменив модули «наблюдение» и «доверие» агентов, которые вместе вычисляют, какое доверие оценки подтверждаются наблюдением за взаимодействием. MSE null : всегда используйте среднее значение собственных оценок доверия. среднее Модели A и B разработаны с использованием разных идей о том, как добиться доверия к статье, а модель C разработана как промежуточная модель между A и B. MSE null : не выполняйте выравнивание и просто используйте другую оценку доверия, переданную другим. Поэтому мы разрабатываем ряд различных моделей доверия, вычисляем сложность проблемы согласования между ними и изучаем согласование, используя 10, 25, 50, 100, 200, 500 и 1000 общих взаимодействий. Используемые нами модели доверия рассчитывают надежность автора на основе наблюдения за одной статьей. Мы имеем дело с одиночными взаимодействиями, потому что в процессе агрегирования много информации, необходимой для изучения выравнивания, теряется. Мы рассматриваем упрощенную задачу, в которой агенты сообщают об отдельных взаимодействиях и своих оценках цели, основанных на этом единственном взаимодействии. После перевода таких переданных оценок доверия он может агрегировать их, используя свой собственный метод агрегации, что позволяет обойти проблему изучения агрегированных значений. рассчитываются самим агентом, исходя из предположения, что существует некоторая корреляция между фактами, касающимися статьи, и такими субъективными оценками. Модуль наблюдения для модели А рассчитывает оригинальность статьи как среднее значение престижа институтов, в которых работают авторы. Модуль наблюдения для модели B вместо этого берет максимум. Каждый эксперимент проводится 50 раз, чтобы получить статистически значимую оценку того, насколько хорошо выравнивание, и результаты можно найти в таблице 1. Каждое значение представляет собой статистическое среднее по 50 экспериментам с соответствующими настройками, и мы также даем стандартную ошибку для каждая серия из 50 экспериментов. Модуль наблюдения представляет собой программу на Прологе, которая имеет в качестве входных данных описание взаимодействия в LDomain и базовые знания об окружающей среде. Он генерирует в качестве выходных данных предикаты «наблюдения», которые агент присваивает статье, такие как релевантность и оригинальность. |