Обзор современного состояния машинного обучения, ориентированного на человека. Обзор современного состояния машинного обучения, ориентированног. Review of Recent Deep Learning Approaches in HumanCentered Machine Learning
 Скачать 175.42 Kb.
|
|
Обзор последних подходов к глубокому обучению в Машинное обучение, ориентированное на человека (A Review of Recent Deep Learning Approaches in Human-Centered Machine Learning) Аннотация: После того, как Глубокое обучение (DL) в последнее время вновь обрело популярность, область искусственного интеллекта (ИИ) или машинного обучения (ML) переживает стремительный рост в области исследований и разработки приложений в реальном мире. Глубокое обучение породило сложности в алгоритмах, и исследователи и пользователи выразили обеспокоенность по поводу удобства использования и приемлемости систем глубокого обучения. Эти проблемы в сочетании с растущим взаимодействием человека и искусственного интеллекта создали новую область - Машинное обучение, ориентированное на человека (HCML). Мы представляем этот обзорный документ в качестве обзора и анализ существующей работы в HCML, связанной с DL. Во-первых, мы сотрудничали с экспертами в этой области, чтобы разработать рабочее определение для HCML. Во-вторых, посредством систематического обзора литературы мы анализируем и классифицируем 162 публикации, которые подпадают под HCML. Наша классификация основана на аспектах, включая тип вклада, область применения и целевые категории персонала. Наконец, мы анализируем топологию ландшафта HCML, выявляя пробелы в исследованиях, выделяя противоречивые интерпретации, решая текущие проблемы и представляя будущие возможности исследований HCML. Ключевые слова: машинное обучение, ориентированное на человека; HCML; HCAI; искусственный интеллект, ориентированный на человека; Глубокое обучение 1. введение Искусственный интеллект (ИИ) представляет собой широкий спектр автоматизированного принятия решений от условной логики до нейронных сетей. Решения или прогнозы, сделанные с использованием методов, основанных на данных, относятся к машинному обучению (ML), подмножеству ИИ. Подмножество методов машинного обучения, использующих Глубокие нейронные сети (DNN), называется Глубоким обучением (DL) (см. Рисунок 1). Рисунок 1. Обзор искусственного интеллекта. В современной практике глубокое обучение (DL) и машинное обучение (ML) обычно называют искусственным интеллектом (ИИ), хотя ИИ также включает в себя более простые методы, основанные на правилах. В этой статье термин ИИ относится к ML и DL. За последние два десятилетия число научных публикаций по искусственному интеллекту (ИИ) выросло на его долю приходится 9% всех публикаций конференций и 3% всех публикаций в журналах [1]. Большая часть этих исследований в области искусственного интеллекта обычно посвящена разработке алгоритмов и оптимизации технологий с акцентом на высокопроизводительные модели, ориентированные на точность. Помимо академических исследований, машинное обучение, искусственный интеллект и глубокое обучение невероятно распространены в отраслях, богатых данными. Эти же отрасли с переменным успехом создавали продукты и услуги на базе ИИ. Как интеграция производительных модели в отрасли продолжаются, и в равной степени возрастает потребность в анализе и улучшении перевода с алгоритмической модели на требования конечного пользователя. Рост машинного обучения, ориентированного на человека (HCML) Развитие машинного обучения, ориентированного на человека (HCML) Терминология HCML использовалась в публикациях более десяти лет назад. В вспомогательном инструменте [2] Баласубраманян и др. утверждали, что они ввели термин “Алгоритмы машинного обучения, ориентированные на человека”, благодаря своему исследованию систем машинного обучения с использованием человека в цикле. Однако термин HCML начал набирать и набирать популярность в середине 2010-х годов, после того как началась современная эра Глубокого обучения. Среднестатистический пользователь еще не понимает возможностей, ограничений и внутренней работы искусственного интеллекта. Поэтому пользователи сообщили проблемы [3,4] в отношении объяснимости, пользовательского интерфейса (UX) с интерфейсами, конфиденциальности пользовательских данных, безопасности, надежности и надежности систем искусственного интеллекта. Необходимость решения этих проблем переросла в область машинного обучения, ориентированного на человека (HCML). Признавая , что оптимизация алгоритмов и инновационные архитектуры нейронных сетей сами по себе не решают проблем удобства использования и адаптации, область HCML стремится повысить уровень разработки систем ML, ориентированных на пользователя. Ссылка на терминологию HCML в настоящее время существует в формальных и неофициальные форумы, такие как публикации по ИИ, семинары, конференции [5], а также сообщения в блогах и статьи корпораций, ориентированных на ИИ (см. Рисунок 2) Рисунок 2. Рост публикаций, связанных с искусственным интеллектом, и публикаций, ориентированных на машинное обучение (HTML). HCML возникла как область исследований, изучающая методы приведения систем машинного обучения в соответствие с человеческими целями, контекстом, проблемами и способами работы [5]. Наряду со многими институтами, исследующими аспект пользовательского опыта искусственного интеллекта, появилось несколько различных терминов и сокращений. Широкое использование ОД и ИИ как взаимозаменяемых терминов привело к тому, что учреждения стали использовать любой из терминов, ориентированных на человека. Машинное обучение (HCMV) или Искусственный интеллект, ориентированный на человека (CAI или HAI). Несколько исследователей также начали называть эту область потоком искусственного интеллекта (подробное описание см. в разделе 2). Тем не менее, основополагающий принцип всех этих терминов остается прежним, который заключается в разработке удобных и адаптируемых систем машинного обучения "Человек в цикле". Некоторые из наиболее распространенных проблем, возникающих у неспециалистов-пользователей, - это объяснимость [6-10], интерпретируемость [11-14], конфиденциальность и безопасность [15-20], надежность [21-25] и справедливость [26-31]. Эти категории появились как области исследований, способствующие HCML, и каждая из них играет определенную роль в более широкой цели улучшения удобства использования и приемлемости систем искусственного интеллекта. Важно отметить, что эти области исследований не являются новыми, а вместо этого согласуются с основными мотивами HCML. Растущий спрос на адаптацию систем ML к реальным случаям использования требует своевременного и углубленного исследования ГХМЛ; однако крайне важно изучить ландшафт предыдущих работ в этой развивающейся области. 1.2. Сфера охвата и вклад В этом документе анализируется работа HCML, связанная с глубоким обучением (как показано на рисунке 3). HCML появился в середине 2010-х годов с растущей популярностью, в основном из-за широкой адаптации Глубокого обучения. Быстрое развитие аппаратного обеспечения для работы алгоритмов глубокого обучения позволило провести новые исследования архитектуры нейронных сетей. Алгоритмы глубокого обучения сложный характер был основной причиной появления некоторых подтем в HCML, таких как объяснимость и интерпретируемость. Экспоненциальный рост глубокого обучения и существование вспомогательных областей исследований в рамках HCML породили разнообразные исследования – от разработки алгоритмов и оптимизации до исследований пользователей. Фокус исследования варьируется, фокусируясь на алгоритме, пользовательских исследованиях, концепциях или их сочетании. Рисунок 3. Машинное обучение, ориентированное на человека (HCML), - это пересечение машинного обучения и дизайна, ориентированного на человека (отмечено розовыми полосками). В этой статье наше внимание сосредоточено наподходах HCML, связанных с глубоким обучением, отмеченных зеленой зоной. Насколько нам известно, не было проделано никакой предварительной работы по исследованию и детализации предыдущей работы, связанной с глубоким обучением, в области HCML. Поэтому в этой работе мы анализируем последние подходы в HCML, связанные с глубоким обучением. Подводя итог, можно сказать, что наш ключевой вклад в эту работу заключается в следующем: • Рабочее определение HCML: Многие ведущие исследовательские группы интерпретировали HCML через призму своих соответствующих учреждений. Эти интерпретации представляют различные точки зрения на всю совокупность HCML. Поэтому мы проанализировали эти интерпретации и впоследствии вывели рабочее определение (см. Раздел 2), которое охватывает преобладающую работу в области HCML. Мы утвердили окончательное определение путем консультаций с ведущими учеными и отраслевыми экспертами, которые возглавляют Исследование HCML. • Систематический обзор литературы: Мы используем Систематический обзор литературы (SLR) техника фильтрации и выбора публикаций, как описано в разделе 3. Мы классифицируем и критически анализируем 162 публикации на основе четырех критериев. Предыдущие работы связаны с целым рядом областей, таких как медицина и разработка программного обеспечения, и характер этих публикаций принимает несколько форм. Некоторые фокусируются на конкретных проблемах пользователей, в то время как другие выделяют общие аспекты в рамках HCML. Эти различия проложили нам путь к созданию таксономии публикаций HCML (см. Раздел 4). • Проблемы и возможности для исследований в области ГХМЛ: учитывая формирующийся характер В области HCML исследования, проводимые в области HCML, сталкиваются с проблемами в нескольких направлениях. Наш анализ в рамках определенной области применения HCML раскрывает возможности для будущих исследований. Мы подробно обсудим эти моменты в разделе обсуждения (см. Раздел 5). 2. Определение HCML Машинное обучение, ориентированное на человека, также известное как Искусственный интеллект, ориентированный на человека (HCAI или HAI), набирает популярность из-за опасений, высказанных влиятельными технологическими фирмами и исследовательскими лабораториями по поводу человеческого контекста. Семинар в связи с Конференцией по человеческому фактору в вычислительных системах в 2016 году [5] объяснил, что HCML должен четко учитывать человеческий аспект при разработке Модели ML, перестраивают рабочие процессы машинного обучения на основе существующих методов работы с людьми и исследуют совместную адаптацию людей и систем. В начале 2018 года Google Дизайн (https://design.google/library/ux-ai /, доступ к которому получен 1 апреля 2021 года) опубликовал статью, в которой отмечается, что HCML - это пользовательский интерфейс (UX) ИИ. Ссылаясь на реальный потребительский продукт ML, Google подчеркнул, как ML может сосредоточиться на человеческих потребностях, решая их уникальными способами, которые возможны только с помощью ML. Несколько исследовательских проектов (https://hcai.mit.edu /, доступ к которому получен 1 апреля 2021 года) Массачусетским технологическим институтом (MIT) по технологиям самостоятельного вождения, названным их подходом Искусственный Интеллект, ориентированный на человека. Команда Массачусетского технологического института признала как разработку систем искусственного интеллекта, которые постоянно учимся у людей и параллельно создаем и реализуем опыт взаимодействия человека и робота. В 2019 году Стэнфордский институт человекоцентричных Искусственный интеллект (https://hai.stanford.edu /, доступ к которому был получен 1 апреля 2021 года) был инициирован с целью улучшения исследований, образования, политики и практики в области искусственного интеллекта. Они признали важность разработки технологий и приложений искусственного интеллекта, основанных на сотрудничестве, дополняющих друг друга и повышающих производительность труда и качество жизни людей. Мастерская (https://sites.google.com/view/hcml-2019 , дата обращения 1 апреля 2021 года), состоявшейся в 2019 году вместе с Конференцией по нейронным системам обработки информации для машин, ориентированных на человека. Обучение было сосредоточено на интерпретируемости, справедливости, конфиденциальности, безопасности, прозрачности, подотчетности и междисциплинарном подходе технологий искусственного интеллекта. Запущенный в 2017 году Google People + Исследовательская инициатива в области искусственного интеллекта (https://pair.withgoogle.com /, доступ к которому получен 1 апреля 2021 года) опубликовано книга 2019 года, в которой представлены рекомендации по созданию систем управления, ориентированных на человека. Эта команда исследует весь спектр взаимодействия человека с машинным интеллектом для создания более совершенных систем искусственного интеллекта с людьми. Учитывая объем предыдущей работы HCML/HCAI и публикации ведущих отраслевых и академических институтов, мы вывели определение HCML, которое охватывает всю широту этой существующей работы. Мы проверили определение, используя отзывы нескольких исследователей, работающих в одной и той же области, и дополнительно проверили с некоторыми влиятельными исследователями из исследовательских групп ИИ, ориентированных на человека, ведущих академических и промышленных институтов. Машинное обучение, ориентированное на человека (HCML): Разработка адаптируемых и удобных систем машинного обучения для удовлетворения потребностей человека, сохраняя при этом человека / пользователя в центре всего цикла разработки продукта / услуги. • “Возможность адаптации" включает в себя добавление таких функций, как объяснимость, интерпретируемость, справедливость, конфиденциальность, безопасность, прозрачность и подотчетность. • “Пригодный для использования" относится к UX ИИ, включая удобство использования системы и нагрузку на пользователя. • “Человеческие потребности" подразумевают важность проблем, которые мы выбираем для решения с помощью ИИ. • “Полный цикл разработки" включает в себя все этапы от концептуализации до технического обслуживания, который простирается от проектирования, ориентированного на человека, до рабочих систем, которые постоянно обучаются. Существует естественный стимул исследовать все принципы, упомянутые ранее; однако на практике это редко достигается. В отдельных исследованиях весь жизненный цикл разработки детализирован лишь частично, возможно, из-за акцента на конкретных технических аспектах исследования. Поэтому мы выбрали исследование, которое продемонстрировало один или несколько элементов дизайна, соответствующих приведенному выше определению HTML research. Как показано на рисунке 4, работа HCML охватывает многие аспекты машинного обучения. Мы определяем алгоритмическую работу, связанную с HCM, как серверную HCML и работу с взаимодействиями с людьми в качестве интерфейсного HCML. Мы исключили документы HCML, ориентированные на алгоритмы, поскольку это отвлекло бы наше внимание от базовых концепций HCML. Например, анализ и классификация алгоритмов объяснимости выходят за рамки данной статьи и могут быть рассмотрены в отдельных работах, таких как [32,33]. Однако алгоритмические вклады с Были включены передовые методы HCML, такие как оценки пользователей. Рисунок 4. Исследования в области машинного обучения, ориентированного на человека (отмечены пунктирными линиями), охватывают широкий спектр, как показано здесь. Пересечение исследований в области машинного обучения и ориентированных на человека Дизайн - это область, которую мы определяем как Машинное обучение, ориентированное на человека. 3. Подход к Систематическому Обзору Литературы Систематический обзор литературы (SLR) - это метод, используемый для предоставления обширного обзора литературы, извлеченной с помощью повторяющегося и объективного процесса. Хотя SLR первоначально использовалась в исследованиях в области медицины, она также набирает популярность в области компьютерных наук [34-37]. Мы решили следовать подходу SLR при выборе литературы по машинному обучению, ориентированному на человека, потому что это уменьшает субъективный характер процесса, расширяя область поиска. После разработки и доработки рабочего определения HCML мы провели трехэтапный подход SLR. Фаза 1: Мы выполнили поиск по ключевым словам и названию конкретного домена для “Ориентированного на человека Машинное обучение” и “Искусственный интеллект, ориентированный на человека”. Мы наняли Google Ученый (https://scholar.google.com /, доступ к которому получен 1 апреля 2021 года), Цифровая библиотека ACM (https://dl.acm.org /, доступ к которому получен 1 апреля 2021 года) и IEEE Xplore (https://ieeexplore.ieee . org/Xplore/home.jsp/, доступ к которому получен 1 апреля 2021 года) для выборки разнообразной коллекции исследований. В качестве первого шага мы загрузили 200 статей. Мы просмотрели названия, ключевые слова и тезисы всех статей и отобрали 85 публикаций, которые соответствовали друг другу. Фаза 2: Для отбора статей мы использовали специальный процесс отбора, основанный на наборе конкретных критериев включения и исключения . В процессе отбора должны были участвовать пять независимых исследователей работающие в области ИИ и HCML голосуют за публикации на основе критериев включения и исключения, которые заключаются в следующем: • Включено — Статьи о глубоком обучении, опубликованные с 2016 года (когда HCML вновь появился)-Май 2020 года. Включены — Черты, которые соответствовали нашему определению HCML удобства использования и приемлемости. • Включено — Публикации, обзоры и рекомендации, помеченные как ориентированные на человека Машинное обучение. • Исключено — Работа, которая не содержала реального вклада человека / пользователя на одном или нескольких этапах разработки. Для отбора работ было использовано равновзвешенное распределение голосов исследователей. Из первоначальных 85 работ первоначального пула в ходе этого процесса отбора была отобрана 31 работа. Эти В качестве основы для расширения первоначальной поисковой базы была использована 31 статья. Мы использовали дополнительные Ключевые слова HCML, извлеченные из выбранных статей, включая “Взаимодействие человека и ИИ”, “пользовательский опыт”, “дизайн, ориентированный на пользователя”, “эмпирическое исследование”, “машинное обучение конечного пользователя” и “машинное обучение”. Используя эти целевые ключевые слова, мы загрузили дополнительный 50 публикаций. Проанализировав их, мы выявили широкий и разнообразный спектр ключевых слов, используемых в работе, связанной с HCML. Фаза 3: На третьем этапе, в дополнение к поиску по ключевым словам с использованием поисковых систем, которые мы использовали на первом этапе, мы расширили наш поиск до материалов, которые обычно содержат статьи с Дизайн, ориентированный на человека, и исследования в области машинного обучения. Это включает в себя, в частности, судебные разбирательства (https://sigchi.org/conferences/conference-history/chi /, доступ к которому получен 1 апреля 2021 года), Материалы UIST (https://sigchi.org/conferences/conference-history/uist /, доступ к которому осуществляется на 1 апреля 2021 года), процедуры IUI (https://sigchi.org/conferences/conference-history/iui /, доступ к которому получен 1 апреля 2021 года), Материалы по системам обработки нейронной информации (https://nips.cc /, доступ к которому был получен 1 апреля 2021 года) и материалы AAAI (https://www.aaai.org/, дата обращения: 1 апреля 2021 года). Поскольку мы сосредоточены на Глубоком обучении и HCML, мы загрузили все публикации упомянутых выше конференций и журналов с 2016 года. Используя скрипты на python, мы отфильтровали возможную работу с HCML путем поиска ключевых слов. В публикациях HCI мы выполнили поиск всех терминов, связанных с глубоким обучением, и отфильтровали все публикации, имеющие хотя бы одно совпадение. В публикациях по искусственному интеллекту мы искали ключевые слова, связанные с дизайном, ориентированным на человека. В качестве последнего шага мы вручную просмотрели 320 (включая 50 статей из поиск на этапе 2) отфильтровал публикации и отобрал 131 статью, используя тот же процесс отбора, что и на этапе 2. В общей сложности мы проанализировали 162 публикации в этой работе. 4. Классификация исследований HCML Несмотря на то, что это зарождающаяся область, попытка классифицировать работы, связанные с HCML, полезна для определения будущих границ исследований в области HCML. Классификация работы может быть выполнена по нескольким направлениям, учитывая, что HCML состоит из множества различных типов вкладов, ориентированных на разные домены и разных пользователей. В то время как это приводит к таксономии, это также позволяет нам находить желаемые данные, просматривая недостающие фрагменты из категоризации. В этом разделе мы классифицируем работу по нескольким критериям, чтобы исследователям было легче увидеть спектр HCML. Широта нашего определения HCML также включает работу, проделанную в таких областях, как объяснимый ИИ (XAI) и конфиденциальность данных. В таких областях субисследований, как эти, есть ряд исследователей, создающих различные направления исследований [11,12,15,17,20,26,28,32,38–41]. Например, существуют работы по разработке алгоритмов и новых архитектур DL в XAI, чтобы добавить объяснимости моделям [42-46]. Для сравнения, существует также работа, в которой рассматриваются пользовательский опыт и требования пользователей к XAI [7-10,47], а также оцениваются алгоритмы и модели с исследованиями пользователей [48]. Однако анализ и классификация алгоритмов XAI не являются предметом данной статьи. Наше внимание сосредоточено на удобстве использования и приемлемости систем ML в соответствии с основной мотивацией HCML. 4.1. Разновидности вклада 4.1.1. Пользовательские исследования Согласно определению HTML, при разработке систем ML желательно всегда держать человека в центре внимания. Это включает в себя понимание требований пользователя, исходные данные для итеративной разработки из цикла обратной связи и оценку. Это может быть достигнуто с помощью многих подходов; однако исследования пользователей являются одними из наиболее часто используемых подходов для включения пользовательского вклада в разработку. Многие существующие работы в литературе успешно использовали исследования пользователей в процессе их разработки. Некоторые подходы проводить оценки и сравнения между существующими системами с помощью пользовательских исследований; тем не менее, мы рассмотрим работу, которая представила эти пользовательские исследования в качестве основного вклада в этом разделе. Работа Cai и соавт. [49] раскрыла требования к помощнику ИИ для использования в медицинской области. Они провели тщательное исследование с участием 21 патологоанатома, чтобы понять, как эксперты, не являющиеся ИИ, взаимодействуют с ИИ-инструментом [49]. Они поддерживали активное участие патологоанатомов на протяжении всей разработки помощника по искусственному интеллекту и представили результаты в подробном манера. Можно сказать, что эти усилия вносят отличный вклад в развитие HCML. Напротив, чтобы вовлечь человека на протяжении всего процесса, Либлинг и др. [50] провели исследование только для того, чтобы понять потребности пользователей в приложениях для перевода на язык искусственного интеллекта. Люгер и др. [51] провел ряд интервью, чтобы понять восприятие людьми голосовых помощников от технологических гигантов. Поскольку они провели исследование в 2016 году, оно может устареть. Ассистенты значительно эволюционировали за последние четыре года. В той же области Канделло и др. [52] провел исследование, чтобы определить влияние шрифтов при общении с чат-ботами. В тематическом исследовании Янг и др. [53] исследовали способы создания набросков обработки естественного языка (НЛП) улучшил пользовательский опыт и представил метод быстрого прототипирования NLP типа "волшебник страны Оз ". Янг и др. [54] изучали аффективный аспект разговорных агентов. В сравнительном исследовании Диас и др. [55] проанализировали возрастные отклонения в алгоритмах, связанных с анализом настроений. Геро и др. [56] провели исследование, чтобы понять ментальные модели, которые люди строят относительно ИИ, использующий ИИ-игру. Шекерманн и др. [57] провели исследование для сравнения двух помощников ИИ, которые классифицируют данные медицинских временных рядов. Помимо исследований, направленных на понимание аспектов конкретных приложений, предпринимались попытки понять проблемы пользователей, такие как объяснимость и справедливость, которые позже трансформируются в функции моделей ML. Было проведено одно всеобъемлющее исследование [48] для изучения текущей практики объяснимого ИИ в отрасли, чтобы понять желательные методы для использования в реальном мире. В другом исследовании [58] предпринята попытка выявить пробелы между текущая алгоритмическая работа и практика XAI в направлении XAI, ориентированного на пользователя. В аналогичном исследовании с использованием отраслевого персонала [59] Хольштейн и др. сравнили практику справедливости в отношении искусственного интеллекта в литературе и реальном мире. В исследовании пользователей [60], проведенном с участием людей из Amazon Mechanical Turk (https://www.mturk.com /, доступ к которому получен 1 апреля 2021 года), исследуется доверие к модели искусственного интеллекта, основанной на заявленной и реальной точности модели. Другое исследование пользователей было проведено в попытке найти общие принципы интерпретируемости [61]. Они в частности, исследуйте интерпретируемость моделей машинного обучения, имитируемых человеком. Были проведены и другие исследования для изучения подходов к проектированию интерактивных инструментов ML, позволяющих неспециалистам-инженерам ML быстро разрабатывать модели [62]. В отличие от общего интерактивного инструмента ML, Кренинг и др. [63,64] провели исследование пользователей для изучения конкретных аспектов, связанных с интерактивными инструментами обучения с подкреплением для начинающих инженеров ML. В совершенно другой попытке смешать команду UX с командой AI, Kayacik и др. [65] представляют исследование о том, как команды из двух разных областей взаимодействовали при создании музыкального приложения с искусственным интеллектом. Хонг и др. [66] исследовали, как пользователи концептуализируют, испытывают и размышляют о своем участии в машинном обучении. Биб и соавт. [67] провели реальное исследование для оценки системы глубокого обучения, развернутой для выявления диабетической ретинопатии. В исследовании, проведенном Santhanam et al. [68], изучалось влияние когнитивных искажений при оценке результатов общения агентов. Лин и др. [69] исследовали лучший подход к совместной разработке идей с помощью физического робота и виртуального агента. Pfau и др. [70] исследовали целесообразность использования ботов в играх, когда реальные игроки выпадают по разным причинам. Мадайо и др. [71] предприняли попытку чтобы понять, какую роль контрольные списки играют в этике ИИ, используйте 48 практиков. Сюй и др. [72] попытались исследовать восприятие детьми разговорных агентов, доступных в интеллектуальных устройствах. Смит-Реннер и др. [[73] изучали, как автоматически генерируемые объяснения моделей MLA формируют восприятие пользователями моделей ML. Велькель и др. [74] исследовали, как вводить чат-ботов в заблуждение при профилировании пользователей. Исследование, проведенное Kaur и соавт. [75], показало, что специалисты по ОД часто чрезмерно доверяют инструментам интерпретации и злоупотребляют ими. Алакараави и др. [76] оценили карты значимости, популярный метод объяснения алгоритмов классификации на основе CNN, с пользовательским исследованием. Ишибаши и др. [77] исследовали методы визуализации звука для связанных со звуком интерактивных приложений машинного обучения. Дас и др. [78] исследовали, могут ли люди повысить производительность, используя объяснимые возможности ИИ с помощью компьютерных технологий, которые превосходят человеческие. Дроздал и др. [79] попытались выяснить, что жизненно важно для доверия инженеров ML к автоматической системе ML. Он-Бар и др. [80] изучали внутренний навигационный интерфейс для слепых людей. Додж и др. [81] исследовали, как объяснения влияют на справедливость людей суждение. Янг и др. [82] изучали, как визуальные объяснения влияют на соответствующее доверие конечных пользователей к ML. 4.1.2. Приложения В этом разделе исследуется литература, которая в основном посвящена разработке приложений для искусственного интеллекта и следует принципам HCML на одном или нескольких этапах жизненного цикла разработки. Например, это может быть в форме опроса потребностей пользователей, интервью или оценки пользовательских исследований. ‘The Bach Doodle’ - это попытка разработать веб-приложение для гармонизации музыки для крупномасштабного развертывания [83], где отзывы пользователей использовались для оценки системы и обеспечения надежности перед публичным выпуском. Фрид и др. [84] разработали фон искусственного интеллекта приложение для создания музыки для создателей видео, в котором они интегрировали человеческий вклад до, во время и после разработки. В той же области Луи и др. [85] исследовали, как настроить инструмент создания музыки с искусственным интеллектом, чтобы минимизировать нагрузку на пользователя при проведении пользовательских экспериментов. Подход HCML был использован при разработке вспомогательных технологий. Например, Баласубраманян и др. [2] провели эксперименты с пользователями, чтобы понять точку зрения пользователя , чтобы разработать вспомогательный инструмент искусственного интеллекта для слепых, позволяющий улавливать невербальные сигналы. Kacorri и др. [86] также разработал вспомогательный инструмент для людей с нарушениями зрения для получения информации о визуальных объектах с использованием методов глубокого обучения. Аналогичным образом, Фейз и др. [87] использовали технологии искусственного интеллекта для разработки приложения, позволяющего слепым людям писать на печатных бланках. Ли и др. [88] пытаются улучшить приложения для слепых людей, основанные на распознавании объектов, используя руку в качестве точки, которую следует учитывать при фокусировке на объекте в кадре. Чжао и др. [89] разработал инструмент распознавания лиц для людей с ослабленным зрением, чтобы идентифицировать своих друзей. Фаст и др. [90] попытались создать приложение на основе камеры и ввода текста для обнаружения человеческой деятельности. Сюй и др. [91] разработали и оценили нового чат-бота, обученного общению в Twitter, для развертывания в социальных сетях для обслуживания клиентов. EgoScanning [92] - это приложение для быстрой перемотки видео, записанных от первого лица, с использованием методов обнаружения объектов. Представляя уникальную концепцию, Кимура и др. [93] разработано приложение (SottoVoce) для декодирования речевых высказываний без использования голоса ультразвук и глубокое обучение. Aila [94] - это приложение, которое действует как помощник по маркировке документов и использует для этого глубокие нейронные сети, основанные на внимании. Альгофайли и др. [95] представляем приложение на основе глубокого обучения для поиска навигационных средств в виртуальной реальности (VR) среды с помощью шаблонов взгляда. Ву и др. [96] разработали инструмент на базе искусственного интеллекта, помогающий людям с дислексией писать посты в социальных сетях. Го и др. [97] разработали приложение для визуализации предсказаний последовательности событий из нескольких записей. Они использовали входные данные от практиков машинного обучения до разработки и использовал восемнадцать участников для оценки системы. Роффо и др. [98] разработали инструмент для проведения стандартного психиатрического теста для оценки привязанности у детей впервые автоматически. VizML [99] - это приложение, созданное для визуализации рекомендаций с использованием нейронных сетей. Лапут и др. [100] разработали систему для обнаружения действий рук с помощью датчиков, доступных в умных часах, с использованием сверточной нейронной сети. SmartEye [101] - это приложение, которое помогает смартфону пользователям делать хорошие фотографии с помощью сети предложений просмотра. Маккормак и др. [102] разработали приложение с искусственным интеллектом, которое общалось с музыкантами-импровизаторами в совместной среде. Swire [103] - это приложение, разработанное для получения пользовательских интерфейсов с помощью эскизов. Gamut [104] - это исследование дизайна, чтобы понять, как специалисты по обработке данных понимают Модели ML. Приложение DeepWriting [105] использовало генеративные нейронные сети для редактирования рукописного текста, и в статье также был опубликован набор данных. Чат-бот с поддержкой тона был создан Ху и др. [106] для обслуживания клиентов в социальных сетях. Кимура и др. [107] разработали систему для улучшения визуального восприятия путем проецирования вокруг основного дисплея с использованием генеративных моделей. Хубер и др. [108] разработали разговорный агент, основанный на изображениях, который использует визуальные сигналы настроения. Oh и др. [109] разработали приложение DuetDraw для рисования в сотрудничество с искусственным интеллектом. CheXplain [110] - это инструмент, предназначенный для понимания врачами Анализ рентгеновских снимков грудной клетки на основе искусственного интеллекта. Ву и др. [111] разработали систему глубокого обучения для прогнозирования и диагностики взаимодействия пользователей с мобильными пользовательскими интерфейсами. EarBuddy [112] -это приложение для управления беспроводными наушниками посредством взаимодействия с лицом человека. Прицел [113] это инструмент, в котором камера крепится к планшетному перу для создания плавного ручного ввода обеими руками. OralCam [114] - это приложение для смартфонов, позволяющее пользователям самостоятельно проверять состояние полости рта с помощью Глубокое обучение. EmoG [115] - это генеративный инструмент для поддержки раскадровки путем включения эмоциональных выражений. Ву и др. [116] разработали систему распознавания акустической активности , ориентированную на низкую нагрузку на пользователя, используя методы обучения с самоконтролем. ReCog [117] - это мобильное приложение для слепых пользователей, позволяющее распознавать личные объекты, позволяя им обучать нейронную сеть с помощью своих фотографий. Зеркальный ритуал [118] - это эффективное зеркало, которое отображает сгенерированное стихотворение, чтобы привлечь пользователя, концептуализируя эмоциональное состояние. Iconate [119] - это инструмент, созданный для создания сложных значков на основе текстовых запросов. Sun и др. [120] представляют систему, помогающую выбирать модели для прогнозирования спроса. Im и др. [121] попытались создать приложение для получения социальных сигналов для онлайн-социальных платформ с помощью вычислений. Сяо и др. [122] попытались разработать прототип чат-бота с активным прослушиванием для опроса людей. WorldGaze [123] пытается использовать существующие камеры смартфонов для включения информации о взгляде для обогащения голосовых помощников. Дженсен и др. [124] представляют систему чтобы автоматически генерировать обратную связь для учителей в классах. Армат [125] - это Глубокий Обучающий инструмент для детей, позволяющий открывать математические понятия с помощью реальных объектов с дополненной реальностью. MaraVis [126] - это инструмент с поддержкой глубокого обучения для визуализации городского марафона в реальном времени и скоординированного вмешательства. Silva [127] - это инструмент для выявления потенциальных источников несправедливости в наборах данных или моделях ML. Инструмент на основе НЛП был разработан Wambsganss и др. [128] для студентов, чтобы развить качество аргументации в письменной форме с помощью предоставление обратной связи. Стерман и др. [129] разработали инструмент для визуализации и моделирования стилей письма с использованием глубокого обучения. Opisthenar [130] - это основанный на глубоком обучении инструмент для распознавания поз головы и постукиваний пальцами. Чжан и др. [131] предлагают несколько методов для более эффективного исправления ошибок при наборе текста на клавиатуре мобильного телефона. Былинский и др. [132] создан инструмент для прогнозирования относительной важности элементов в графике и визуализации. Ками и др. [133] вводят новое пространство для ввода пера, используя позы рук. Sketchforme [134] это инструмент для создания сложных эскизов на основе текстовых описаний. Lip-Interact [135] - это инструмент для предоставления тихих голосовых команд с помощью движения губ. CodeMend [136] - это инструмент для поддержки поиска и интеграции кода для программистов. Расческа для волос [137] - это интерактивная система 3D-моделирования волос. LabelAR [138] - это инструмент, основанный на дополненной реальности, позволяющий по-новому маркировать объекты для компьютерного зрения. ViZig [139] - это приложение, разработанное с использованием полууправляемого обучения для поиска опорных точек в обучающих видеороликах. AlterEgo [140] - это носимый бесшумный речевой интерфейс, который позволяет пользователям беседуйте молча. Alcove [141] - это вспомогательный инструмент для чтения комиксов для людей со слабым зрением. iSeqL [142] - это инструмент, предназначенный для быстрого построения настраиваемых моделей интеллектуального анализа текста. Creative Sketching Partner [143] - это проверенный на практике интеллектуальный интерфейс, который вдохновляет дизайнеров во время создания эскизов. Scones [144] - это инструмент, который генерирует и изменяет эскизы итеративно в соответствии с текстовыми описаниями. CQAVis [145] - это приложение для фильтрации высококачественных комментариев с форумов онлайн-сообщества, отвечающих на вопросы. Железняков и др. [146] исследовал требования к приложениям распознавания математических выражений, ориентированным на перо. SaIL [147] - это вспомогательный инструмент веб-навигации, который автоматически вводит важные ориентиры ARIA. Гровер и др. [148] разработали и оценили интеллектуальные агенты для повышения производительности и концентрации на работе. Картограф [149] - это система визуализации, которая использует знания из Википедии для создания тематических карт. Кулахчиоглу и др. [150] создан инструмент выбора цветовой палитры с учетом влияния для создания облака слов. ВАСТА [151] это система визуального и языкового программирования с помощью демонстрации для автоматизации задач смартфонов. Дэвис и др. [152] - умный партнер по рисованию, который может импровизировать и сотрудничать над абстрактными эскизами. Piano Genie [153] - это интеллектуальный контроллер, позволяющий немузыкантам импровизировать на фортепиано. SViM [154] - это адаптивный инструмент с увеличителем экрана для просмотра видео людьми со слабым зрением. Ли и др. [155] разработали инструмент для оценки качества реабилитационных упражнений. Sun и др. [156] создали инструмент для разработчиков, позволяющий им учиться о наборе данных во время маркировки. Эти приложения ИИ включили человеческий аспект в разработку систем ML и, таким образом, могут быть классифицированы как исследования HCML. 4.1.3. Алгоритмы Была проделана некоторая работа [157,158] по улучшению интерпретируемости алгоритмов глубокого обучения для общих целей и целей компьютерного зрения путем использования оценок пользователей для оценки предполагаемых результатов. Арендит и др. [159] разработали эффективный инструмент маркировки изображений с пользовательскими оценками для поддержки его предполагаемой производительности. В аналогичном инструменте для эффективной маркировки аудиосэмплов Ким и др. [160] также придерживаются аналогичного подхода, ориентированного на человека, для оценки успеха. Хотя их можно определить как инструменты, ключевой вклад, поскольку описанный в публикациях, является разработкой и оценкой алгоритма. Мы классифицируем эти статьи как алгоритмические материалы, которые следуют принципам HCML. Банович и др. [161] разработал новый слабо контролируемый алгоритм, основанный на обучении с обратным подкреплением, для обнаружения и генерации человеческого поведения. Фридман и др. [162] разработали алгоритм для прогнозирования состояний водителя с использованием видеозаписей взглядов водителя. Crowdverge [163] - это алгоритм для определения того, согласятся ли толпы с одним ответом на визуальный вопрос. задачи. Хуан и др. [164] разработали алгоритм для увеличения статических панорамных изображений с помощью реалистичного назначения звука. Гуздиал и др. [165] разработали алгоритм для проектирования уровней в таких играх, как Super Mario, и исследовали пользовательский аспект с помощью дизайнеров уровней. Ким и др. [166] представляют алгоритм, основанный на глубоком обучении, для оценки взгляда с низкой задержкой. Seemo [167] - это фреймворк, разработанный для отображения эмоций в векторные представления с использованием методов обучения представлению. Релай и др. [168] исследовали способы присвоения смеха материальным объектам. Юань и др. [169]обучил модель глубокого обучения для прогнозирования возможности сканирования содержимого веб-страницы. Cogam [170] попытался создать объяснения для моделей машинного обучения, включив желаемую когнитивную нагрузку. Лай и др. [171] создали метод автоматического аннотирования визуализаций в соответствии с текстовыми описаниями. Soundr [172] использовал глубокое обучение для определения пространственного местоположения пользователя и ориентации головы с помощью голоса. Дуан и др. [173] разработали метод автоматической оптимизации интерфейсов пользовательского интерфейса с исправлением ошибок. Пфау и др. [174] рассмотрели, как методы глубокого обучения могут улучшить динамическую настройку сложности в играх. Бассен и др. [175] разработали алгоритм обучения с подкреплением для оптимизации образовательной деятельности на онлайн-курсах. Донкерс и др. [176] разработали метод рекомендаций и объяснений и оценили качество с помощью пользовательских исследований. Арент и др. [177] представьте метод, который обобщает методы параллельной скоординированной визуализации на последовательности изученных представлений. Эшан и др. [178] создали методику генерации обосновывает автоматически. Ле и др. [179] разработали модель для идентификации пальцев на емкостных сенсорных экранах. CoSummary [180] - это метод адаптивной быстрой перемотки хирургических видеороликов. Микаллеф и др. [181] создали метод, который использует интерактивную визуализацию, чтобы выявить потребность экспертов предметной области в повышении точности моделей прогнозирования. Атукорала и др. [182] создал новую технику адаптации для поисковых систем. Миттал и др. [183] предложили архитектуру для генерации смайликов с использованием мультимодального ввода. Вебер и др. [184] представляют комбинация ручных и автоматизированных методов восстановления изображений на основе глубокого предварительного изображения. Шлегель и др. [185] иллюстрируют не зависящий от модели рабочий процесс визуальной отладки для многоцелевых классификаций временных рядов. 4.1.4. Инструменты, не связанные с искусственным интеллектом Помимо приложений, использующих ИИ в серверной части, где пользователи не имеют доступа к базовой технологии или модели ИИ, некоторые инструменты позволяют пользователям взаимодействовать с Алгоритмы искусственного интеллекта [186-191]. Эти инструменты часто называют инструментами, не относящимися к искусственному интеллекту, или инструментами, не относящимися к экспертам в целом. Например, голосовой помощник - это приложение искусственного интеллекта, с помощью которого пользователь может взаимодействовать устно. Пользователь может даже не знать, что алгоритмы искусственного интеллекта работают в фоновом режиме. Однако индивидуальный инструмент, предназначенный для взаимодействия врача с моделью ML, представляет собой инструмент, не являющийся экспертом в области искусственного интеллекта, в котором эксперт, не являющийся экспертом в области искусственного интеллекта, манипулирует алгоритмами искусственного интеллекта, не имея Специфичные для ИИ знания. Уровень знаний специалиста, не являющегося экспертом в области искусственного интеллекта, может варьироваться от нулевого, например юриста без опыта работы в области искусственного интеллекта, до среднего уровня, например начинающего инженера по ML. Эти различия в знаниях требуют от разработчиков определения правильного уровня абстракции для конкретных групп пользователей. Здесь мы рассмотрим несколько попыток разработать такие инструменты, не связанные с искусственным интеллектом, в соответствии с подходом HCML. СМАЙЛИ [192, 193] - яркий пример эксперта, не связанного с искусственным интеллектом инструмент. Это позволяет патологоанатомам изменять параметры модели ML для поиска медицинских изображений. Инструмент "Что, если" [194] предназначен для неспециалистов-инженеров по ML для проведения интерактивного тестирования различных вариантов ввода. Они провели оценочное исследование с Студенты ML для проверки своего инструмента. Чтобы сделать модели машинного обучения доступными для неэкспертов, Рамос и др. [195] показали, как использовать присущие человеку возможности обучения, чтобы научить машины выполнять машинное обучение. 4.1.5. Принципы и руководящие указания Среди литературы по HCML эта категория относится к исследованиям, в которых составляются руководящие принципы и принципы проектирования для HCML или оказывается помощь в создании продуктов и услуг HCML. Эти работы проистекают из разных намерений, таких как рекомендации по разработке интеллектуальных пользовательских интерфейсов, визуализации, прототипирования и человеческих проблем в целом. Амерши и др. [196] представляют набор руководящих принципов, полученных в результате всестороннего исследования, проведенного со многими отраслевыми практиками, которые работали над 20 популярными продуктами искусственного интеллекта. Некоторые подходы были сосредоточены на определении требований и руководящих принципов для запланированных инструментов визуализации песочницы [197]. В одной статье освещаются руководящие принципы, относящиеся к трем областям HCML: этически согласованный дизайн, технологии, отражающие человеческий интеллект, и дизайн с учетом человеческих факторов [198]. Браун и др. [199] предложили подход "Волшебника страны Оз", позволяющий объединить дизайнеров с инженерами для создания системы машинного обучения, ориентированной на человека, ориентированной на объяснимость, удобство использования и понятность. В некоторых работах делается попытка определить, что такое HCML [200], и обсудите, как системы искусственного интеллекта должны понимать человека и наоборот. Помимо общих перспектив, Канцлер и др. [201] попытались проанализировать литературу в области психического здоровья и ИИ , чтобы понять, какие люди сосредоточены на такой работе, и составить рекомендации по поддержанию людей в качестве приоритета. В несколько иной схеме Эхсан и др. [202] попытались раскрыть, как классифицировать объяснимый ИИ, ориентированный на человека, с точки зрения приоритизации человека. Ван и др. [203] также попытались разработать теорию, основанную на ориентированном на пользователя объяснимом Фреймворк искусственного интеллекта и оцените инструмент, разработанный совместно с реальными клиницистами. Шлезингер и др. [204] исследовал способы создания чат-ботов, которые могут обрабатывать "расовые разговоры’. Лонг и др. [205] пытаются определить ИИ, ориентированный на учащихся, и определить конструктивные соображения. Янг и др. [206] исследуют идеи для дизайнеров и исследователей для решения проблем в области человеческого–Взаимодействие с искусственным интеллектом. 4.1.6. Результаты опроса Некоторая работа была сосредоточена на представлении проанализированных результатов опросов, проведенных для достижения различных целей, рис. 5, таких как понимание человеческих перспектив до разработки решений. Например, Cai и др. [207] представляют множество препятствий, с которыми сталкиваются инженеры-программисты, работающие в области машинного обучения, путем тщательного опроса и анализа. Другие исследования опроса [208] были сосредоточены на выяснении мнения людей о делегировании задач агентам искусственного интеллекта, чтобы помочь инженерам ML и разработчикам продуктов. Дав и др. [209] провели опрос, чтобы понять, как инновации в дизайне практикуются в области ML с точки зрения пользовательского опыта.\ Рисунок 5. Классификационная таблица. В каждой категории есть несколько репрезентативных примеров. 4.2. ‘Человек’ в HCML Основным компонентом HCML является Человек, и, таким образом, повышается значимость человека. "Человек" в HCML определяется на разных уровнях знаний в области ML, начиная от отсутствия опыта в области ML и заканчивая опытным ученым в области ML. Человек в HTML также может быть вовлечен в различные этапы процесса разработки системы ML в различных качестве. Например, основное внимание может быть сосредоточено на конечном пользователе, разработчике или инвесторе. Можно было бы сосредоточиться на определенном пользовательском аспекте при разработке продукта или услуги [83,160]; другим могло бы быть определение принципов проектирования для конкретной системы ML, оптимизирующей удобство использования и адаптивность [48,65,196]. Многомерность того, что считается Человеческим внутри HCML вносит свой вклад в сложности в этой области. Рассматривая работы, которые были сосредоточены на стороне пользователя, некоторые исследователи обслуживали общих конечных пользователей или потребителей [83,101,200,210], в то время как другие - конкретных конечных пользователей. Примерами для них являются люди, нуждающиеся в помощи [2,80,86–89,96,117,147], медицинские работники [57,67,110,192,193], международные путешественники [50], Amazon Mechanical Turk [60,99], водители [161,162], музыканты [102], учителя [124], студенты [128], дети [72,125], дизайнеры UX [65,115,206,209], дизайнеры пользовательского интерфейса [103, 111,173], аналитики данных [97], создатели видео [84] и геймдизайнеры [70,165,174,211]. Помимо сосредоточения внимания на конкретной группе пользователей, некоторые пытались понять различные точки зрения пользователей - от инженеров ML до конечного пользователя [48]. Некоторые из предыдущих работ, нацеленных на разработчика как на человека, ориентированы на начинающих инженеров ML, чтобы помочь им быстрее разрабатывать системы ML [62,197]. Примечательно, что большинство работ, ориентированных на разработчиков, были сосредоточены на инженерах ML [59,65,71,75,79,120,156,160,185,195,196,198,199,201,207]. 4.3. Домены приложений Машинное обучение хорошо работает во многих сценариях при условии, что существует взаимосвязь между поставленной задачей и доступностью данных. Эта способность принимать решения или делать прогнозы на основе данных позволила ML проникнуть во многие другие области, такие как медицина, фармацевтика, юриспруденция, бизнес, финансы, искусство, сельское хозяйство, фотография, спорт, образование, СМИ, военные и политика. Учитывая, что большинство в этих секторах не являются экспертами в области искусственного интеллекта, разработка систем искусственного интеллекта для них требует от нас изучения человеческого аспекта таких систем. Наш анализ показывает, что домены приложений специально нацелены игры [63,70,165,174,211], интерактивные технологии [69,112,113,118,130,131,133–135,137, 140,144,152,153,155,212,213], медицина [49,57,67,110,114,180,192,193,203,214,215], психиатрия [98], музыка [65,83,85,102,153], спорт [126], знакомства [60 ], видеопроизводство [84], вспомогательные технологии [2,80,86,888,89,96,117,141,147,154,216], образование [124,125,128,175,217] и в основном программное обеспечение и ML engineering [48,59,62,75,79,111,120,156,159,185,195,197,207,218] на основе нашей избранной литературы. 4.4. Особенности моделей Особенности моделей ИИ, учитывающие интересы пользователей по улучшению удобства использования и адаптации систем ИИ, такие как объяснимость, интерпретируемость, конфиденциальность и справедливость , были в центре внимания многих работ, связанных с HCML [6,12,20,26,58,73,76,81, 104, 178,219]. Это неудивительно, учитывая, что история исследовательской области XAI восходит к 1980-м годам [220,221]. В всеобъемлющем исследовании Бхатт и др. [48] исследовали, как объяснимость практикуется в реальных промышленных продуктах искусственного интеллекта, и представили, как сосредоточить исследования объяснимости на конечный пользователь. Сосредоточив внимание на геймдизайнерах, Чжу и др. [211] обсуждают, как объяснимый ИИ должен работать для дизайнеров. В исследовании [210] приняли участие 1150 пользователей онлайн-платформы для рисования и сравнили два подхода к объяснению, чтобы выяснить, какой подход лучше. Ашктораб и др. [222] изучил объяснения алгоритмов машинного обучения, касающихся чат-ботов. Хотя объяснимость не является основным направлением, в некоторых исследованиях [49,199] изучался аспект объяснимости при разработке систем ML. В другой работе [202] была предпринята попытка исследовать, кто является человек в центре человекоцентричного объяснимого ИИ. Кроме того, существует работа, в которой предпринималась попытка внедрить ориентированный на пользователя подход к исследованию XAI [8,203]. Chexplain [110] работал над предоставлением врачам объяснимого анализа рентгеновских снимков грудной клетки. Дас и др. [78] попытались улучшить производительность людей, используя методы XAI. В то время как explainability пытается разобраться в том, что происходит внутри черных ящиков глубокого обучения, interpretability исследует, как сделать системы искусственного интеллекта предсказуемыми. Например, если определенная нейронная сеть классифицирует МРТ-изображение как рак, выясняя, как сеть, принимающая такое решение, попадает в исследование объяснимости. Однако попытка построить предсказуемую классификационную сеть МРТ, в которой изменение параметров сети приводит к ожидаемому результату, подпадает под исследование интерпретируемости. Были предприняты попытки [157,158,170] разработать новые алгоритмы интерпретируемости с использованием исследований на людях, чтобы проверить, достигли ли эти алгоритмы ожидаемых результатов. Айзек и др. [61] изучили, что имеет значение для интерпретируемости системы ML, используя исследование на людях. Другое исследование [75] выяснил, что специалисты по ОД часто чрезмерно доверяют инструментам интерпретации или злоупотребляют ими. Помимо этих двух общих черт DL, в некоторых других работах рассматривались аспекты справедливости [55,59,71,127,200,201,223], понятности [192, 197, 199, 200] и доверия [60,79,82, 201]. Справедливость отражает степень предвзятости в решениях, таких как гендерные и этнические перекосы, которые влияют на прогностическую модель. Например, гендерные и этнические предубеждения в моделях могут серьезно повлиять на выполнение определенных задач. Понятность - это несколько иная особенность от объяснимости. В то время как объяснимость показывает, как модель принимает определенное решение, понятность пытается показать, как нейронная сеть работает для достижения поставленной задачи. Доверие относится к субъективному беспокойству, при котором изучается доверие пользователя к решениям, принимаемым определенной моделью. 5. Обсуждение Широта и глубина классификации, представленной в предыдущем разделе, показывают, что HCML развивается во многих отраслях, несмотря на то, что является относительно новой областью исследований. Однако, учитывая различия в этой области, молодой возраст и быстрый рост ИИ, область HCML имеет многочисленные пробелы в исследованиях, проблемы и путаницы, которые интересно обсудить и проанализировать. Например, стандартное определение еще не согласовано, что приводит к некоторым либеральным интерпретациям в зависимости от прерогатив исследователей и уровня абстракции. Здесь мы предлагаем обсуждение (см. Рисунок 6 для краткого изложения этого раздела), касающееся этих пробелов, проблем и путаницы в рамках нескольких подтем. Помимо этого, также важно обсудить масштабы и ограничения текущих исследований, чтобы определить возможности для будущей работы. 5.1. Человек в центре 5.1.1. Интерпретация ‘Ориентированного на человека’ Одна из основных путаниц, которые мы обнаружили в литературе по HCML, заключается в определении того, кто является "человеком" в HCML и как "человек’ вовлечен. Как описано в разделе 4, ‘человеком’ может быть любая заинтересованная сторона в работе, начиная от владельца исследовательского института и заканчивая конечным пользователем. Однако простое участие человека любого рода не сделает конкретное исследование ИИ подходом HCML. Подход HCML зависит от фазы, на которой люди взаимодействуют с жизненным циклом разработки, цели взаимодействия и того, как они взаимодействуют. Например, в то время как многие согласны с тем, что HCML существует для создания удобных и адаптируемых систем для пользователей, другие [224,225] утверждают, что инженер ML вмешивается с помощью обучающего цикла при настройке параметров распознается как HCML. Последняя точка зрения может быть истолкована как обоснованный подход HCML, предполагающий, что вмешательство инженеров ML способствует улучшению удобства использования и адаптации, помимо ускорения и оптимизации процесса обучения. Однако создание инструмента, ориентированного на потребности инженеров ML для ускорения процесса обучения, отличается от утверждения, что HCML - это вмешательство человека в процесс обучения. 5.1.2. Объяснимость Переход от неспециалистов к экспертам Тщательное исследование, проведенное с ведущими отраслевыми исследовательскими группами, показало, что, несмотря на то, что оно было создано для удовлетворения потребностей пользователей, инженеры ML в основном используют исследование объяснимости для целей отладки на практике [48]. В исследовании исследуется, как перенести исследование объяснимости на информирование конечных пользователей, а не сосредотачиваться на улучшениях внедрения для инженеров. Эти практические проблемы могут уже существовать в других областях исследований ГХМЛ или возникнуть в ближайшее время, если не будут решены четко Рисунок 6. Краткое описание раздела обсуждения. На этом рисунке представлены обсуждаемые моменты, и за каждым пунктом следует основная идея, стоящая за ним. 5.1.3. Слишком большое внимание уделяется разработчикам программного обеспечения От автоматизированных инструментов маркировки данных до интерактивных инструментов машинного обучения многие HCML связанная с этим работа сделала инженеров ML "людьми" в центре. Большая часть проанализированной нами работы предназначена для инженеров-программистов, работающих в области ML. Остальная часть фокусируется на множестве различных заинтересованных сторон и делает инженеров-программистов наиболее сосредоточенными ‘людьми’ в исследованиях HCML. Эти результаты также дополнительно подтверждают результаты Bhatt и др. [48]. Поэтому желательно распространить исследование на других экспертов, не связанных с искусственным интеллектом. 5.2. Проблемы, стоящие перед HCML Проанализировав путаницу, проблемы и пробелы в исследованиях HCML, мы определили основные проблемы, которые необходимо решить в будущих исследованиях, проводимых под руководством HCML. Эти проблемы препятствуют быстрому и последовательному развитию исследований в области ГХМЛ. Мы обсуждаем эти проблемы в рамках приведенных ниже четырех категорий. 5.2.1. Явное признание в качестве исследования HCML В ходе нашего поиска литературы и формирования определения мы поняли путаницу, возникающую при обозначении работы как HCML. Например, хотя XAI (объяснимый ИИ) служит общим целям HCML, это независимая область и в основном не классифицируется как Работа HCML. В XAI проводятся исследования с целью повышения объяснимости моделей; однако большинство публикаций не придерживаются подхода, ориентированного на человека. Это сократило количество работ по изучению конечного пользователя или человеческого аспекта объяснимых алгоритмов искусственного интеллекта. Однако, существуют работы, в которых предпринимается попытка внедрить подход HCML в XAI [8,47,58]. Хотя XAI - лучший пример, эта проблема существует в исследованиях, посвященных другим проблемам пользователей, таким как интерпретируемость, конфиденциальность и справедливость. Мы определили, что одной из основных причин этого является отсутствие распространения практики HCML на небольшие исследовательские группы. 5.2.2. Распространение HCML на Небольшие исследовательские группы Проблема отсутствия вовлечения конечных пользователей в работу HCML, по-видимому, представляет исследовательский интерес. Исследователи машинного обучения сосредоточены в основном на разработке и оптимизации алгоритмов, в то время как подход, ориентированный на человека, практикуется в основном исследователями взаимодействия человека и компьютера (HCI). Поэтому сотрудничество между Исследования HCI и ML дают хорошие результаты по HCML. Это сотрудничество и содействие, по-видимому, хорошо зарекомендовали себя в крупных промышленных и академических исследовательских группах, таких как Исследование Google (https://research.google /, дата обращения 1 апреля 2021 года), Microsoft Research (https://www.microsoft.com/en-us/research /, доступ к которому получен 1 апреля 2021 года), MIT (https://www.mit.edu /, доступ к которому получен 1 апреля 2021 года) и Стэнфорд (https://www.stanford.edu /, дата обращения 1 апреля 2021 года). Поэтому их усилия должны быть оценены по достоинству. Однако такое содействие и сотрудничество не очень хорошо налажены в рамках небольших исследовательских групп. В результате нечасто можно увидеть, как небольшие исследовательские группы публикуют хорошие работы по HCML. Мы определено, что распространение этого видения HCML на небольшие исследовательские группы ускорит получение эффективных результатов при необходимом удобстве использования и приемлемости. 5.2.3. Ресурсы и административная поддержка В исследовании HCML, которое мы проанализировали, было несколько возможных улучшений, которые можно было наблюдать с точки зрения полноты работы. Однако достижение этой цели сопряжено с трудностями. Например, в некоторых исследованиях для определения требований пользователей используется человеческий вклад, в то время как в других исследованиях для оценки использовались люди-пользователи. Помимо небольшого выбора конечно, большая часть практики корпораций, ориентированной на человека, ограничивается определенной стадией жизненного цикла разработки системы. Хотя понятно, что желательно держать человека в центре внимания на протяжении всего цикла разработки или проектирования, существует много практических препятствий. Доступ к группе конкретных людей, одобрение институциональной этики, затраты времени, соблюдение внутренних сроков и сроков публикации - вот некоторые препятствия, которые необходимо преодолеть, чтобы максимально вовлечь людей на протяжении всего процесса. Эти препятствия могут привести к отсутствие человеческого участия или мотивации для проведения пользовательского исследования только в поверхностных целях. Это снижает качество результатов исследований HCML, тем самым замедляя развитие этой области. 5.2.4. Поддержка, чтобы стоять самостоятельно Многие признанные исследовательские области имеют свои собственные высокорейтинговые конференции и журналы с высокой отдачей. Например, AI и ML проводят множество конференций, включая NeurIPS (https://nips.cc /, доступ к которому получен 1 апреля 2021 года) и AAAI (https://www.aaai.org /, доступ к которому получен 1 апреля 2021 года), и HCI проводит свои собственные конференции, такие как CHI (https://dl.acm.org/conference/chi, доступ к которому получен 1 апреля 2021 года) и IMWUT (https://dl.acm.org/journal/imwut, доступ к которому был получен 1 апреля 2021 года). Однако у HCML пока нет популярной конференции или журнала. Хотя такие заведения, как IUI (https://dl.acm.org/conference/iui , доступ к которому был получен 1 Апрель 2021 года) и TiiS (https://dl.acm.org/journal/tiis , доступ к которому был получен 1 апреля 2021 года) включают HCML работает в более широком масштабе, эти площадки не сосредоточены исключительно на области HCML. Наличие специальных мест для публикации (примеры включают АКТИВЫ (https://dl.acm.org/conference/assets, доступ к которому получен 1 апреля 2021 года), AHs (https://augmented-humans.org /, доступ к которому получен 1 апреля 2021 года) для области может помочь упорядочить исследования, а также помочь и решить многие проблемы, упомянутые в этом разделе. Мы считаем, что HCML обладает определенной зрелостью, чтобы быть представленным в своем собственном месте публикации, несмотря на то, что это развивающаяся область. 5.3. Возможности для HCML и будущее 5.3.1. Недопредставленные домены в HCML При создании HCML основное внимание уделялось конечному пользователю, так как в HCML основное внимание уделялось человеку Дизайн. В то время как "человек" теперь представляет собой более широкое определение, произошло определенное смещение акцента в сторону инженеров по программному обеспечению или ML. Поэтому желательно, чтобы больше исследований было нацелено на конечных пользователей в других общих или конкретных областях. При анализе специфических для отрасли Тенденции в области искусственного интеллекта и внедрение исследований, основанных на HCML, имеют очевидные недостатки. ИИ использование в сельском хозяйстве является реальной потребностью [226]; однако публикаций, связанных с ГХМЛ и сельским хозяйством, было мало. Аналогичным образом, в медицине аспект HCML в медицинских приложениях искусственного интеллекта встречается редко, поскольку в этой области доминируют разработка и оптимизация алгоритмов. Учитывая, что медицина - это область, заполненная экспертами, не относящимися к ИИ, работающими с критическими ситуациями, подход, ориентированный на человека, гарантирует, что новые алгоритмы могут быть упакованы в полезные и адаптируемые приложения, как продемонстрировали Cai и др. [192]. Другие области, такие как юриспруденция, музыка, искусство, химия, образование, финансы, средства массовой информации, политика, фотография и киноиндустрия сталкиваются с той же проблемой недопредставленности в исследованиях HCML. 5.3.2. Повышение вовлеченности Людей Захватывающая работа с ИИ была проделана в юриспруденции, например, использование ОД для помощи судьям в принятии решения о залоге [227]. Однако такая работа не подпадала под наше определение HCML из-за отсутствия исследований по удобству использования и приемлемости их применения. Они либо выдвинули гипотезу о потребностях пользователя на основе предполагаемого поведения пользователя, либо не смогли представить, как они вывели требования конечного пользователя, а именно судей. Эта проблема исследователей, предполагающих требования конечного пользователя без целенаправленного исследования, распространена во многих других работах [228,229]. Мы считаем, что эта практика неэффективна для разработки удобных и адаптируемых систем искусственного интеллекта. Поэтому крайне важно, чтобы исследователи вовлекали людей в процесс разработки. 5.3.3. Использование Существующей Работы Технологии искусственного интеллекта быстро развиваются и создают пригодные для использования модели и инструменты в реальном мире. Многие из этих значительных работ еще не изучены с точки зрения реальных пользовательских аспектов. Существует возможность быстро использовать существующие технологии искусственного интеллекта для успешного проектирования, разработки и проверки реальных систем искусственного интеллекта. Например, это может быть исследование моделей или даже полезных инструментов, созданных другими исследователями [187,230]. Выход за рамки малого и среднего масштаба, современные тенденции и инновации в более широком область высокопроизводительного ИИ предполагает растущее значение HCML. Например, Глубокий Модели обучения вычисляются с учетом текущих технологических ограничений доступного оборудования. Такие модели, как GPT-2 [231], имеют 1,5 миллиарда параметров, которые дают невероятно хорошие результаты в задачах обработки естественного языка (NLP). Однако недавно его превзошла GPT-3 [232], сеть с 175 миллиардами параметров, которая является крупнейшей глубокой Модель обучения на сегодняшний день. Эти большие сети демонстрируют, что наличие большего количества параметров улучшает производительность модели и снижает интерес к инновациям и улучшениям, основанным на методах оптимизации. Немногие учреждения, не говоря уже об исследователях, имеют доступ к аппаратным ресурсам для обучения таких монолитных сетей. Эта растущая зависимость от необработанной вычислительной мощности повышает необходимость исследования реального прикладного аспекта существующих моделей, а не зависящего от аппаратного обеспечения улучшения точности эталонных тестов. Появление многомиллиардных сетей с параметрами также открывает широкие возможности для HCML, учитывая смещение интереса с чистой производительности на человеческий аспект современного ИИ. 6. Выводы Машинное обучение, ориентированное на человека (HTML), является развивающейся областью исследований, параллельной экспоненциальному росту исследований в области глубокого обучения (DL) по нескольким причинам. Некоторые из причин - частое применение моделей искусственного интеллекта (ИИ) в реальном мире, растущее число взаимодействий между людьми и ИИ, профессионалы, выражающие обеспокоенность по поводу природы DL в виде черного ящика, а также вопросы о надежности моделей ИИ в критических сценариях применения. Несмотря на то, что HCML является зарождающейся областью, ее происхождение датируется десятилетиями, а самому точному термину уже более десяти лет. Однако с бумом искусственного интеллекта в начале 2010-х годов и адаптацией методов глубокого обучения HCML вновь появился с другими и современными проблемами. В основном это проблемы, связанные с удобством использования и адаптивностью, такие как пользовательский опыт, объяснимость, понятность, интерпретируемость, конфиденциальность, безопасность, справедливость и надежность. Многие исследовательские группы начали работать вокруг HCML с различными интерпретациями этого термина. Следовательно, в этой работе мы представляем рабочее определение HCML, полученное из анализируя эти интерпретации. Мы придерживались систематического подхода к обзору литературы, чтобы сделать поиск литературы повторяемым и расширить его поисковую базу. Мы классифицировали 162 ГХМЛ публикации, которые мы выбирали с точки зрения типа вклада, области применения, "человека" в центре и особенностей моделей. Наш поиск и анализ предыдущей работы позволили нам понять спектр HCML, выявив при этом путаницу, пробелы в исследованиях и возможные направления исследований. В заключение, HCML - это развивающаяся, но быстрорастущая область, учитывая фундаментальное поле — искусственный интеллект — растет как снежный ком. HCML имеет вспомогательные области исследований, которые стоят независимо друг от друга, что снижает акцент на основных концепциях HCML. Учитывая раннюю стадиюvразвития отрасли, существуют путаницы, проблемы и возможности для развития, которые мы обсуждали в этой работе. Глубокое обучение приближается к ограничению возможностей текущего оборудования, в то время как исследования пользовательского аспекта отстают. Область HCML может преодолеть критический разрыв между производительностью модели и внедрением конечным пользователем. Мы считаем, что это лучшее время для исследования HCML, учитывая огромные возможности.  |