|
|
Перевод статьи. Перевод 3 часть. For image analysis, suitable approaches include histograms of oriented gradients (hog) (Dalal and Triggs 2005), scaleinvariant feature transform (sift) (Lowe 2004), and the ViolaJones method (Viola and Jones 2001)
;for image analysis, suitable approaches include histograms of oriented gradients (HOG) (Dalal and Triggs 2005), scale-invariant feature transform (SIFT) (Lowe 2004), and the Viola-Jones method (Viola and Jones 2001); and in NLP, it is common to use term frequency-inverse document frequency (TF-IDF) vectors (Salton and Buckley 1988), part-of-speech (POS) tagging, and word shape features (Wu et al. 2018). Manual feature design is a tedious task as it usually requires a lot of domain expertise within an application-specific engineering process. For this reason, it is considered time-consuming, labor-intensive, and inflexible.
Deep neural networks overcome this limitation of handcrafted feature engineering. Their advanced architecture gives them the capability of automated feature learning to extract discriminative feature representations with minimal human effort. For this reason, DL better copes with largescale, noisy, and unstructured data. The process of feature learning generally proceeds in a hierarchical manner, with high-level abstract features being assembled by simpler ones. Nevertheless, depending on the type of data and the choice of DL architecture, there are different mechanisms of feature learning in conjunction with the step of model building.
|
;для анализа изображений используют следующие методы: гистограмма ориентированных градиентов (HOG) (Dalal and Triggs 2005), масштабно-инвариантное преобразование признаков (SIFT) (Lowe 2004) и метод Виолы-Джонса (Viola and Jones 2001); а в NLP принято использовать методы "обратной частоты документа" (TF-IDF) (Salton and Buckley 1988), разметка частей речи (POS) и определение особенностей формы слова (Wu et al. 2018).Ручное определение признаков - это сложная задача, поскольку обычно она требует большого количества специальных знаний и опыта в данном вопросе. Поэтому этот процесс отнимает много времени, он трудоемкий и негибкий.
Нейронные сети решают проблемы ручного определения признаков. Их усовершенствованная архитектура дает им возможность автоматического обучения для извлечения необходимых признаков, с минимальными затратами сил и времени для человека. По этой причине DL лучше справляется с объемными, некорректными и не структурированными данными. Процесс обучения признаков обычно происходит в иерархическом порядке, высокоуровневые признаки собираются из более простых.
Тем не менее, в зависимости от типа данных и выбора архитектуры DL, существуют различные механизмы обучения, для извлечения признаков, чтобы построить модель.
|
Model building
During automated model building, the input is used by a learning algorithm to identify patterns and relationships that are relevant for the respective learning task. As described above, shallow ML requires well-designed features for this task. On this basis, each family of learning algorithms applies different mechanisms for analytical model building. For example, when building a classification model, decision tree algorithms exploit the features space by incrementally splitting data records into increasingly homogenous partitions following a hierarchical, tree-like structure. A support vector machine (SVM) seeks to construct a discriminatory hyperplane between data points of different classes where the input data is often projected into a higher-dimensional feature space for better separability. These examples demonstrate that there are different ways of analytical model building, each of them with individual advantages and disadvantages depending on the input data and the derived features (Kotsiantis et al. 2006). By contrast, DL can directly operate on high-dimensional raw input data to perform the task of model building with its capability of automated feature learning. Therefore, DL architectures are often organized as end-to-end systems combining both aspects in one pipeline. However, DL can also be applied only for extracting a feature representation, which is subsequently fed into other learning subsystems to exploit the strengths of competing ML algorithms, such as decision trees or SVMs. Various DL architectures have emerged over time (Leijnen and van Veen 2020; Pouyanfar et al. 2019; Young et al. 2018). Although basically every architecture can be used for every task, some architectures are more suited for specific data such as time series or images. Architectural variants are mostly characterized by the types of layers, neural units, and connections they use. Table 2 summarizes the five groups of convolutional neural networks (CNNs), recurrent neural networks (RNNs), distributed representations, autoencoders, and generative adversarial neural networks (GANs). They provide promising applications in the field of electronic markets.
|
Построение модели
В процессе автоматического построения модели, входные данные используются алгоритмом обучения для выявления закономерностей и взаимосвязей, которые помогают в решении соответствующей задачи. Как описано выше, неглубокий ML требует хороших характеристик, для решения задач обучения.
Исходя из этого, каждое семейство алгоритмов обучения применяет различные механизмы для построения аналитической модели. Например, при построении модели классификации, алгоритмы дерева решений используют пространство признаков, постепенно разбивая записи данных на однородные разделы в соответствии с иерархической, древовидной структурой. Метод опорных векторов (SVM) стремится построить дискриминационную гиперплоскость между точками данных различных классов, где входные данные часто проецируются в более высоко размерное пространство признаков для лучшей классификации. Эти примеры демонстрируют, что существуют различные способы построения аналитических моделей, каждый из которых имеет свои преимущества и недостатки, в зависимости от входных данных и получаемых характеристик (Kotsiantis et al. 2006).
В свою очередь, DL может напрямую оперировать высоко размерными
исходными данными для выполнения задачи построения модели, благодаря своей возможности автоматического обучения. Поэтому архитектуры DL часто организуют как объединенные системы, сочетающие в себе оба аспекта в одном месте. Однако DL также может применяться для извлечения представления признаков, которое впоследствии передается в другие подсистемы обучения, чтобы использовать сильные стороны конкурирующих алгоритмов ОД, таких как деревья решений или SVM.
Со временем появились различные архитектуры DL (Leijnen and van Veen 2020; Pouyanfar et al. 2019; Young et al. 2018).
Несмотря на то, что практически каждая архитектура может быть использована для любой задачи, некоторые системы больше подходят для конкретных данных, таких как: временные ряды или изображения. Варианты архитектур в основном характеризуются типами слоев, нейронных единиц и соединений, которые они используют. В таблице 2 приведены пять групп:
сверхточные нейронные сети (CNNs), рекуррентные нейронные сети (RNNs), распределенные представления, автоэнкодеры и
генеративные сопряженные нейронные сети (GAN). Они обеспечивают перспективные приложения на электронных рынках.
|
Model assessment
For the assessment of a model’s quality, multiple aspects have
to be taken into account, such as performance, computational
resources, and interpretability. Performance-based metrics
evaluate how well a model satisfies the objective specified
by the learning task. In the area of supervised learning, there
are well-established guidelines for this purpose. Here, it is
common practice to use k-fold cross-validation to prevent a
model from overfitting and determine its performance on outof-sample data that was not included in the training samples.
Cross-validation provides the opportunity to compare the reliability of ML models by providing multiple out-of-sample
data instances that enable comparative statistical testing
(García and Herrera 2008). Regression models are evaluated
by measuring estimation errors such as the root mean square
error (RMSE) or the mean absolute percentage error (MAPE), whereas classification models are assessed by calculating different ratios of correctly and incorrectly predicted instances,
such as accuracy, recall, precision, and F1 score. Furthermore,
it is common to apply cost-sensitive measures such as average
cost per predicted observation, which is helpful in situations
where prediction errors are associated with asymmetric cost
structures (Shmueli and Koppius 2011). That is the case, for
example, when analyzing transactions in financial markets,
and the costs of failing to detect a fraudulent transaction are
remarkably higher than the costs of incorrectly classifying a
non-fraudulent transaction.
To identify a suitable prediction model for a specific task, it
is reasonable to compare alternative models of varying complexities, that is, considering competing model classes as well
as alternative variants of the same model class. As introduced
above, a model’s complexity can be characterized by several properties such as the type of learning mechanisms (e.g., shallow ML vs. DL), the number and type of manually generated
or self-extracted features, and the number of trainable parameters (e.g., network weights in ANNs). Simpler models usually do not tend to be flexible enough to capture (non-linear)
regularities and patterns that are relevant for the learning task.
Overly complex models, on the other hand, entail a higher risk
of overfitting. Furthermore, their reasoning is more difficult to
interpret (cf. next section), and they are likely to be computationally more expensive. Computational costs are expressed
by memory requirements and the inference time to execute a
model on new data. These criteria are particularly important
when assessing deep neural networks, where several million
model parameters may be processed and stored, which places
special demands on hardware resources. Consequently, it is crucial for business settings with limited resources (such as
environments that heavily rely on mobile devices) to not only
select a model at the sweet spot between underfitting and
overfitting. They should also to evaluate a model’s complexity
concerning further trade-off relationships, such as accuracy
vs. memory usage and speed (Heinrich et al. 2019).
|
Оценка модели
Для оценки качества модели необходимо учитывать множество аспектов и факторов, таких как производительность, вычислительные ресурсы и интерпретируемость. Показатели, основанные на производительности, оценивают, насколько хорошо модель удовлетворяет цели, определенной задаче обучения. В области контролируемого обучения существуют хорошо разработанные методики для этой цели. Здесь обычной практикой является использование k-кратной перекрестной валидации, чтобы уберечь модель от перегрузки и определить ее производительность на внешних данных, которые не были включены в обучающие выборки.
Кросс-валидация дает возможность сравнить надежность ML-моделей, предоставляя множество внешних выборок. экземпляров данных, которые позволяют провести сравнительное статистическое тестирование (García and Herrera 2008). Регрессионные модели оцениваются путем измерения ошибок оценки, таких как среднеквадратичная ошибка, ошибка (RMSE) или средняя абсолютная процентная ошибка (MAPE), В то время как модели классификации оцениваются путем вычисления различных соотношений правильно и неправильно предсказанных экземпляров,
например, точность, отзыв, верность и F1-балл. Кроме того, обычно применяются меры, чувствительные к затратам, такие как средняя
стоимость одного предсказанного наблюдения, что полезно в ситуациях, когда ошибки предсказания связаны с асимметричными затратами (Shmueli and Koppius 2011). Это происходит, например, при анализе операций на финансовых рынках, и затраты, связанные с неспособностью обнаружить мошенническую сделку значительно выше, чем затраты на неправильную классификацию не мошеннической транзакции.
Чтобы определить подходящую модель прогнозирования для конкретной задачи, целесообразно сравнить альтернативные модели различной сложности, то есть рассмотреть конкурирующие классы моделей, а также альтернативные варианты одного и того же класса моделей. Как было представлено
выше, сложность модели может быть охарактеризована несколькими параметрами такие свойства, как тип механизмов обучения (например, неглубокий ML против DL), количество и тип сгенерированных вручную или самостоятельно извлеченных признаков, а также количество обучаемых параметров (например, веса сети в ANN). Или самостоятельно извлеченных признаков, а также количество обучаемых параметров (например, веса сети в ИНС). Более простые модели обычно не обладают достаточной гибкостью, чтобы уловить (нелинейные) закономерности и шаблоны, которые важны для задачи обучения.
Слишком сложные модели, с другой стороны, влекут за собой повышенный риск чрезмерной подгонки. Кроме того, их рассуждения сложнее интерпретировать (см. следующий раздел), и они, вероятно, будут более дорогостоящими в вычислительном отношении. Вычислительные затраты выражаются требованиями к памяти и временем вывода для реализации модели на новых данных. Эти критерии особенно важны
при оценке глубоких нейронных сетей, где может обрабатываться несколько миллионов параметров модели, что предъявляет особые требования к аппаратным ресурсам. Следовательно, это крайне важно для бизнес-среды с ограниченными ресурсами (например, для среды, которые в значительной степени зависят от мобильных устройств) необходимо не только выбрать модель, находящуюся в оптимальном положении между недооценкой и чрезмерной подгонкой. Они также должны оценить сложность модели относительно других компромиссных соотношений, таких как точность по сравнению с использованием памяти и скоростью (Heinrich et al. 2019).
|
Challenges for intelligent systems based
on machine learning and deep learning
Electronic markets are at the dawn of a technology-induced
shift towards data-driven insights provided by intelligent systems (Selz 2020). Already today, shallow ML and DL are
used to build analytical models for them, and further diffusion
is foreseeable. For any real-world application, intelligent systems do not only face the task of model building, system
specification, and implementation. They are prone to several
issues rooted in how ML and DL operate, which constitute
challenges relevant to the Information Systems community.
They do require not only technical knowledge but also involve
human and business aspects that go beyond the system’s confinements to consider the circumstances and the ecosystem of application.
|
Вызовы для интеллектуальных систем на основе машинного обучения и глубокого обучения
Электронные рынки находятся на заре вызванного технологиями
перехода к интеллектуальным системам, основанным на данных (Selz 2020). Уже сегодня неглубокое ML и DL используются для построения аналитических моделей для рынков, и дальнейшее распространение вполне предсказуемо. В любом реальном применении интеллектуальные системы сталкиваются не только с задачей построения модели, но и с спецификацией системы и реализацией.
Они также подвержены ряду трудностей, заключающихся в том, как работают ML и DL, которые представляют собой проблемы, актуальные для сообщества информационных систем. Они требуют не только технических знаний, но и включают в себя человеческие и деловые аспекты, которые выходят за рамки системы и учитывают обстоятельства и экосистему приложения.
|
Managing the triangle of architecture,
hyperparameters, and training data
When building shallow ML and DL models for intelligent
systems, there are nearly endless options for algorithms or
architectures, hyperparameters, and training data (Duin
1994; Heinrich et al. 2021). At the same time, there is a lack
of established guidelines on how a model should be built for a
specific problem to ensure not only performance and costefficiency but also its robustness and privacy. Moreover, as
outlined above, there are often several trade-off relations to be
considered in business environments with limited resources, such as prediction quality vs. computational costs. Therefore,
the task of analytical model building is the most crucial since it
also determines the business success of an intelligent system.
For example, a model that can perform at 99.9% accuracy but takes too long to put out a classification decision is rendered useless and is equal to a 0%-accuracy model in the context of
time-critical applications such as proactive monitoring or
quality assurance in smart factories. Further, different implementations can only be accurately compared when varying only one of the three edges of the triangle at a time and
reporting the same metrics. Ultimately, one should consider
the necessary skills, available tool support, and the required
implementation effort to develop and modify a particular DL
architecture (Wanner et al. 2020).
Thus, applications with excellent accuracy achieved in a
laboratory setting or on a different dataset may not translate
into business success when applied in a real-world environment in electronic markets as other factors may outweigh the
ML model’s theoretical achievements. This implies that researchers should be aware of the situational characteristics of a models' real-world application to develop an efficacious intelligent system. It is needless to say that researchers cannot
know all factors a priori, but they should familiarize themselves with the fact that there are several architectural options
with different baseline variants, which suit different scenarios,
each with their characteristic properties. Furthermore, multiple
metrics such as accuracy and F1 score should be reviewed on
consistent benchmarking data across models before making a
choice for a model.
|
Управление треугольником архитектуры,
гиперпараметров и обучающих данных
При построении неглубоких моделей ML и DL для интеллектуальных систем, существует почти бесконечное множество вариантов алгоритмов или архитектуры, гиперпараметров и обучающих данных (Duin 1994; Heinrich et al. 2021). В то же время, существует недостаток установленных руководящих принципов того, как должна быть построена модель для
конкретной задачи, чтобы обеспечить не только производительность и экономичность, но и надежность с конфиденциальностью. Более того,
как было указано выше, часто существует несколько компромиссных соотношений, которые необходимо учитывать в бизнес-среде с ограниченными возможностями, например, качество прогнозирования против вычислительных затрат. Поэтому
задача построения аналитической модели является наиболее важной, поскольку она определяет успех интеллектуальной системы в бизнесе.
Например, модель, которая может работать с точностью 99,9%, но
но требует слишком много времени для принятия классификационного решения, становится бесполезной и приравнивается к модели с 0% точностью в контексте критически важных задач, таких как активный мониторинг или контроль качества на "умных" фабриках. Кроме того, различные варианты могут быть точно сравнены при изменении только одной из трех граней треугольника за раз при этом сообщая одни и те же метрики. В конечном итоге, необходимо учитывать навыки, доступную инструментальную поддержку и требуемые усилия по внедрению для разработки и модификации конкретной архитектуры DL (Wanner et al. 2020).
Таким образом, приложения с превосходной точностью, достигнутой в лабораторных условиях или на другом наборе данных, могут не привести к успеху в бизнесе при применении в реальных условиях, поскольку другие факторы могут перевесить теоретические достижения модели ML. Из этого следует, что исследователи должны знать ситуационные характеристики модели в реальном мире для разработки эффективной интеллектуальной системы. Невозможно говорить о том, что исследователи могут знать все факторы, но они должны ознакомиться с тем, что существует несколько архитектурных вариантов с различными базовыми вариантами, которые подходят для разных сценариев, каждый со своими характерными свойствами. Кроме того, для оценки эффективности вычислений необходимо использовать несколько метрик, такие как точность и F1 балл, они должны быть рассмотрены на последовательных сравнительных данных по всем моделям, прежде чем сделать выбор в пользу той или иной модели.
|
Awareness of bias and drift in data
In terms of automated analytical model building, one needs to
be aware of (cognitive) biases that are introduced into any
shallow ML or DL model by using human-generated data.
These biases will be heavily adopted by the model (Fuchs 2018; Howard et al. 2017). That is, the models will exhibit
the same (human-)induced tendencies that are present in the data or even amplify them. A cognitive bias is an illogical inference or belief that individuals adopt due to flawed
reporting of facts or due to flawed decision heuristics (Haselton et al. 2015). While data-introduced bias is not a particularly new concept, it is amplified in the context of ML and DL if training data has not been properly selected or pre-processed, has class imbalances, or when inferences
are not reviewed responsibly. Striking examples include Amazon’s AI recruiting software that showed discrimination
against women or Google’s Vision AI that produced starkly different image labels based on skin color.
Further, the validity of recommendations based on data is
prone to concept drift, which describes a scenario, where “the relation between the input data and the target variable changes over time” (Gama et al. 2014). That is, ML models for intelligent systems may not produce satisfactory results, when historical data does not describe the present situation adequately anymore, for example due to new competitors entering a market, new production capabilities becoming available, or unprecedented governmental restrictions. Drift does not have to be sudden but can be incremental, gradual, or reoccurring
(Gama et al. 2014) and thus hard to detect. While techniques
for automated learning exist that involve using trusted data windows and concept descriptions (Widmer and Kubat 1996), automated strategies for discovering and solving business-related problems are a challenge (Pentland et al.2020).
For applications in electronic markets, considering bias is of high importance as most data points will have human points of contact. These can be as obvious as social media posts or as
disguised as omitted variables. Further, poisoning attacks during model retraining can be used to purposefully insert deviating patterns. This entails that training data needs to be carefully reviewed for such human prejudgments. Applications based on this data should be understood as inherently biased
rather than as impartial AI. This implies that researchers need to review their datasets and make public any biases they are aware of. Again, it is unrealistic to assume that all bias effects
can be explicated in large datasets with high-dimensional data.
Nevertheless, to better understand and trust an ML model, it is
important to detect and highlight those effects that have or may have an impact on predictions. Lastly, as constant drift
can be assumed in any real-world electronic market, a trained model is never finished. Companies must put strategies in place to identify, track, and counter concept drift that impacts the quality of their intelligent system’s decisions. Currently, manual checks and periodic model retraining prevail.
|
Осознание смещения и отклонения в данных
При автоматизированном построении аналитических моделей необходимо знать о (когнитивных) предубеждениях, которые вносятся в любую неглубокую ML или DL модель при использовании генерируемых человеком данных.
Эти предубеждения будут в значительной степени восприняты моделью (Fuchs 2018; Howard et al. 2017). То есть, модели будут демонстрировать те же (вызванные человеком) тенденции, которые присутствуют в данных или даже усиливать их. Когнитивное предубеждение — это нелогичное
умозаключение или убеждение, которое люди принимают из-за некачественного представления фактов или из-за несовершенной эвристики принятия решений (Haselton et al. 2015). Хотя предвзятость, вызванная данными, не является особенно новой концепцией, она усиливается в контексте ML и DL, если обучающие данные не были должным образом отобраны или предварительно обработаны, имеют дисбаланс классов, или когда выводы не подвергаются ответственной проверке. Яркие примеры этого можно увидеть в ИИ-программе Amazon по подбору персонала, которая проявила дискриминацию
против женщин или в ИИ Vision компании Google, который выдал
разные метки на изображениях, основанные на цвете кожи. Кроме того, обоснованность рекомендаций, основанных на данных, подвержена
дрейфу концепций, который описывает сценарий, где "связь между входными данными и целью переменной изменяется (Gama et al. 2014). То есть ML-модели для интеллектуальных систем могут не дать удовлетворительных результатов, когда исторические данные уже не описывают адекватно текущую ситуацию.
Например, из-за выхода на рынок новых конкурентов, появления новых производственных возможностей или беспрецедентных правительственных ограничений. Дрейф не обязательно должен быть быть внезапным, он может быть постепенным или повторяющимся (Gama et al. 2014), поэтому его трудно обнаружить. Хотя существуют методы для автоматизированного обучения, которые включают использование доверенных данных и описания концепций (Widmer and Kubat 1996), автоматизированные стратегии для обнаружения и решения
проблем, связанных с бизнесом, является сложной задачей (Pentland et al.2020).
Для приложений на электронных рынках учет предвзятости имеет
большое значение, так как большинство точек данных будут иметь человеческие точки контакта. Они могут быть как очевидными, как сообщения в социальных сетях, так и замаскированными, как пропущенные переменные. Кроме того, отравляющие атаки во время переобучения модели могут быть использованы для целенаправленного введения отклоняющихся моделей. Это означает, что обучающие данные должны быть тщательно проверены на предмет таких человеческих предрассудков. Приложения, основанные на этих данных, следует воспринимать как изначально предвзятые, а не как беспристрастный ИИ. Это означает, что исследователи должны пересмотреть свои наборы данных и обнародовать любые предубеждения, о которых они знают. Опять же, нереально предположить, что все эффекты предвзятости могут быть объяснены в больших наборах данных с высокой размерностью.
Тем не менее, для лучшего понимания и доверия к ML-модели важно обнаружить и выделить те эффекты, которые оказывают или могут повлиять на прогнозы. Поскольку постоянный дрейф можно предположить на любом реальном электронном рынке, обученная модель никогда не завершается. Компании должны разработать стратегии для идентификации, отслеживания и противодействия дрейфу концепций, который влияет на качество решений интеллектуальной системы. В настоящее время, преобладают ручные проверки и периодическое переобучение модели.
|
Unpredictability of predictions and the need for explainability
The complexity of DL models and some shallow ML models such as random forest and SVMs, often referred to as of blackbox nature, makes it nearly impossible to predict how they will perform in a specific context (Adadi and Berrada 2018).
This also entails that users may not be able to review and
understand the recommendations of intelligent systems based on these models. Moreover, this makes it very difficult to prepare for adversarial attacks, which trick and break DL
models (Heinrich et al. 2020). They can be a threat to highstake applications, for example, in terms of perturbations of
street signs for autonomous driving (Eykholt et al. 2018). Thus, it may become necessary to explain the decision of a black-box model also to ease organizational adoption. Not
only do humans prefer simple explanations to trust and adopt
a model, but the requirement of explainability may even be enforced by law (Miller 2019).
The field of explainable AI (XAI) deals with the augmentation of existing DL models to produce explanations for output predictions. For image data, this involves highlighting areas of the input image that are responsible for generating a specific output decision (Adadi and Berrada 2018).
Concerning time series data, methods have been developed to highlight the particular important time steps influencing a forecast (Assaf and Schumann 2019). A similar approach can be used for highlighting words in a text that lead to specific classification outputs.
Thus, applications in electronic markets with different criticality and human interaction requirements should be designed or augmented distinctively to address the respective concerns. Researchers must review the applications in particular of DL models for their criticality and accountability.
Possibly, they must choose an explainable white-box model over a more accurate black-box model (Rudin 2019) or consider XAI augmentations to make the model’s predictions more accessible to its users (Adadi and Berrada 2018).
|
Непредсказуемость прогноза и необходимость объяснения
Сложность моделей DL и некоторых неглубоких моделей ML таких как случайный лес и SVM, которые часто называют моделями "черного ящика", делает практически невозможным предсказать, как они будут работать в конкретном контексте (Adadi и Berrada 2018).
Это также влечет за собой то, что пользователи могут оказаться не в состоянии проанализировать и понять рекомендации интеллектуальных систем, основанных на этих моделях. Более того, это делает очень сложным процесс подготовки к атакам противника, которые обманывают и ломают DL модели (Heinrich et al. 2020). Они могут представлять угрозу для приложений с высокой ответственностью, например, в плане порчи дорожных знаков для автопилота (Eykholt et al. 2018).
Таким образом, может возникнуть необходимость объяснить решение в
модели "черного ящика" также для облегчения принятия. Не только люди предпочитают доступность, чтобы доверять и принимать модель, но требование доступности может быть навязано законом (Miller 2019).
Область доступного ИИ (XAI) занимается дополнением существующих моделей DL для получения объяснений для полученных результатов. Для изображений это предполагает выделение области входного изображения, которые отвечают за генерацию конкретного выходного решения (Adadi and Berrada 2018).
Что касается временных рядов, были разработаны методы для выделения конкретных важных временных этапов, влияющих на прогноз (Ассаф и Шуманн, 2019). Аналогичный подход может быть использован для выделения слов в тексте, которые приводят к определенным классификационным выводам.
Таким образом, приложения на электронных рынках с различными требованиями к критичности и взаимодействию с человеком должны быть разработаны или дополнены по-разному для решения соответствующих проблем. Исследователи должны проанализировать конкретные приложения DL-моделей на предмет их критичности и ответственности.
Возможно, они должны выбрать объяснимую модель "белого ящика".
вместо более точной модели "черного ящика" (Rudin 2019) или рассмотреть возможности XAI, чтобы сделать предсказания модели
более доступными для пользователей (Adadi and Berrada 2018).
|
Resource limitations and transfer learning
Lastly, building and training comprehensive analytical models with shallow ML or DL is costly and requires large datasets to avoid a cold start. Fortunately, models do not
always have to be trained from scratch. The concept of transfer learning allows models that are trained on general
datasets (e.g., large-scale image datasets) to be specialized for specific tasks by using a considerably smaller dataset that is problem-specific (Pouyanfar et al. 2019). However,
using pre-trained models from foreign sources can pose a risk as the models can be subject to biases and adversarial
attacks, as introduced above. For example, pre-trained models may not properly reflect certain environmental
constraints or contain backdoors by inserting classification triggers, for example, to misclassify medical images
(Wang et al. 2020). Governmental interventions to redirect or suppress predictions are conceivable as well. Hence, in high-stake situations, the reuse of publicly available analytical models may not be an option. Nevertheless, transfer learning offers a feasible option for small and mediumsized enterprises to deploy intelligent systems or enables large companies to repurpose their own general analytical models for specific applications.
In the context of transfer learning, new markets and ecosystems of AI as a service (AIaaS) are already emerging. Such marketplaces, for example by Microsoft or Amazon Web Services, offer cloud AI applications, AI platforms, and AI infrastructure. In addition to cloudbased benefits for deployments, they also enable transfer
learning from already established models to other applications. That is, they allow customers with limited AI development resources to purchase pre-trained models and integrate them into their own business environments (e.g., NLP models for chatbot applications). New types of vendors can participate in such markets, for example, by offering transfer learning results for highly domain-specific tasks, such as predictive maintenance for complex machines. As outlined above, consumers of servitized DL models in particular need to be aware of the risks their black-box nature poses and establish similarly strict protocols as with human operators for similar decisions. As the market of AIaaS is only emerging, guidelines for
responsible transfer learning have yet to be established (e.g.,Amorós et al. 2020).
|
Ограниченность ресурсов и трансфертное обучение
В целом, построение и обучение комплексных аналитических моделей с помощью неглубокого ML или DL является дорогостоящим и требует большого объема данных. чтобы избежать "холодного старта".
К счастью, модели не всегда нужно обучать с нуля. Концепция трансфертного обучения позволяет моделям, обученным на общих
наборах данных (например, крупномасштабных наборах данных изображений), быть специализированными для конкретных задач, используя значительно меньший набор данных, который ориентирован на конкретную задачу (Pouyanfar et al. 2019). Однако использование предварительно обученных моделей из зарубежных источников может представлять риск, поскольку модели могут быть подвержены смещениям и недоброжелательным атакам, о чем говорилось выше. Например, предварительно обученные модели могут не отражать должным образом определенные экологические ограничения или содержать "черные ходы", вставляя классификационные триггеры, например, для неправильной классификации медицинских изображений (Wang et al. 2020). Правительственное вмешательство для перенаправления или подавления прогнозов. Таким образом, в ситуациях с высокой степенью риска повторное использование общедоступных аналитических моделей может оказаться невозможным. Тем не менее, трансфертное обучение предоставляет малым и средним предприятиям реальную возможность развертывания интеллектуальных систем или позволяет крупным компаниям перепрофилировать свои собственные общие аналитические модели для конкретных задач.
В контексте трансфертного обучения формируются новые рынки и экосистемы ИИ (AIaaS). Формируются новые продукты на рынке, например, Microsoft или Amazon Web Services, предлагают облачные приложения ИИ, платформы ИИ и инфраструктуру ИИ. В дополнение к преимуществам облачных технологий для развертывания, они также позволяют передавать обучение с уже созданных моделей на другие приложения. То есть, они позволяют клиентам с ограниченными ресурсами для разработки ИИ приобрести предварительно обученные модели и интегрировать их в свои бизнес-среды (например, модели NLP). Новые типы поставщиков могут участвовать в таких рынках, например, предлагая результаты трансфертного обучения для решения узкоспециализированных задач, таких как обслуживание сложных машин.
Как было сказано выше, потребители сервисизированных DL-моделей, в частности, должны осознавать риски, связанные с их "черным ящиком", и установить такие же строгие протоколы, как и в случае с человеческими операторами для принятия подобных решений. Поскольку рынок AIaaS только формируется, руководящие принципы для ответственного трансфертного обучения еще предстоит разработать (например, Amorós et al. 2020).
|
Conclusion
With this fundamentals article, we provide a broad introduction to ML and DL. Often subsumed as AI technology, both fuel the analytical models underlying contemporary and future intelligent systems. We have conceptualized ML, shallow ML, and DL as well as their algorithms and architectures.
Further, we have described the general process of automated analytical model building with its four aspects of data input, feature extraction, model building, and model assessment.
Lastly, we contribute to the ongoing diffusion into electronics
markets by discussing four fundamental challenges for intelligent systems based on ML and DL in real-world ecosystems.
Here, in particular, AIaaS constitutes a new and unexplored electronic market and will heavily influence other established service platforms. They will, for example, augment the smartness of so-called smart services by providing new ways to learn from customer data and provide advice or instructions to them without being explicitly programmed to do so. We estimate that much of the upcoming research on electronic markets will be
against the backdrop of AIaaS and their ecosystems and devise new applications, roles, and business models for intelligent systems based on DL. Related future research will need to address and factor in the challenges we presented by providing structured methodological guidance to build analytical models, assess data collections and model performance, and make predictions safe and accessible to the user.
|
Заключение
В этой фундаментальной статье мы рассказали о ML и DL. Эти две системы, рассматриваются, в рамках технологий искусственного интеллекта. Они используются в качестве аналитических моделей, лежащих в основе современных и будущих интеллектуальных систем. Мы дали концептуальное описание ОД, неглубокого ML и DL, а также их алгоритмы и архитектуры.
Кроме того, мы описали общий процесс автоматического
построения аналитических моделей с четырьмя аспектами ввода данных,
извлечение признаков, построение модели и оценка модели.
Наконец, мы внесли свой вклад в текущее распространение на рынках электроники.
Обсуждая четыре фундаментальные проблемы для интеллектуальных систем на основе ML и DL в реальных экосистемах, мы вносим вклад в текущее распространение на рынки электроники.
В частности, AIaaS представляет собой новый и неисследованный рынок электроники и будет оказывать сильное влияние на другие сервисные платформы. Например, они будут повышать интеллектуальность так называемых "умных" услуг, предоставляя новые способы обучения на основе данных о клиентах и предоставлять им советы или инструкции, не будучи явно запрограммированными на это. По нашим оценкам большая часть предстоящих исследований в области электронных рынков будет проводиться на фоне AIaaS и их экосистем, они будут разрабатывать новые приложения, роли и бизнес-модели для интеллектуальных систем на основе DL. Соответствующие будущие исследования должны будут решать и учесть представленные нами проблемы, предоставив структурированное методологическое руководство для построения аналитических моделей, оценки коллекции данных и производительности моделей, а также сделать прогнозы безопасными и доступными для пользователя.
|
|
| |
|
|
Скачать 44.9 Kb.