горизонт. Сканирование горизонтов роль информационных технологий в будущем
 Скачать 3.29 Mb.
|
|
155 Умные горо да как бу дущ ее пространство для граж данск ог о общ еств а Чего мы хотим избежать? Нежелательное будущее Самый распространённый подход к организациям третье- го сектора четко разделяет гражданское общество и госу- дарство, хоть и в некоторых случаях, особенно в постсо- ветских странах, эта граница размывается, так что сложно определить относится ли организация к гражданскому обществу или к государству. Например, в инициативе Ак- тивный гражданин 169 и других платформах «вертикального краудсорсинга» 170 общественное участие обеспечивается государством с целью поддержания своей повестки. В соответствии с тем, что предлагает стратегия «Мо- сква умный город», ожидается массовое применение приложений на основе дополненной реальности (AR — Augmented Reality) наряду с виртуальной (Virtual Reality) и смешанной реальностью (Mixed Reality) в правоохра- нительных органах, образовании и здравоохранении. Их также планируется широко использовать в московских школах в преподавании, а также — на туристических объектах. Эти технологии управляются городским пра- вительством и не подконтрольны организациям граждан- ского общества. Два вопроса о данных, вызывающих наибольшее беспокойство: что случается с данными, полученными при помощи этих технологий и кто ими владеет. Дан- ные с камер наружного наблюдения, общегородские сети сенсоров и местные правительственные системы управления — это всего лишь некоторые из источников больших данных. Интеграция данных и аналитические инструменты, при использовании в связке с алгоритма- ми, позволяют производить городской мониторинг и сле- жение в реальном времени. 169 Активный гражданин [Электронный ресурс]. URL: https://ag.mos.ru/home (дата обращения 23.08.2020). 170 Asmolov G. (2015) Vertical Crowdsourcing in Russia: Balancing Governance of Crowds and State — Citizen Partnership in Emergency Situations // Policy and Internet. № 7 (3). С. 292–318. URL: https://doi.org/10.1002/poi3.96 (дата обращения 23.08.2020). 156 Роз а Василь ев а Хотя большие данные и считаются полезными для понимания городов, их использование для городского управления вызывает беспокойство, описанное в совре- менной литературе. Эти данные, автоматически накоп- ленные из разных источников и переданные в единую «всеобъемлющую наблюдательную точку», могут пре- вратить город в «общество Большого брата», создавая противоречие между эффективным городским прави- тельством и правом горожан на тайну личной жизни. Обсуждения вокруг образования обыкновенного пользователя в области цифровых технологий и данных, все же, переносят ответственность на пользователя, об- ращаясь скорее к «умным пользователям», нежели к раз- работчикам подобных систем, которые манипулируют данными. Правительство и коммерческие компании собирают все больше данных, тогда как обычные люди остаются бессильны предпринять что-либо, даже когда дело каса- ется использования и защиты собственных данных. Про- блемы защиты данных не связаны с какой-то конкретной из описанных технологий и являются общими для всех развивающихся технологиях, работающих на данных. Что, скорее всего, произойдет? Наиболее вероятное будущее Обозначенные проблемы безопасности данных являют- ся серьезным барьером для создания прозрачных, от- крытых и безопасных систем для участия людей в умных городах. Полностью оцифрованные умные города будут иметь возможность создавать среду, в которой любой сможет включать и выключать совместное использова- ние данных, в которое они вовлечены в своей повседнев- ной жизни. Любой сможет быть как видимым, так и неви- димым в цифровом пространстве без риска поставить под угрозу качество своей жизни в городе. Роль и воз- можности гражданского общества значительно сместят- 157 Умные горо да как бу дущ ее пространство для граж данск ог о общ еств а ся в сторону защиты законного обращения с данными граждан и цифровыми технологиями в целом. Напряжение между разными системами умного го- рода, с одной стороны — построенными на принципах открытости, а с другой — на принципах закрытых архи- тектур программного обеспечения, скорее всего, никуда не уйдет и будет продолжаться. Гражданскому обществу надо будет найти формы вовлечения горожан, которые лучше всего работают в каждом конкретном городском контексте. По мере того, как городские жители будут становиться более осведомленными в вопросах защиты и безопасности данных, любым технологическим взаи- модействиям придётся стать безопаснее, чтобы получить доверие пользователей. Открытые городские системы более подвержены атакам и сбоям. Для успешного функ- ционирования таких систем, законодательная база, равно как и управленческая практика, должны постоянно улуч- шаться, а акторы гражданского общества должны будут объединиться с разработчиками и юридическими специа- листами. Беспилотные летательные аппараты (БПЛА), более известные как дроны, развиваются очень быстро. Ле- тающие роботы в настоящий момент представляют со- бой слабый сигнал в контексте будущего умного города. Слабый сигнал — прежде всего из-за набора ограниче- ний в области юриспруденции и безопасности исполь- зования над густонаселенными районами и проблемами в общественном восприятии. Несмотря на описанные выше сложности, ожидается что эти аппараты будут пре- доставлять почти все основные городские услуги в бли- жайшем будущем, помогая закрыть пробелы в городской инфраструктуре, включая мониторинг дорог, состояния зданий и другой критической инфраструктуры, обеспе- чение повсеместной связи и безопасности, экспресс доставку посылок, документов и медицинских товаров. Ранее в 2019 году, разработанная в США платформа воз- душной мобильности AirXOS совместно с Университе- том Мэриленда совершили доставку донорской почки 158 Роз а Василь ев а в Балтиморе и мы можем ожидать больше подобных слу- чаев. Возможно, дроны будут собирать бóльшую часть данных в городах. Безопасность персональных данных будет оста- ваться серьезной проблемой умных городов. Поэтому доверие к цифровым инструментам и сторонам, управ- ляющими этими массивными объемами данных (частный сектор, правительство и некоммерческие организации), будет ключом к участию и взаимодействию городских жителей. «Грязные» данные, то есть предвзятые, непол- ные или искаженные могут подорвать доверие людей к технологиям, инфраструктуре и городским решениям, построенных на данных. Заключение Города всегда были центрами активности гражданско- го общества. Технологии умного города могут принес- ти новые удивительные возможности для гражданского общества в быстро меняющемся городском окружении. Технологии, при этом, могут подорвать доверие и обще- ственное участие, если не смогут справиться с рядом вызовов, описанных в этой главе. Чем умнее города, тем большую роль должно играть гражданское общество в контроле за тем, чтобы умные городские системы служили интересам людей, которые живут в данных городах или их посещают. Критические факторы, на которые следует обратить акторам граждан- ского общества, чтобы иметь влияние на будущее разви- тие, это: осведомленность, мотивация, доступность, под- отчетность, эффективность и устойчивость. Технологии, описанные в этой главе, смогут помочь гражданскому об- ществу справиться с каждым из этих факторов и улучшить то, каким образом люди будут жить в городах будущего. Городам следует решить ряд проблем, чтобы использо- вание технологий было по-настоящему открытым и со- вместным. Умные горо да как бу дущ ее пространство для граж данск ог о общ еств а По мере того, как граждане узнают больше о тех эф- фектах, которые вызывает сбор и распространение пер- сональных данных на их жизнь, технологии продолжают развиваться, поддерживая городскую жизнь за счет ис- пользования персональных данных. Каждое решение и каждая услуга в городе будет основываться на доступ- ных пользовательских данных. Будущее гражданское об- щество в контексте умного города сможет анализировать значительные объемы данных и использовать их в ре- альном времени посредством различных инструментов, описанных в этой главе, для вовлечения стейкхолдеров, улучшения качества предоставления услуг и решения го- родских проблем. Эти данные будут произведены и пе- реданы обратно пользователю по разным каналам город- ской инфраструктуры. 160 Гюнай К азимз ад е Гюнай Казимзаде Аспирантка в Институте сетевого общества им. Дж.Вейценбаума (Германия) Технологии разнообразия против технологий дискриминации на примере систем, основанных на искусственном интеллекте 161 Те хно логии разнообразия про тив те хно логий дискриминации на примере сист ем, основ анных на иску сственном инт еллект е Вступление Сегодня системы искусственного интеллекта использу- ются в различных областях и, если посмотреть совсем свысока, эти технологии функционируют как системы дискриминации. Они дифференцируют, ранжируют, ка- тегоризируют, и, таким образом, в некоторых особых случаях, они дискриминируют и создают общественное неравенство. По мере того, как современные системы распозна- вания лиц неправильно категоризируют людей разных цветов кожи, женщин рекомендуют на менее оплачивае- мые позиции, а автоматические рекрутинговые системы исключают кандидаток из конкурса на технические и ру- ководящие позиции, общество стоит перед лицом вызова «категоризации», «дискриминации» и «несправедливой оценки» алгоритмическими системами 171, 172, 173, 174 Авторы доклада AI Now Institute отмечают наличие кризиса разнообразия 175 в технологиях искусственного ин- теллекта (здесь и далее — ИИ) в таких областях, как гендер и раса 176 . Авторы ведущих конференций по ИИ, руководи- тели, сотрудники и исследовательский персонал «техно гигантов» Google, Facebook, Microsoft — преимуществен- но белые мужчины. Авторы доклада отмечают отсутствие общественно доступных данных о трансгендерных сотруд- никах и представителях других гендерных меньшинств. 171 O’Neil С. (2017) Weapons of Math Destruction: How Big Data Increases In- equality and Threatens Democracy (01 edition ed.). London: Penguin. 172 Rice L., Swesnik D. (2013) Discriminatory Effects of Credit Scoring on Com- munities of Color // 45 Suffolk University Law Review. № 935. C.32. 173 Whittaker M., Crawford K., Dobbe R., Genevieve F., Kaziunas E., Varoon M., West S. M., Richardson R., Schultz J., Schwartz O. (2018) AI Now Report 2018 // AI Now Institute, New York University, 2018. 174 Buolamwini J., Gebru T. (2018) Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification // Conference on Fairness, Accountability, and Transparency. 175 Разнообразие (diversity) — широкое социологическое и моральное поня- тие, предполагающее уважение и принятие индивидуальных и групповых различий, таких как раса, этническая принадлежность, сексуальная ори- ентация, возраст, политические и религиозные взгляды и др. — прим.ред. 176 West S. M., Whittaker M., Crawford K. (2019) Discriminating Systems: Gender, Race and Power in AI // AI Now Institute. URL: https://ainowinstitute.org/dis- criminatingsystems.pdf (дата обращения 25.08.2020). 162 Гюнай К азимз ад е Несмотря на то, что озабоченность и общественное внимание на «решении» проблемы разнообразия в ИИ через работу с качеством данных, справедливыми мо- делями и инклюзивным дизайном, многие специалисты настаивают, что необходим более глубокий анализ куль- туры поведения на рабочем месте, неравномерностей во властных полномочиях, домогательств, дискримина- ционных практик найма персонала и несправедливой оплаты труда, которые заставляют людей покидать или вообще избегать работу в секторе ИИ 177 Представляется, что проблема неравенства в ИИ — не только техническая. Её необходимо решить исполь- зуя междисциплинарный подход, задействуя различные заинтересованные стороны, политиков и руководителей, но самое главное — гражданское общество. Технологии, основанные на ИИ, быстро позициони- руются в центре человеческой жизни развивая новые горизонты для общества. Этот модный термин «ИИ» ис- пользуется для обобщения технологий и систем, которые имитируют человеческий разум, используя набор таких техник, как автоматическое распознавание речи, распо- знавание изображений, естественную обработку языка, генерирование речи и т. д. Машинное обучение — часть технологий, внутри технологий искусственного интел- 177 West S. M., Whittaker M., Crawford K. (2019) Discriminating Systems: Gender, Race and Power in AI. Рисунок 9. Какие технологии, основанные на ИИ, испытывают кризис разнообразия? 178 AI SPEECH VISION ML NLP • Speech to text • Text to speech • Image recognition • Machine vision • Deep learning • Predictive analytics • Translation • Classification and clustering • Information extraction ROBOTICS EXPERT SYSTEMS PLANNING, SCHEDULING AND OPTIMIZATION 163 Те хно логии разнообразия про тив те хно логий дискриминации на примере сист ем, основ анных на иску сственном инт еллект е лекта, сконцентрированная на возможности машин ис- пользовать большие объемы данных для собственного обучения без необходимости дополнительного програм- мирования со стороны человека. Экспертные системы, также включенные в общий зонтичный термин ИИ, могут работать с общими техни- ками программирования с или без использования алго- ритмов машинного обучения. Важно различать между собой искусственный интеллект, машинное обучение, и другие термины, роль которых разнится по своему объему и влиянию на проблему разнообразия и дискри- минации в ИИ. В нашей статье мы рассматриваем все перечисленные технологии и дискриминационные про- блемы, вызванные этими технологиями. 178 Дискуссия на предмет того, улучшает ли ИИ нашу жизнь или увеличивает неравенство, остра как никогда. Широкомасштабное машинное обучение и технологии глубокого обучения, которые позволяют компьютерам обрабатывать и анализировать большие объемы дан- ных широко используются в таких значимых областях, как страхование (особенно, кредитный скоринг), бан- ковские займы, здравоохранение, включая аналитику здравоохранения, роботизированное здравоохранение, постановка медицинского диагноза, общественная без- опасность, особенно в области предиктивного контроля преступности, в области замены человеческого труда, управления кадрами, так же как и в областях социальных сетей, игр, сервисов цифровых развлечений, области об- разования для роботов педагогов, взаимодействий ребе- нок-робот, умных репетиторских систем, онлайн обуче- ния и образовательной аналитики 179, 180, 181, 182 178 Источник: Deloitte Insights. URL: deloitte.com/insights. 179 O’Neil С. (2017) Weapons of Math Destruction: How Big Data Increases In- equality and Threatens Democracy. 180 Rice L., Swesnik D. (2013) Discriminatory Effects of Credit Scoring on Com- munities of Color. 181 Buolamwini J., Gebru T. (2018) Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. 182 Whittaker M., Crawford K., Dobbe R., Genevieve F., Kaziunas E., Varoon M., West S. M., Richardson R., Schultz J., Schwartz O. (2018) AI Now Report 2018. 164 Гюнай К азимз ад е В особенных случаях, эти социо-технологические си- стемы приносят несправедливые, неэтичные и дискрими- нирующие результаты. Доклад AI Now Institute утверждает, что «Системы, использующие физическую внешность как показатель черт характера или внутреннего состояния глубоко неблагонадежны. Это же касается ИИ инстру- ментов, заявляющих о способности определить сексу- альность по фотографии головы, предсказывать «крими- нальность» по чертам лица или оценивать компетентность сотрудника по «микровыражениям». Такие системы ре- плицируют паттерны расовых и гендерных предрассудков, возможно углубляя и обосновывая историческое нера- венство. Коммерческое применение таких инструментов является предметом сильного беспокойства» 183 Скандал, связанный с «сексистским» рекрутинго- вым ИИ инструментом от Amazon, который «научился» исключать кандидатов женского пола при найме на ра- боту, привлек внимание как общественности, так и са- мой компании в 2018. Причиной такого несправедливого суждения системы стали исторические данные о реше- ниях, принятых рекрутерами за последние 10 лет. В тече- ние этого периода очень мало кандидатов женского пола было нанято на руководящие или технические позиции; таким образом, система, натренированная на этих дан- ных, научилась имитировать предвзятые решения, сде- ланные сотрудниками. После того, как новости о сканда- ле стали приобрели характер вируса, компания решила отредактировать программу так, чтобы нейтрализовать влияние гендерных черт, хотя это и не гарантия того, что рекрутинговая система не будет коррелировать другие черты с гендерными атрибутами кандидатов. Тимнит Гебру, исследователь в области этики алго- ритмов в Microsoft, подчеркивает 184 , что глубокое обуче- 183 Olteanu A., Castillo C., Diaz F., Kiciman E. (2016) Social Data: Biases, Meth- odological Pitfalls, and Ethical Boundaries // SSRN Electronic Journal. Fron- tiers in Big Data. № 2:13. 2016. 20 декабря. URL: http://dx.doi.org/10.2139/ ssrn.2886526 (дата обращения 25.08.2020). 184 Gebru T., Morgenstern J., Vecchione B., Vaughan J. W., Wallach H., Hal Daumeé III, Crawford K. (2018) Datasheets for Datasets // arXiv.org [Элек- 165 Те хно логии разнообразия про тив те хно логий дискриминации на примере сист ем, основ анных на иску сственном инт еллект е ние может изменить рынок страховых услуг, на котором меньшинства и другие уязвимые группы могут подверг- нуться дискриминации только из-за того, что автомо- бильные аварии происходят в густонаселенных районах, там где эти группы, в основном, проживают. Программа глубокого обучения может «выучить», что существовала значимая корреляция между принадлежностью к опреде- ленному меньшинству (например, по цвету кожи) и боль- шим количеством автомобильных аварий. На основе этих данных, будет построена модель с заранее встроен- ными предрассудками о повышенной опасности людей определенного цвета кожи. Таким образом, подобная страховая система развила бы расовые предрассудки, основываясь на корреляции, а не на причинно-след- ственных связях. Алгоритмы машинного обучения в системах, осно- ванных на ИИ, применяются в здравоохранении для ана- лиза больших объемов данных, в целях улучшения при- нятия решений и увеличения эффективности. Данные, собранные за годы измерений, могут отражать истори- ческие предрассудки против уязвимых групп. Это может привести к дальнейшему воспроизводству предрассуд- ков, что соответственно ведет к усилению неравенства в обеспечении здравоохранением. Предиктивные полицейские алгоритмы становят- ся очень популярными среди городов в США, также как и в других странах. Многие ученые и исследователи част- ной жизни озабочены критическими последствиями ре- шений, принятых ИИ-системами, которые потенциально способны усилить расовые и культурные предрассудки. «Полиция в США систематически предубеждена против цветных сообществ,» — заявил Fast Company юридиче- ский директор Профсоюза гражданских свобод Нью-Йор- ка Кристофер Данн. «Любая предиктивная полицейская платформа имеет риск наличия унаследованных диспро- порций из-за чрезмерного наблюдения полиции за цвет- тронный ресурс]. 2018. 9 июля. URL: http://arxiv.org/abs/1803.09010 (дата обращения 25.08.2020). |