IT как оружие. Копирование, воспроизведение и иное использование электронной книги, ее частей
 Скачать 2.83 Mb.
|
|
Это была история не только об иммиграции и семьях, но и о технологии. Правительство использовало структурированную базу данных, которая работала только водном направлении. Вместо того чтобы обновить ИТ-систему и обеспечить техническую поддержку новых мер по разлучению семей, администрация стала действовать, не подумав о необходимой компьютерной архитектуре. Я видел, какую систему использует Бюро таможенного и пограничного контроля в центре управления недалеко от мексиканской границы, когда мыс Уэнди наведались туда несколько месяцев назад, и не удивился тому, что она устарела. Но то, что администрация не подумала о последствиях, было ужасным Оказавшись в конференц-зале тем утром, где руководители высшего звена во главе с Сатьей собрались на пятничное совещание, я рассказало том, что услышал. В процессе обсуждения этого вопроса стало ясно, что он имеет прямое отношение к нашим опасениям, связанным с предложением отключать правительственные агентства от всех наших сервисов, когда они проводят политику, с которой мы не согласны. Технология стала ключевой инфраструктурой нашей жизни, и отказ обновлять ее — или, что еще хуже, решение вообще отключить — чреват массой нежелательных и непредвиденных последствий. Как Сатья несколько раз подчеркивал вовремя наших внутренних разговоров, правительство использует электронную почту как один из инструментов воссоединения семей. Если мы отключим ее, кто знает, к чему это приведет? В результате мы пришли к выводу, что бойкотирование какого-либо правительственного агентства в Соединенных Штатах нельзя считать правильным подходом. Однако люди, настаивающие на таких действиях, в том числе ряд наших собственных работников, ставят правильные вопросы. Технология распознавания лиц, например, создает проблемы, требующие большего внимания. Кроме того, на наш взгляд, эта новая технология требовала нового законодательства и регулирования. Только таким образом можно было обеспечить неприкосновенность частной жизни в обществе и устранить риски необъективности и дискриминации, не мешая дальнейшему внедрению инноваций. Для многих было странно, что компания обращается к правительству с призывом ввести регулирование для ее продуктов. По словам Джона Томпсона, председателя нашего совета директоров, некоторые в Кремниевой долине сочли, что мы отстаем от других компаний на рынке и хотим через регулирование затормозить развитие конкурентов. Это вызвало у меня бурные возражения. Все совсем не так — в 2018 г Национальный институт стандартов и технологии после очередного раунда тестирования технологии распознавания лиц признал, что наши алгоритмы являются лучшими или почти лучшими во всех категориях. Помимо нас свою технологию на это тестирование предоставили еще 44 компании, но было немало таких, включая Amazon, кто отказался от участия. Такая заинтересованность в регулировании была связана с нашими представлениями о направлении движения рынка. Несколько месяцев назад одна из наших команд хотела продать ИИ-решение, включавшее в себя сервис по распознаванию лиц, правительству страны, в которой отсутствовала независимая судебная система и не слишком строго соблюдались права человека. Это правительство собиралось внедрить сервис в столице страны. Мы опасались, что правительство, которое пренебрегает правами человека, будет использовать нашу технологию для слежки за неугодными в любом месте — или за всеми на всей территории. По рекомендации нашего внутреннего комитета поэтике в сфере ИИ мы решили отказаться от предложенной сделки. Комитет рекомендовал провести черту и воздерживаться от предоставления доступа к сервисам по распознаванию лиц странам, которые, по мнению Freedom House, независимой организации, занимающейся надзором за соблюдением свобод и демократии по всему миру, нельзя считать свободными. Местная команда, конечно, была не в восторге от этого. Я, как лицо, являющееся последней инстанцией в таких вопросах, получил очень эмоциональное электронное письмо от руководителя команды по продажам, которая занималась сделкой. По ее словам, она, как мать и профессионал, … чувствовала бы себя в значительно большей безопасности, если бы мы позволили использовать сервис для снижения риска насилия и террора. Мне были понятны ее доводы. Они подчеркивали сложность компромиссов в такой неоднозначной сфере, как поиски баланса между общественной безопасностью и правами человека. Они также демонстрировали субъективность характера многих этических решений, принимаемых в отношении искусственного интеллекта. И, конечно, нас беспокоило то, что в случае отказав доступе к этому сервису его могла предоставить какая-нибудь другая компания. Тогда мы проигрывали бы дважды — теряли сделку и становились пассивными наблюдателями того, как кто- то еще способствует злоупотреблениям, несмотря на нашу позицию. Однако, взвесив все эти факторы, мы решили, что должны попытаться поставить развитие этой новой технологии на некий этический фундамент. А единственным способом сделать это был отказ от определенных видов ее использования и развертывание широкой общественной дискуссии. Потребность в бескомпромиссном подходе усилилась еще больше, когда местные органы правопорядка в Калифорнии связались снами и заявили, что хотят оснастить все свои автомобили и полицейских камерами, чтобы они могли постоянно делать снимки людей и смотреть, нет ли среди них тех, кто включен в базу разыскиваемых за какие-либо преступления. Мы понимали логичность такого запроса, но сказали, что технология распознавания лиц пока слишком сырая, чтобы применять ее в подобных целях. Это, по крайней мере в 2018 г., привело бык многочисленным ложным срабатываниями внесению в списки нарушителей неправильно идентифицированных людей, особенно из числа небелых и женщин, для которых частота появления ошибок остается высокой. Мы отказались от заключения сделки и убедили полицейских воздержаться от использования распознавания лиц с такой целью. В череде подобных случаев постепенно вырисовывались принципы, которые можно было применить к распознаванию лиц. Беспокоило то, что толку от этого будет мало, если мы начнем поступать правильно сточки зрения морали, а другие компании в Сиэтле и с другой стороны Тихого океана — нет. Распознавание лиц, как и многие другие технологии на основе ИИ, становится тем лучше, чем больше объем доступных данных. Это создает стимул к заключению как можно большего количества сделок и, таким образом, к возникновению коммерческой гонки по нисходящей, в которой технологические компании оказываются перед выбором — социальная ответственность или рыночный успех. Единственный способ защититься от такой гонки по нисходящей — это установить базовую ответственность, которая поддержит здоровую рыночную конкуренцию. А для появления солидной базы нужно было, чтобы эта технология и организации, которые разрабатывают и используют ее, опирались на верховенство закона. Мы обратились к историческому опыту регулирования других технологий. Есть немало рынков, где сбалансированный подход к регулированию создает более здоровые условия и для потребителей, и для производителей. Автомобильная отрасль не одно десятилетие в XX в. сопротивлялась регулированию, однако сегодня никто не отрицает ту роль, которую сыграло законодательство в повсеместном внедрении ремней и подушек безопасности, а также повышении топливной экономичности. Тоже самое можно сказать и о безопасности воздушного движения, производстве пищевых продуктов и лекарственных средств. Конечно, одно дело рассуждать о необходимости регулирования и совсем другое дело определить, какое именно регулирование будет наиболее разумным. В июле 2018 г. мы опубликовали перечень вопросов, которые, по нашим представлениям, требовали рассмотрения, и обратились к публике за помощью в поиске ответов. Поначалу в дискуссию вступили работники и специалисты по технологиям, но очень быстро обсуждение захватило страну, а потоми весь мир, включая группы правозащитников вроде Американского союза гражданских свобод, который играл активную роль в решении вопроса. Меня особенно поразила реакция законодателей, с которыми я встречался в Национальном собрании в Париже. Как сказал один из его членов, ни одна другая технологическая компания не задает нам таких вопросов. Почему вы не такие, как все?» Распознавание лиц относилось к такому типу проблем, по которым мы иногда расходились во мнениях с другими в технологическом секторе. Пожалуй, больше, чем что-либо другое, это было связано с нашим опытом, полученным входе антимонопольных разбирательств х гг. В то время мы, как и многие компании и целые отрасли, настаивали на том, что регулирование ненужно и даже вредно. Один из множества уроков, которые мы вынесли из нашего опыта, заключался в том, что такой подход не всегда работает — или не всегда приемлем для продуктов, имеющих большое значение для общества или несущих одновременно выгоду и потенциальную опасность. Мы перестали возражать против вмешательства правительства, как это традиционно делало большинство технологических компаний. У нас за плечами уже был опыт участия в этом сражении. Теперь мы придерживались того, что считали более активным, но сбалансированным подходом к регулированию. Именно в этом заключалась одна из причин, по которым мы призывали к принятию федерального закона о защите персональных данных в Соединенных Штатах в 2005 г. Можно не сомневаться в том, что наверняка возникнут ситуации, когда правительство будет делать все не таки нам придется жалеть о своих призывах. Однако мы верили, что в целом такой подход будет лучше для технологии и общества, чем практика, при которой решение всех вопросов отдается на откуп технологическому сектору. Важно было понять специфику. Статья Ниташи Тику в журнале Wired подчеркнула это. Как она отметила в конце 2018 г после жутких технологических скандалов на протяжении целого года даже те руководители, которые всегда были против вмешательства правительства, стали признавать свою открытость для законодательных требований. Однако, с ее точки зрения, мы хотели пойти на шаг дальше, делая конкретное предложение правительствам по регулированию технологии распознавания лиц. К декабрю у нас накопилось достаточно информации, чтобы предложить новый законопроект. Мы, конечно, не могли ответить на все вопросы, но надеялись на то, что имеющихся ответов достаточно для принятия хорошего начального закона в этой области, который позволит технологии развиваться и обеспечит защиту интересов общества. На наш взгляд, для правительств было важно не отстать от этой технологии, и последовательный подход позволил бы наладить более быстрое и качественное обучение по всему государственному сектору. По существу, мы заимствовали распространенную в сфере стартапов и разработки программного обеспечения идею «минимально жизнеспособного продукта. По определению предпринимателя и автора Эрика Риса, она подразумевает создание первоначальной версии нового продукта, которая позволяет команде получить максимальный объем подтвержденного знания (знания, основанного на реальных данных, а не на предположениях о будущем) о клиентах» 16 Другими словами, она предлагает не ждать получения исчерпывающих ответов на все мыслимые вопросы. В случае уверенности в том, что у вас есть надежные ответы на ключевые вопросы, действуйте на их основе, создавайте продукт и выводите его на рынок для получения реальной обратной связи. Такой подход позволяет не только компаниям, но и технологии развиваться быстрее и более успешно. Даже в случае ускоренного движения критически важно все тщательно продумывать и обеспечивать уверенность в том, что первые шаги будут позитивными. Мы считали, что наш набор идей достаточен для решения проблем, связанных с распознаванием лиц. Свои аргументы в пользу нового законопроекта я публично представил в Брукингском институте в Вашингтоне 17 и дополнительно опубликовал некоторые детали нашего предложения. Затем мы развернули широкую кампанию ив течение следующего полугода представляли их на всех публичных мероприятиях и слушаниях в Соединенных Штатах и восьми других странах. По нашему мнению, законопроект мог решить три ключевые проблемы — устранить риск необъективности, обеспечить неприкосновенность частной жизни и гарантировать защиту демократических свобод. Мы считали, что хорошо функционирующий рынок может ускорить прогресс в деле устранения необъективности. Никому из клиентов, с которыми мы имели дело, не был нужен такой сервис по распознаванию лиц, который дает много ошибок и приводит к дискриминации. Однако рынок не сможет функционировать, если у клиентов не будет информации. Подобно группам вроде Consumer которые информируют публику по вопросам, скажем, безопасности автомобилей, ученые и компетентные организации могли бы тестировать конкурирующие сервисы по распознаванию лиц и распространять информацию об их точности. Это дало бы возможность исследователям вроде Джой Буоламвини из Массачусетского технологического института осуществлять проекты, которые будут подгонять нас. Главное, чтобы компании, действующие на рынке, предоставили возможность тестировать их продукты. Именно это мы и предлагали, фактически используя регулирование для укрепления рынка 19 Для снижения риска дискриминации новый законопроект должен был потребовать от организаций, использующих распознавание лиц, обучения персонала стем, чтобы он мог анализировать результаты, прежде чем принимать решения, — а непросто передавать принятие решений компьютерам. В числе прочего нас беспокоило, что риски необъективности могут усугубляться, если организации начнут использовать распознавание лиц не так, как предполагалось, когда эта технология разрабатывалась. Обучение персонала могло помочь устранению этой проблемы. В некотором смысле более сложный вопрос возникал, когда правоохранительные органы хотели использовать распознавание лиц для слежения за перемещениями отдельных людей в течение дня. Демократия всегда зависела от способности людей встречаться и разговаривать друг с другом и даже обсуждать разные взгляды, как конфиденциально, таки публично. Для этого нужна возможность свободно передвигаться, причем без постоянной слежки со стороны правительства. Государство находит множество применений технологии распознавания лиц в целях обеспечения общественной безопасности и улучшения обслуживания публики, не вызывая подобной обеспокоенности 21 Однако в сочетании с повсеместным размещением камер, огромной вычислительной мощностью и облачным хранением данных технология распознавания лиц может использоваться для непрерывного слежения за определенными лицами. Такая слежка может быть начата в любой момент и даже вестись все время. Подобное использование этой технологии способно привести к массовой слежке в беспрецедентных масштабах. Как Джордж Оруэлл написал в романе «1984», в будущем гражданам придется скрываться от слежки государства, пробираться тайком в темное место с занавешенными окнами, иначе камеры и микрофоны сфотографируют их лица и запишут каждое слово. Оруэлл нарисовал эту картину почти 70 лет назад Нас беспокоит то, что нынешняя технология делает такое будущее возможным. Ответом, на наш взгляд, был законопроект, позволяющий правоохранительным органам использовать распознавание лиц для постоянной слежки за определенными людьми только при наличии решения суда или в случае неминуемой угрозы жизни кого-либо. Это создало бы правила для сервисов по распознаванию лиц, аналогичные тем, что действуют сейчас в Соединенных Штатах в отношении слежения за перемещением людей по местонахождению их сотовых телефонов с GPS- навигацией. В соответствии с принятым в 2018 г. решением Верховного суда полиция не может без ордера на обыск получить записи, показывающие местонахождение телефона, а следовательно, и перемещение человека. Мы сформулировали этот вопрос и ответ на него так Нуждаются ли наши лица в такой же защите, как и телефоны С нашей точки зрения, ответом является твердое "да"» 23 Наконец, было очевидно, что регулирование распознавания лиц также должно защищать персональные данные потребителей в коммерческом контексте. Мы стоим на пороге эпохи, в которую у каждого магазина могут быть камеры, связанные с облаком и сервисами по распознаванию лиц в реальном времени. Как только вы входите в магазин, вас могут не только сфотографировать, но и узнать. Владелец магазина может поделиться этой информацией с другими торговыми организациями. Владея такой информацией, торговцы знают, когда вы приходили в последний раз, чем интересовались и что купили, у них появляется возможность предсказывать, что вас будет интересовать в следующий раз. У нас не было цели добиться, чтобы новое регулирование запрещало такие технологии. Напротив, мы входим в число компаний, которые стараются помочь магазинам ответственно использовать технологию для повышения качества обслуживания покупателей. С нашей точки зрения, многим потребителям должен понравиться новый уровень обслуживания. Вместе стем мы считали, что люди должны знать, когда используется распознавание лиц, иметь право задавать вопросы и возможность реального выбора 24 Мы рекомендовали установить для организаций, использующих распознавание лиц, требование ясно уведомлять» людей об этом. Кроме того, нужно разработать новые правила принятия решений о том, когда и как люди могут реально контролировать процесс и давать согласие на него. Понятно, что последний вопрос потребует дополнительной проработки в ближайшие годы для определения правильного правового подхода, особенно в Соединенных Штатах, где законодательство о защите персональных данных не так развито, как в Европе. Также нелишне было подумать о том, где должны появиться новые законы. В отношении некоторых аспектов нам ненужно было добиваться повсеместного принятия законов. Например, если один крупный штат или государство потребует, чтобы компании предоставляли свои сервисы по распознаванию лиц для тестирования, то результаты можно публиковать и распространять в других местах. Исходя из этого, мы предложили законодателям штатов рассмотреть новый законопроект вовремя подготовки к заседаниям вначале г. 26 Однако для защиты персональных данных потребителей и демократических свобод требовались новые законы во всех юрисдикциях. Мы понимали нереалистичность такой задачи с учетом разнообразия взглядов правительств разных стран. По этой причине просто призвать правительства к действиям было определенно недостаточно. Даже если правительство США |