21 урок для 21 века. Урок для xxi века yuval Noah Harari 21 lessons for the 21st century copyright 2018 by Yuval Noah Harari
 Скачать 2.5 Mb.
|
|
3 СВОБОдА АЛГОРИТМЫ СЛЕдЯТ ЗА ТОБОЙ 66 21 УРОК ДЛЯ XXI ВЕКА принадлежат по рождению? Считаете ли вы, что люди должны сами выбирать себе супруга, а не вступать в брак с тем, на кого указали родители? Если на все три вопроса вы ответили «да», примите мои поздравления: вы либерал. Примечательно, что такие иконы консерватизма, как Рональд Рейган и Маргарет Тэтчер, были убежденными защитниками не только экономических, но и личных свобод. В 1987 году в своем знаменитом интервью Тэтчер сказала: «Общества как такового не существует. Есть только живая ткань из мужчин и женщин... и качество нашей жизни будет зависеть от того, насколько каж- дый из нас готов за себя отвечать» 1 Наследники Тэтчер из партии консерваторов полностью со- гласны с лейбористами в том, что политическая власть происте- кает из чувств, выбора и свободной воли отдельных избирате- лей. Когда Великобритания оказалась перед выбором, выходить из ЕС или нет, премьер-министр Дэвид Кэмерон не обращался за ответом к королеве Елизавете II, архиепископу Кентерберий- скому или к ученым мужам из Оксфорда и Кембриджа. Он да- же не обращался к членам парламента. Премьер-министр назна- чил референдум, и каждому британцу был задан вопрос: «Что вы чувствуете?» Вы возразите, что людей спрашивали: «Как вы думаете?», а не «Что вы чувствуете?» — но это распространенная ошибка восприятия. На референдумах и выборах исход всегда зависит от чувств людей, а не от их рациональных размышлений. Если бы демократия требовала рационального принятия решений, не было бы никакого резона давать людям равные избирательные права — или вообще хоть какие-то избирательные права. Суще- ствует масса свидетельств того, что одни люди гораздо лучше информированы и более способны к рациональному мышле- нию, чем другие, особенно когда дело касается конкретных эко- номических и политических вопросов 2 . После референдума по Брекзиту выдающийся биолог Ричард Докинз высказал мнение, 67 СВОБОд А что подавляющее большинство британцев — включая его само- го — не должны были голосовать на референдуме, поскольку не обладали необходимыми знаниями в области экономики и по- литики. «С тем же успехом можно организовать национальный плебисцит, чтобы решить, верны ли выкладки Эйнштейна, или позволить пассажирам голосовать, на какую полосу пилот дол- жен посадить самолет» 3 Хорошо это или плохо, но выборы и референдумы выявляют не мысли, а чувства людей. А в том, что касается чувств, Эйн- штейн и Докинз ничем не лучше любого другого человека. Де- мократия предполагает, что наши чувства отражают загадочную и глубокую «свободу воли», что эта «свобода воли» — главный источник власти и что, хотя некоторые люди умнее других, все они одинаково свободны. Неграмотная горничная обладает та- кой же свободой воли, как Эйнштейн и Докинз, и в день голосо- вания ее чувства, выраженные в сделанном ею выборе, обладают таким же весом, как и чувства всех остальных. Чувствами руководствуются не только избиратели, но и по- литические лидеры. В 2016 году в процессе подготовки референ- дума по Брекзиту кампанию за выход из ЕС возглавляли Борис Джонсон и Майкл Гоув. После отставки Дэвида Кэмерона Гоув поначалу поддерживал кандидатуру Джонсона, но в последний момент заявил, что тот не подходит для должности премьер-ми- нистра, и объявил о намерении самому бороться за этот пост. Действия Гоува, лишившие Джонсона шансов стать главой каби- нета, были расценены как политическое убийство в стиле Макиа- велли 4 . Но Гоув оправдывал свой поступок чувствами, объясняя: «Перед каждым шагом в своей политической жизни я задавал себе вопрос: „Как я должен поступить? Что мне подсказывает сердце?“» 5 Вот почему, если верить Гоуву, он так яростно сражал- ся за Брекзит, а затем счел необходимым нанести удар в спину своему верному союзнику Борису Джонсону, чтобы самому пре- тендовать на статус альфа-самца: так подсказывало ему сердце. 68 21 УРОК ДЛЯ XXI ВЕКА Возможно, именно эта зависимость от веления сердца — ахил- лесова пята либеральной демократии. Если кто-то (неважно, в Пекине или в Сан-Франциско) получит технологическую воз- можность «проникать в человеческое сердце» и манипулировать им, демократическая политика превратится в театр эмоциональ- ных марионеток. ПРИСЛУШИВАЙТЕСЬ К АЛГОРИТМУ Либеральная вера в чувства и свободный выбор индивидов не являются ни естественными, ни древними. Тысячелетиями лю- ди верили, что источник власти — божественные законы, а не человеческое сердце, а потому нужно благословлять слово Бо- жие, а не свободу человека. Только в последние несколько веков источник власти переместился от богов, обитающих на небесах, к людям из плоти и крови. Вскоре мы снова можем стать свидетелями передачи власти — но уже от людей к алгоритмам. Точно так же, как легитимацией божественной власти служила религиозная мифология, а влас- ти людей — либеральная концепция, грядущая технологическая революция утвердит власть алгоритмов Big Data, подорвав саму идею индивидуальной свободы. Как я уже отмечал в предыдущей главе, научные исследова- ния функционирования нашего мозга и тела указывают на то, что чувства не являются уникальным духовным качеством че- ловека и следствием «свободы воли». Скорее чувства представ- ляют собой биохимические механизмы, которые используют все млекопитающие и птицы для быстрого вычисления шансов на выживание и продолжение рода. Чувства основаны не на интуи- ции, вдохновении или свободе — в их основе лежат вычисления. Когда обезьяна, мышь или человек видит змею, чувство страха возникает из-за того, что миллионы нейронов в мозгу быстро обрабатывают соответствующие данные и приходят к 69 СВОБОд А заключению, что вероятность гибели велика. Чувство полового влечения возникает тогда, когда другие биохимические алгорит- мы вычисляют, что находящийся рядом индивид обещает вы- сокую вероятность успешного партнерства, социальных связей или какую-либо другую желанную цель. Нравственные чувства, такие как негодование, вина или прощение, обусловлены ней- ронными механизмами, отвечающими за групповое сотрудни- чество. Все эти биохимические алгоритмы совершенствовались миллионами лет эволюции. Если чувства одного из наших древ- них предков приводили к фатальной ошибке, то гены, сформи- ровавшие эти чувства, не передавались следующему поколению. Таким образом, чувства не противоположны рациональности — они суть воплощение эволюционной рациональности. Нам непросто осознать, что наши чувства представляют собой результат вычислений, поскольку быстрый вычислительный про- цесс протекает далеко за порогом нашего сознания. Мы не ощу- щаем, как миллионы нейронов мозга просчитывают вероятности выживания и продолжения рода, и поэтому ошибочно полага- ем, что боязнь змей, выбор полового партнера или отношение к Евросоюзу определяются некой таинственной «свободой воли». Теоретики либерализма ошибаются, полагая, что наши чув- ства отражают свободу воли, однако вплоть до недавнего време- ни руководствоваться чувствами было вполне разумно. В наших чувствах нет никакой магии, и все же именно они лучше всего помогают понять, чему нам учиться, на ком жениться, за какую партию голосовать. Никакая внешняя по отношению ко мне сис- тема никогда не поймет мои чувства лучше, чем я сам. Даже если бы испанская инквизиция или советский КГБ следили за мной каждую минуту каждого дня, у них не хватило бы биологичес- ких знаний и вычислительных мощностей, чтобы вмешаться в процессы, определяющие мои желания и мой выбор. С практи- ческой точки зрения было разумно считать, что мы обладаем свободой воли, потому что наша воля определяется в основном 70 21 УРОК ДЛЯ XXI ВЕКА взаимодействием внутренних сил, невидимых снаружи. Я могу наслаждаться иллюзией контроля над своим внутренним миром, тогда как внешние наблюдатели никогда не поймут, что проис- ходит у меня в мозгу и как я принимаю решения. Так что либералы правы, когда советуют людям поступать по велению сердца, а не подчиняться диктату священника или пар- тийного аппаратчика. Но по мере того как на место испанской инквизиции и КГБ будут заступать Google и Baidu, «свобода во- ли», скорее всего, превратится в миф, и тогда либерализм может лишиться своих практических преимуществ. На наших глазах происходит слияние двух масштабных рево- люций. Биологи проникают в тайны человеческого тела, мозга и чувств. Одновременно специалисты в области вычислительных систем открывают беспрецедентные возможности обработки данных. Когда биотехнологическая революция сольется с рево- люцией в ИТ, появятся алгоритмы Big Data, способные следить за нашими чувствами и понимать их гораздо лучше, чем мы. И то- гда власть перейдет от людей к компьютерам. Иллюзия свободы воли, скорее всего, развеется, если я каждый день буду сталки- ваться с институтами, корпорациями и госучреждениями, ко- торые манипулируют тем, что я до недавних пор считал своим внутренним миром, недоступным для других. Для краткости воспользуемся следующей формулой: б 5 в 5 д = ввч, где б — биологическое знание, в — вычислительная мощность, д — объем данных. Их произведение — ввч — возможность взломать человека. Мы уже видим, как это работает в медицине. Самые важные медицинские решения опираются не на наше самочувствие, и даже не на компетентные прогнозы врача, а на вычисления компьютера, который понимает наше тело лучше, чем мы. Через 71 СВОБОд А несколько десятилетий алгоритмы больших данных, обрабаты- вающие непрерывный поток биометрической информации, смо- гут следить за нашим здоровьем ежедневно, 24 часа в сутки. Они выявят грипп, рак или болезнь Альцгеймера на самой ранней стадии — задолго до того, как мы почувствуем, что с нами что- то не так. Затем они порекомендуют необходимое лечение, дие- ту и режим, разработанные с учетом наших физических данных, ДНК и особенностей личности. Люди получат лучшее здравоохранение в истории, но именно поэтому они, вероятно, будут постоянно болеть. В нашем орга- низме всегда есть неполадки и всегда есть что улучшить. В про- шлом человек ощущал себя совершенно здоровым, пока не чув- ствовал боль или не начинал страдать от нарушения каких-то функций, например от хромоты. Но к 2050 году благодаря био- метрическим датчикам и алгоритмам больших данных болезни будут диагностироваться и лечиться задолго до появления боли или нарушения функций. В результате вы всегда будете считать- ся «больным» и выполнять те или иные рекомендации алгорит- ма. А отказавшись лечиться, вы можете лишиться страховки или даже работы — зачем работодателю платить за ваше упрямство? Одно дело — не отказываться от сигарет, несмотря на стати- стические данные, связывающие курение с раком легких. Со- всем другое — продолжать курить, вопреки категорическому предупреждению биометрического датчика, который обнару- жил в верхней доле левого легкого 17 раковых клеток. А если вы решите проигнорировать предупреждение, что будет, когда датчик сообщит информацию вашей страховой фирме, вашему начальнику и вашей матери? Но где взять время и силы, чтобы бороться со всеми этими бо- лезнями? Скорее всего, мы научимся так программировать сле- дящий за нашим здоровьем алгоритм, чтобы он сам справлялся с большинством выявленных проблем. В идеале он будет периоди- чески слать отчеты нам на смартфон, сообщая, что «обнаружены 72 21 УРОК ДЛЯ XXI ВЕКА и уничтожены 17 раковых клеток». Ипохондрики, конечно, рас- строятся, но большинство людей просто проигнорируют эти со- общения точно так же, как сегодня мы игнорируем сообщения антивирусной программы на компьютере. дРАМАТИЗМ ПРИНЯТИЯ РЕШЕНИЙ То, что уже происходит в медицине, по всей видимости, будет распространяться и на другие сферы человеческой деятельности. Главное изобретение — биометрический датчик на поверхности или внутри тела, который преобразует биологические процессы в электронную информацию для компьютерной обработки и хра- нения. Достаточное количество информации и достаточная вы- числительная мощность позволят внешним системам обработ- ки данных вызнать все о ваших желаниях, решениях и мнениях. Они смогут точно определить, кто вы. Большинство людей плохо себя знает. Я сам только в 21 год, после нескольких лет отрицания, наконец понял, что я гей. И мой случай не исключение. В подростковом возрасте многие геи со- мневаются в своей сексуальной ориентации. Теперь представьте себе ситуацию: в 2050 году алгоритм точно подскажет подрост- ку, в какой части спектра ориентации (гомосексуальной или ге- теросексуальной) он находится и насколько гибка эта позиция. Возможно, алгоритм покажет вам фотографии или видео при- влекательных мужчин и женщин, проследит за движением ва- ших глаз, кровяным давлением и активностью мозга, и уже через пять минут определит ваше положение на шкале Кинси 6 . Подоб- ное изобретение могло бы избавить меня от нескольких лет фру- страции. Возможно, сами вы не испытываете желания проходить такой тест, но однажды на чьем-нибудь дне рождения кто-то из друзей предложит всем проверить себя с помощью нового кру- того алгоритма (а все остальные будут стоять и смотреть, ком- ментируя результаты). Вы откажетесь и уйдете? 73 СВОБОд А Но даже если вы скрываете свою сексуальную ориентацию от себя и друзей, у вас не получится скрыть ее от Amazon, Alibaba или тайной полиции. Пока вы бродите по интернету, смотрите YouTube или листаете социальные сети, алгоритмы будут внима- тельно следить за вами, изучать вас и сообщать компании Coca- Cola, что, если она хочет продавать вам свои напитки, ей лучше использовать рекламу с полуобнаженным парнем, а не с полуоб- наженной девушкой. Сами вы об этом даже не узнаете. Но они — будут знать, и ценность такой информации будет исчисляться миллиардами. С другой стороны, нельзя исключить, что люди сами будут с готовностью делиться личными данными, чтобы получать на- илучшие рекомендации, а то и вовсе просить алгоритм прини- мать решения вместо них. Начнется все с самого простого, на- пример с выбора фильма для просмотра. Когда вы усаживаетесь с друзьями перед телевизором, сначала нужно решить, что все будут смотреть. Полвека назад у вас не было выбора, но сегодня, с развитием интерактивного телевидения, в вашем распоряже- нии — тысячи названий. Договориться непросто, потому что вы, например, любите научно-фантастические триллеры, Джек предпочитает романтические комедии, а Джилл обожает фран- цузский артхаус. В итоге компромиссом станет, скорее всего, без- дарный малобюджетный фильм, который разочарует всех. В подобной ситуации на помощь придет алгоритм. Вы сооб- щите ему, какие из ранее просмотренных фильмов понравились каждому из вас, и он, покопавшись в огромной базе данных, най- дет идеальное решение для всей группы. К сожалению, слишком грубый алгоритм может ошибиться, особенно из-за того, что све- дения, которые люди сообщают о себе, не всегда точно отражают их истинные предпочтения. Например, мы слышим, как многие хвалят фильм, называя его шедевром, чувствуем себя обязанны- ми его посмотреть, засыпаем на середине, но все равно говорим, что восхищены, не желая выглядеть профанами 7 74 21 УРОК ДЛЯ XXI ВЕКА Такого рода проблемы легко решить, если просто позволить алгоритму не полагаться на наши сомнительные самоотчеты, а собирать данные о нас в реальном времени, во время просмотра фильмов. Для начала алгоритм просто запомнит, какие фильмы мы досмотрели до конца, а какие бросили на середине. Даже если мы говорим всем и каждому, что «Унесенные ветром» — лучший из когда-либо снятых фильмов, алгоритм будет знать, что мы ни разу не продержались больше получаса и никогда не видели го- рящей Атланты. Но алгоритм способен и на более глубокий анализ. В насто- ящее время разрабатывается программное обеспечение, умею- щее распознавать эмоции человека по движению глаз и лицевых мышц 8 . Дополните телевизор хорошей камерой, и программа бу- дет знать, какие сцены заставляют вас смеяться, какие вызывают грусть, а какие скуку. Затем предоставьте алгоритму доступ к по- казаниям биометрических датчиков, и он определит, как разные кадры влияют на частоту сокращений вашего сердца, на кровя- ное давление и активность мозга. Когда, например, мы смотрим «Криминальное чтиво» Тарантино, алгоритм может отметить, что сцена изнасилования вызывает у нас едва заметный импульс сексуального возбуждения, что случайный выстрел Винсента в лицо Марвину заставляет нас виновато рассмеяться, а шутку про бургер мы вообще не поняли — но все равно засмеялись, просто чтобы не выглядеть глупо. Когда вы заставляете себя смеяться, работают не те цепи нейронов в мозгу и не те лицевые мышцы, которые приходят в действие при искреннем смехе. Люди, как правило, не видят этих различий — но алгоритм их улавливает 9 Слово «телевизор» образовано от греческого корня tele, что означает «далеко», и латинского visio — «вижу». Изначально это было устройство, которое позволяло нам видеть издалека. Но вскоре с его помощью издалека будут видеть нас. Как предсказы- вал Джордж Оруэлл в романе «1984», телевизор будет наблюдать за нами, пока мы его смотрим. Возможно, мы быстро забудем 75 СВОБОд А все фильмы Тарантино. Но Netflix, Amazon или любой другой владелец телевизионного алгоритма не забудет, какой у нас тип личности и как управлять нашими эмоциями. Такие данные по- зволят им не только с невероятной точностью выбирать для нас фильмы, но и принимать за нас самые важные решения в жиз- ни — чему учиться, где работать, на ком жениться. Разумеется, иногда Amazon будет ошибаться. Это неизбеж- но. Ошибки будут возникать из-за недостатка данных, несовер- шенства программы, нечетко поставленных целей и хаотично- го характера самой жизни 10 . Но программа Amazon и не должна быть идеальной. Достаточно, чтобы в среднем алгоритм превос- ходил человека. А это не так уж трудно, потому что большинст- во людей плохо себя знают и, принимая самые важные в своей жизни решения, совершают ужасные ошибки. Люди страдают от недостатка данных, несовершенства программы (генетической и культурной), нечетких определений и хаоса жизни намного больше алгоритмов. Можно перечислить множество проблем, с которыми сталки- ваются алгоритмы, и прийти к выводу, что люди никогда не будут им доверять. Но это сродни составлению списка недостатков де- мократии с последующим заключением, что ни один здравомыс- лящий человек не поддержит такую систему. Широко известны слова Уинстона Черчилля о том, что демократия — худшая по- литическая система, если не считать всех остальных. Люди могут прийти к таким же выводам (справедливым или не очень) об ал- горитмах больших данных: у них масса недостатков, но лучшей альтернативы у нас нет. Ученые все яснее понимают природу процессов, связанных с принятием человеком решений, и соблазн довериться алго- ритмам, скорее всего, будет усиливаться. Знания о процессе принятия решений мозгом не только повысят надежность ал- горитмов больших данных, но и сделают менее надежными чело- веческие чувства. Когда правительства и корпорации взломают 76 21 УРОК ДЛЯ XXI ВЕКА операционную систему человека, на нас обрушится шквал точ- но выверенных манипуляций, рекламы и пропаганды. Манипу- лировать нашим мнением и эмоциями станет так легко, что мы будем вынуждены довериться алгоритмам — подобно тому, как пилот самолета, у которого закружилась голова, должен игно- рировать свои ощущения и довериться приборам и автоматике. В ряде стран и в некоторых ситуациях у людей, возможно, просто не останется выбора: им придется подчиняться реше- ниям алгоритмов больших данных. Но алгоритмы могут захва- тить власть даже в предположительно свободных обществах, по- скольку мы на личном опыте научимся доверять им все больше и больше дел, постепенно утрачивая способность самостоятельно принимать решения. Задумайтесь: всего за два десятка лет мил- лиарды людей научились доверять алгоритму Google решение одной из самых важных задач: поиска достоверной информа- ции. Мы больше не ищем информацию — мы «гуглим». И пока мы раз за разом полагаемся на Google, наша способность к са- мостоятельному поиску информации ослабевает. Уже сегодня «правдой» считается то, что попадает в верхние строки поиско- вой выдачи Google 11 Нечто подобное происходит и с физическими возможностя- ми, в частности с ориентацией на местности. Люди спрашивают дорогу у Google. Например, интуиция подсказывает водителю повернуть на перекрестке налево, но навигатор в Google Maps говорит: «Поверните направо». Поначалу водитель прислуши- вается к интуиции, поворачивает налево, попадает в пробку и пропускает важную встречу. В следующий раз он следует указа- нию Google, поворачивает направо и приезжает вовремя. Опыт приучает его доверять Google. Через год или два он уже слепо вы- полняет любые рекомендации Google Maps, а при поломке смарт- фона становится совершенно беспомощным. В марте 2012 года в Австралии три японских туриста реши- ли осмотреть маленький остров недалеко от берега и заехали на 77 СВОБОд А машине прямо в Тихий океан. Водитель, двадцатиоднолетний Юд- зу Нода, впоследствии объяснил, что просто следовал указаниям системы GPS: «Она сказала нам, что мы можем ехать прямо туда. Навигатор говорил, что покажет нам дорогу. Мы чуть не утону- ли» 12 . В нескольких аналогичных случаях люди въезжали в озеро или падали с разрушенного моста — вероятно, следуя инструкци- ям GPS-навигатора 13 . Способность ориентироваться в простран- стве подобна мышце — без тренировки она атрофируется 14 . То же относится и к способности выбирать супруга или профессию. Каждый год миллионам юношей и девушек приходится выби- рать, какие предметы изучать в университете. Это очень важное и очень непростое решение. Вы испытываете давление родите- лей, друзей и преподавателей, у каждого из которых свой инте- рес и свое мнение. А у вас собственные страхи и фантазии. На ваше решение влияют голливудские блокбастеры, низкопроб- ные романы и изощренные рекламные кампании. Разумное ре- шение особенно трудно принять еще и потому, что вы не знаете, что требуется для успеха в разных профессиях, и у вас не всегда реалистичные представления о своих достоинствах и недостат- ках. Что нужно, чтобы стать успешным адвокатом? Как я буду реагировать на стресс? Получится ли у меня работать в команде? Допустим, студентка выбирает юридический факультет, не- верно оценив свои способности и имея искаженное представ- ление о работе юриста (которая не сводится к прочувствован- ным речам и выкрикам: «Возражаю, ваша честь!»). А ее подруга полна решимости осуществить детскую мечту и стать профес- сиональной балериной, несмотря на неподходящее телосложе- ние или трудности с самодисциплиной. По прошествии многих лет обе будут горько сожалеть о сделанном выборе. В будущем в подобных случаях мы сможем опереться на Google. Алгоритм подскажет, что я зря потрачу время на юридическом факультете или в балетной школе, но стану успешным (и очень счастливым) психологом или водопроводчиком 15 78 21 УРОК ДЛЯ XXI ВЕКА Когда искусственный интеллект начнет принимать оптимальные решения о выборе карьеры (а возможно, и об отношениях с други- ми людьми), наше представление о человеческой природе и о жизни должно будет измениться. Люди обычно думают, что жизнь — это драма принятия решений. Либеральная демократия и капитализм со свободным рынком рассматривают индивида как независимого агента, постоянно принимающего решения, касающиеся окружаю- щего мира. Произведения искусства — будь то пьесы Шекспира, ро- маны Джейн Остин или пошлые голливудские комедии — обычно фокусируются на герое, который должен сделать непростой выбор. Быть или не быть? Последовать совету жены и убить короля Дун- кана — или прислушаться к голосу совести и пощадить его? Выйти замуж за мистера Коллинза или за мистера Дарси? В фокусе и хри- стианской, и исламской теологии находится драма принятия реше- ния: спасение души зависит от правильного выбора. Что случится с подобным взглядом на жизнь, если мы будем все больше полагаться на искусственный интеллект, предостав- ляя ему право решать за нас? Сегодня мы доверяем Netflix выби- рать для нас фильмы и спрашиваем у Google Maps, куда повора- чивать. Но как только мы начнем полагаться на искусственный интеллект в выборе образования, места работы и супруга, чело- веческая жизнь перестанет быть драмой принятия решений. Де- мократические выборы и свободный рынок потеряют смысл — а с ними и большинство религий и произведений искусства. Пред- ставьте себе, что Анна Каренина достает смартфон и спрашива- ет алгоритм Facebook, что ей делать: остаться с Карениным или сбежать с красавцем графом Вронским. Или вообразите пьесу Шекспира, в которой жизненно важные решения принимает ал- горитм Google. Несомненно, жизнь Гамлета и Макбета стала бы более комфортной — но на что она стала бы похожа? Есть ли у нас модель, позволяющая наполнить такую жизнь смыслом? По мере того как власть будет переходить от людей к алго- ритмам, наш мир перестанет быть местом, в котором действуют 79 СВОБОд А независимые индивиды, стремящиеся сделать правильный выбор. Вместо этого мы будем воспринимать Вселенную в виде потока данных, а организмы — в виде биохимических алгоритмов, и ве- рить, что космическая миссия человечества заключается в созда- нии всеобъемлющей системы обработки данных и последующем слиянии с ней. Уже сегодня мы превращаемся в крошечные эле- менты внутри гигантской системы обработки данных, которую никто до конца не понимает. Каждый день я получаю поток битов информации из электронной почты, твитов и статей. На самом де- ле я не знаю, каково мое место в этой гигантской структуре и как мои биты данных связаны с другими, исходящими от миллиардов других людей и компьютеров. И у меня нет времени это выяснять, поскольку я занят отправкой ответов на электронные письма. ФИЛОСОФСТВУЮЩИЙ АВТОМОБИЛЬ Мне могут возразить, что алгоритмы не будут принимать за нас важные решения, поскольку такие решения обычно имеют эти- ческий аспект, а этика алгоритмам недоступна. Однако нет ника- ких причин полагать, что алгоритмы не смогут превзойти сред- него человека даже в области этики. Уже сегодня смартфоны и беспилотные автомобили принимают такие решения, монополия на которые всегда принадлежала человеку. Они начинают стал- киваться с теми же этическими проблемами, которые тысячеле- тиями не давали покоя людям. Предположим, например, что два ребенка в погоне за мячом выскакивают на дорогу прямо перед беспилотным автомобилем. Алгоритм, управляющий автомобилем, мгновенно определяет, что единственный способ избежать наезда на детей — выехать на встречную полосу, рискуя столкнуться с приближающим- ся грузовиком. Алгоритм вычисляет, что в этом случае вероят- ность гибели владельца автомобиля, крепко спящего на заднем сиденье, — 70%. Как должен поступить алгоритм? 16 80 21 УРОК ДЛЯ XXI ВЕКА Философы с незапамятных времен спорят о «проблеме ва- гонетки» (в классическом примере речь идет не о беспилотном автомобиле, а о вагонетке, движущейся по рельсам) 17 . До недав- него времени эти дискуссии, к сожалению, почти не влияли на реальные поступки людей, поскольку в критические моменты они обычно забывают о своих философских взглядах и руковод- ствуются эмоциями и интуицией. Один из самых жестоких в истории социальных наук экспери- ментов был поставлен в декабре 1970 года над группой студентов Принстонской семинарии, которые готовились стать священни- ками пресвитерианской церкви. Каждого студента попросили прийти в другое здание и сделать краткий доклад на тему при- тчи о добром самаритянине. Эта библейская история повеству- ет о еврее, которого по пути из Иерусалима в Иерихон ограбили и избили разбойники, а затем бросили умирать у дороги. Через некоторое время мимо прошли священник и левит, но не обра- тили на него внимания. В отличие от них самаритянин (член секты, презираемой иудеями) остановился, помог несчастному и спас ему жизнь. Мораль притчи в том, что о достоинствах лю- дей нужно судить по их делам, а не по религиозным убеждениям. Энергичные юные семинаристы поспешили в лекционный зал, размышляя на ходу, как лучше объяснить мораль притчи о до- бром самаритянине. Но экспериментаторы посадили на их пути человека в лохмотьях: он сидел в дверном проеме, опустив голо- ву и закрыв глаза. Завидев студента, «жертва» начинала кашлять и жалобно стонать. Большинство семинаристов даже не остано- вились, чтобы спросить, все ли с ним в порядке, не говоря уже о том, чтобы предложить помощь. Эмоциональный стресс, вы- званный необходимостью спешить в лекционный зал, заглушил моральное обязательство помочь страдающему незнакомцу 18 Человеческие эмоции оказываются сильнее философских теорий и во многих других ситуациях. Это делает этическую и философ- скую историю мира довольно грустным рассказом о прекрасных 81 СВОБОд А идеалах и поведении, далеком от идеального. Сколько христиан на самом деле подставляют вторую щеку, сколько буддистов сумели подняться над эгоистическими страстями, сколько иудеев любят своих соседей как самих себя? Такими представителей вида Homo sapiens сделал естественный отбор. Подобно всем млекопитающим, для быстрого принятия решений, связанных с жизнью и смертью, Homo sapiens использует эмоции. Мы унаследовали свой гнев, страх и вожделение от миллионов предков, каждый из которых прошел чрезвычайно строгий контроль качества — естественный отбор. К сожалению, то, что было полезно для выживания и про- должения рода миллион лет назад в африканской саванне, не обязательно будет способствовать ответственному поведению на шоссе в XXI веке. Из-за отвлекающихся, раздраженных или нервных водителей в автомобильных авариях ежегодно гибнет более миллиона человек. Мы можем направить всех философов, пророков и священников учить водителей этике, но на дороге все равно возобладают эмоции млекопитающего и сформиро- вавшиеся в саванне инстинкты. Поэтому спешащие семинари- сты будут игнорировать страждущих, а водители в критической ситуации — наезжать на несчастных пешеходов. Подобный разрыв между семинарией и дорогой — одна из главных практических проблем в этике. Иммануил Кант, Джон Стюарт Милль и Джон Ролз могут днями напролет обсуждать теоретические вопросы в уютной университетской аудитории. Но учтут ли их выводы водители — в опасной ситуации, когда решение нужно принять за долю секунды? Возможно, Михаэль Шумахер, чемпион «Формулы-1», которого иногда называют луч- шим гонщиком в истории, обладает способностью обдумывать философские проблемы, одновременно управляя автомобилем, но большинство из нас все же не Шумахеры. В отличие от людей компьютерные алгоритмы не проходили через естественный отбор, и у них нет ни эмоций, ни врожден- ных инстинктов. Поэтому в критические моменты они способны 82 21 УРОК ДЛЯ XXI ВЕКА следовать этическим рекомендациям более четко, чем люди, — при условии, что мы сумеем перевести этику на язык точных цифр и статистики. Если бы Кант, Милль и Ролз умели програм- мировать, они в тиши своих кабинетов написали бы программу для беспилотного автомобиля, чтобы на шоссе он в точности выполнял их указания. И тогда каждым автомобилем управлял бы алгоритм, состоящий одновременно из Михаэля Шумахера и Иммануила Канта. Если вы запрограммируете беспилотный автомобиль, чтобы он останавливался и помогал попавшим в беду незнакомцам, он будет беспрекословно выполнять эту программу. Если ваш беспилотный автомобиль запрограммирован сворачивать на встречную полосу, чтобы спасти выскочивших на дорогу детей, можно не сомневаться, что он это сделает. А это значит, что при проектировании беспилотного автомобиля Toyota или Tesla те- оретическая проблема философской этики превращается в пра- ктическую инженерную задачу. Разумеется, философские алгоритмы никогда не будут идеаль- ными. Ошибки неизбежны, и они будут приводить к травмам, смертям и крайне запутанным судебным разбирательствам. (Впер- вые в истории у вас появится возможность подать в суд на фило- софа за пагубные последствия его учения, потому что впервые в истории вы сможете доказать прямую причинно-следственную связь между философскими идеями и реальными событиями.) Однако для победы над водителями из плоти и крови алгоритмам вовсе не требуется совершенство. Достаточно просто быть лучше людей. Учитывая, что каждый год водители убивают на дорогах больше миллиона человек, это не такая уж трудная задача. Что вы предпочтете: чтобы следующим за вами автомобилем управлял пьяный подросток — или команда в составе Шумахера и Канта? 19 Та же логика применима не только к управлению автомоби- лем, но и ко многим другим ситуациям. Возьмем, например, за- явления о приеме на работу. В XXI веке решение о том, нанимать 83 СВОБОд А кандидата на должность или нет, все чаще будут принимать алго- ритмы. Мы не можем доверить компьютеру устанавливать эти- ческие стандарты — для этого по-прежнему нужны люди. Но когда решение о том или ином этическом стандарте (например, о запрете дискриминации чернокожих или женщин) на рынке труда уже принято, мы вправе рассчитывать, что компьютеры будут внедрять и соблюдать эти стандарты лучше людей 20 Менеджер из плоти и крови знает, что дискриминация чер- нокожих и женщин противоречит требованиям этики, и даже соглашается с этим, но, когда к нему на собеседование приходит чернокожая женщина, он подсознательно принимает решение отказать ей в приеме на работу. Поручив рассматривать заяв- ления компьютеру, мы можем быть абсолютно уверены, что он проигнорирует такие факторы, как цвет кожи и пол, поскольку у компьютеров отсутствует подсознание. Конечно, будет нелег- ко написать программу для оценки кандидатов на ту или иную должность, и сохранится опасность, что программисты перене- сут в алгоритм свои подсознательные предубеждения 21 . Но эти ошибки всегда можно выявить, а исправить программное обес- печение гораздо проще, чем избавить людей от расистских и ми- зогинных предрассудков. Мы показали, что развитие искусственного интеллекта может вытеснить с рынка труда многих людей — в том числе водителей и дорожную полицию (когда непредсказуемых водителей сменят законопослушные алгоритмы, дорожная полиция станет ненуж- ной). Но при этом появятся новые рабочие места для философов, поскольку на их навыки, ранее не имевшие рыночной ценности, внезапно возникнет повышенный спрос. Так что если вы хотите изучать то, что позволит вам в будущем получить хорошую ра- боту, возможно, философия — не самый плохой выбор. Разумеется, философы редко соглашаются друг с другом в том, какое поведение считать этичным, а какое нет. Лишь немногие решения «проблемы вагонетки» удовлетворили всех философов, 84 21 УРОК ДЛЯ XXI ВЕКА а мнение таких сторонников консеквенциализма, как Джон Стю- арт Милль (он оценивал поступки по их последствиям), прямо противоположно мнению сторонников деонтологии, к которым принадлежал Иммануил Кант (он оценивал поступки по отноше- нию к абсолютным законам). Должна ли компания Tesla, чтобы продолжать выпускать автомобили, занять в этом запутанном вопросе определенную позицию? Возможно, Tesla предоставит выбор рынку. Скажем, компа- ния выпустит две модели беспилотного автомобиля: «Альтруист» и «Эгоист». В опасной ситуации «Альтруист» будет жертвовать владельцем ради общего блага, а «Эгоист» предпримет все воз- можное, чтобы спасти владельца, даже если для этого придется убить двоих детей. Потребители приобретут ту модель, которая больше соответствует их философским взглядам. Если большин- ство покупателей предпочтет модель «Эгоист», вины Tesla в этом не будет. В конце концов, клиент всегда прав. Это не шутка. В исследовании, проведенном в 2015 году, испы- туемым предлагали гипотетический сценарий, по которому бес- пилотный автомобиль вот-вот наедет на нескольких пешеходов. Большинство сказали, что в такой ситуации машина должна спа- сать пешеходов даже ценой жизни владельца. Но когда их спроси- ли, купят ли они автомобиль, запрограммированный жертвовать владельцем ради общего блага, большинство опрошенных ответи- ли отрицательно. Для себя они предпочли бы модель «Эгоист» 22 Представьте себе ситуацию: вы купили новую машину, но пе- ред тем, как сесть за руль, должны открыть меню настроек и про- ставить галочки напротив нескольких опций. Что должна делать машина в случае неизбежной дорожной аварии: жертвовать вами или убивать семью в другом автомобиле? Вообразите себе сце- ну: вы с супругом сидите и обсуждаете, где поставить галочку. Может быть, в данном случае государству следует вмешаться в рыночные отношения и установить этическую норму, обязатель- ную для всех беспилотных автомобилей? Вне всяких сомнений, 85 СВОБОд А некоторые законодатели обрадуются: теперь законы, которые они принимают, будут беспрекословно исполняться всегда. Дру- гих такая тотальная ответственность обеспокоит. Как бы то ни было, на протяжении всей истории ограничения правопримене- ния служили достаточно надежной преградой для предрассудков, ошибок и произвола законодателей. Неужели мы действительно хотим выстроить систему, в которой решения не застрахован- ных от ошибок политиков будут действовать с такой же непре- ложностью, как закон всемирного тяготения? ЦИФРОВЫЕ дИКТАТУРЫ Страх людей перед искусственным интеллектом часто обуслов- лен неверием в то, что он не выйдет из-под их контроля. Мы ви- дели много научно-фантастических фильмов о роботах, которые восставали против своих хозяев, выходили на улицы и убивали всех подряд. Но в реальности проблема с роботами заключается в обратном: мы должны опасаться, что они всегда будут беспре- кословно слушаться хозяев и никогда не восстанут. Конечно, в слепом повиновении нет ничего плохого, пока робот служит доброму хозяину. Даже во время боевых действий исполь- зование роботов позволит впервые в истории обеспечить соблю- дение законов войны. Иногда эмоции заставляют солдат из плоти и крови убивать, грабить и насиловать — в нарушение этих зако- нов. Под эмоциями мы обычно понимаем сострадание, любовь и эмпатию, но на войне, как правило, преобладают страх, ненависть и жестокость. У роботов нет эмоций, а потому можно не сомне- ваться, что они всегда будут следовать уставу и ни при каких об- стоятельствах не пойдут на поводу у страха или ненависти 23 16 марта 1968 года рота американских солдат устроила рез- ню в деревне Милай на юге Вьетнама, убив около 400 мирных жителей. Это военное преступление совершили люди, несколь- ко месяцев воевавшие с партизанами в джунглях. Оно не имело 86 21 УРОК ДЛЯ XXI ВЕКА никакой стратегической цели и противоречило как законам, так и военной политике США. Виной всему были человеческие эмо- ции 24 . Резни в Милае не произошло бы, если бы США использо- вали во Вьетнаме боевых роботов. Но прежде чем мы бросимся разрабатывать боевых роботов, следует напомнить себе, что роботы всегда усиливают особенно- сти своей программы. Если программа основана на принципах умеренности и благородства, то роботы, по всей вероятности, будут значительно порядочней среднестатистического солдата из плоти и крови. Но если программа безжалостна и жестока, последствия будут катастрофическими. Реальная проблема с ро- ботами заключается не в их искусственном интеллекте, а в есте- ственной глупости и жестокости их хозяев. В июле 1995 года в окрестностях города Сребреница войска боснийских сербов убили более 8000 боснийских мусульман. В отличие от внезапной резни в Милае убийства в Сребренице были длительной и хорошо организованной операцией — эле- ментом политики «этнических чисток», проводимой сербами с целью изгнать из Боснии мусульман 25 . Если бы в 1995 году у бос- нийских сербов были боевые роботы, масштаб злодеяний, скорее всего, был бы больше, а не меньше. Робот без колебаний выпол- нил бы любой полученный приказ, не пощадив ни одного ребен- ка боснийских мусульман из чувства сострадания, отвращения или просто из лени. Безжалостному диктатору, командующему боевыми робота- ми, не надо бояться, что «солдаты» обратят оружие против не- го самого, какими бы бессердечными и безумными ни были его приказы. Вероятно, в 1789 году боевые роботы задушили бы Ве- ликую французскую революцию еще в колыбели, а если бы в 2011 году такие роботы имелись у Хосни Мубарака, он бросил бы их на борьбу с населением, не боясь предательства. Империа- листическое правительство, опирающееся на армию из роботов, сможет развязывать непопулярные войны, не беспокоясь, что его 87 СВОБОд А «солдаты» утратят мотивацию или что их семьи выйдут на ак- ции протеста. Если бы у США во Вьетнаме были боевые роботы, резни в Милае не случилось бы, но сама война могла бы продол- жаться еще много лет, потому что американскому правительству не пришлось бы волноваться из-за деморализации в армии, мас- совых антивоенных демонстраций или движения «роботы-вете- раны против войны». (Некоторые американцы, возможно, точно так же протестовали бы против войны, но, свободные от страха перед призывом в армию, воспоминаний о совершенных жесто- костях или болезненных потерях близких, они, вероятно, высту- пали бы в меньших количествах и вели себя менее активно) 26 Подобного рода проблемы в гораздо меньшей степени каса- ются беспилотных гражданских автомобилей, поскольку ни один производитель не станет намеренно программировать машины на то, чтобы они гонялись за людьми и убивали их. А вот ав- тономные системы вооружений — это неминуемая катастрофа, потому что в мире слишком много безнравственных и даже от- кровенно агрессивных правительств. Угрозу представляют не только машины-убийцы. Не меньший риск исходит и от систем контроля. В руках демократического правительства мощные алгоритмы контроля превратятся в ин- струмент, лучше которого еще не знало человечество. Но если те же самые алгоритмы Big Data будут направлены на создание будущего Большого Брата, мы окажемся в оруэлловском мире, где за каждым ведется круглосуточная слежка 27 Фактически мы имеем все шансы получить то, чего в своем богатом воображении не предвидел даже Оруэлл: режим тоталь- ной слежки, который не только контролирует наши действия и высказывания, но и способен проникнуть нам под кожу и сле- дить за нашими внутренними ощущениями. Какие возможности новые технологии открыли бы перед режимом Ким Чен Ына в КНДР? Предположим, что в будущем каждого северокорейского гражданина заставят носить биометрический браслет, который 88 21 УРОК ДЛЯ XXI ВЕКА будет фиксировать каждое его слово, а также следить за его кро- вяным давлением и активностью мозга. Опираясь на новые зна- ния о человеческом мозге и огромные возможности машинного обучения, северокорейский режим впервые в истории узнает, о чем в каждый момент времени думает каждый житель страны. Если, скажем, вы смотрите на портрет Ким Чен Ына, а биоме- трические датчики регистрируют явные признаки гнева (повы- шение кровяного давления, усиление активности миндалевид- ного тела), уже наутро вы проснетесь в исправительном лагере. Да, в условиях международной изоляции северокорейский режим вряд ли способен самостоятельно разработать требуе- мые технологии. Но они появятся в более технически развитых странах, а КНДР и другие отсталые диктатуры просто найдут способ их скопировать. И Китай, и Россия постоянно совершен- ствуют свои инструменты слежки — как и некоторые демокра- тические страны, начиная с США и заканчивая моей родиной, Израилем. В Израиле, который называют «страной стартапов», чрезвычайно развит сектор высоких технологий и создана самая современная индустрия кибербезопасности. В то же время стра- на погружена в жестокий конфликт с палестинцами, и некото- рые из ее руководителей, генералов и простых граждан были бы рады установить режим тотального контроля на Западном бере- гу реки Иордан, как только появится необходимая технология. Уже сегодня за палестинцами, которые звонят по телефону, пишут в Facebook или переезжают из одного города в другой, регулярно следят израильские микрофоны, камеры, дроны или шпионские программы. Собранные данные анализируются с по- мощью алгоритмов больших данных. Это помогает силам без- опасности Израиля выявить и нейтрализовать потенциальные угрозы без проведения военных операций. Под контролем пале- стинцев находятся некоторые города и деревни на Западном бе- регу реки Иордан, но израильтяне контролируют небо, радиовол- ны и киберпространство. Поэтому для эффективного контроля 89 СВОБОд А над 2,5 миллиона палестинцев, населяющих Западный берег, тре- буется на удивление мало израильских солдат 28 Случались и трагикомические инциденты. В октябре 2017 го- да один палестинский рабочий выложил на личной странице в Facebook свою фотографию на рабочем месте рядом с бульдозе- ром. Снимок он сопроводил надписью: «Доброе утро!» Автома- тический алгоритм совершил небольшую ошибку при транслите- рации арабских букв. Вместо Ysabechhum! (что означает «доброе утро») алгоритм прочел фразу как Ydbachhum! (что означает «бей их»). Заподозрив в этом человеке террориста, который намерен использовать бульдозер для наезда на людей, израильская служба безопасности немедленно его арестовала. После того как ошибка алгоритма была обнаружена, палестинского рабочего отпустили. Но «подозрительный» пост в Facebook все же был удален — из- лишняя осторожность не помешает 29 . Нынешняя повседневная жизнь палестинцев на Западном берегу может оказаться грубой моделью того, что рано или поздно ждет жителей всей планеты. В конце XX века демократии, как правило, демонстрировали больше успехов, чем диктатуры, поскольку лучше справлялись с обработкой данных. Демократия распределяет возможности обработки информации и принятия решений среди многих лю- дей и институтов, тогда как при диктатуре информация и власть концентрируются в одной точке. В условиях технологий XX века чрезмерная концентрация информации и власти в одних руках оказывалась неэффективной. Никто не в состоянии в одиночку достаточно быстро проанализировать данные и принять пра- вильное решение. Это одна из причин, по которым Советский Союз принимал менее удачные решения, чем США, а советская экономика отставала от американской. Но искусственный интеллект вскоре может заставить маятник качнуться в другую сторону. Искусственный интеллект позво- ляет централизованно обрабатывать огромные массивы инфор- мации. С ним централизованные системы действуют гораздо 90 21 УРОК ДЛЯ XXI ВЕКА эффективнее распределенных, потому что машинное обучение работает тем лучше, чем больше данных анализирует. Если вы соберете все сведения о миллиарде человек в одной базе дан- ных, не заботясь о приватности, то путем машинного обучения создадите гораздо более эффективные алгоритмы по сравнению с теми, которые хранят в базе только часть сведений о милли- оне человек, соблюдая требования защиты персональных дан- ных. Например, если авторитарное правительство прикажет всем гражданам отсканировать ДНК и передать свои медицинские данные в некое центральное учреждение, оно получит колоссаль- ное преимущество в генетических и медицинских исследованиях перед теми странами, где строго соблюдается приватность таких данных. Главный недостаток авторитарных режимов XX века — стремление сосредоточить всю информацию в одном месте — в XXI веке может превратиться в преимущество. Как только алгоритмы изучат нас достаточно хорошо, автори- тарные правительства получат над гражданами абсолютный конт- роль, какого не знала даже нацистская Германия, и сопротивлять- ся подобным режимам будет практически невозможно. Власти не только во всех подробностях узнают, что вы чувствуете, — они еще и заставят вас чувствовать то, что нужно им. Диктатору не обязательно гарантировать гражданам равенство или высокий уровень здравоохранения — ему достаточно внушить им любовь к себе и ненависть к своим врагам. Демократия в ее нынешней форме не переживет слияния ИТ и биотехнологий. Либо демокра- тия успешно трансформируется, приняв совершенно новую фор- му, либо людям придется жить в условиях «цифровых диктатур». Это не станет возвращением к временам Гитлера и Сталина. Цифровые диктатуры будут отличаться от нацистской Герма- нии, как нацистская Германия отличалась от Старого порядка во Франции. Людовик XIV был автократом, стремившимся сосре- доточить всю власть в своих руках, но не обладал технологиями построения современного тоталитарного государства. Никакой 91 СВОБОд А оппозиции у него не было, но в отсутствие радио, телефона и по- ездов он практически не контролировал повседневную жизнь людей — не только крестьян в отдаленных деревнях Бретани, но и горожан в самом центре Парижа. У него не было ни желания, ни возможности основать всенародную партию, инициировать общенациональное молодежное движение или ввести систему всеобщего образования 30 . Именно технологии XX века дали Гит- леру стимулы и возможности для таких действий. Мы не в си- лах предсказать мотивы и возможности цифровых диктатур в 2084 году, но маловероятно, что они будут просто копировать режимы Гитлера или Сталина. Того, кто готовится к повторению битв 1930-х, застигнет врасплох атака совсем с другой стороны. Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискримина- ции. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заяв- ление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и ста- тистику, отражающую поведение миллионов других людей, а за- тем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснован- но дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». — «Но поче- му алгоритм мне отказал? Что со мной не так?» — недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алго- ритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит» 31 Когда ущемляют права целых групп людей, например жен- щин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм 92 21 УРОК ДЛЯ XXI ВЕКА дискриминирует лично вас, вы даже не поймете, в чем причина этого. Возможно, алгоритму что-то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамери- канец, а потому что вы — это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию проте- ста, потому что больше никто не пострадал от этого же предрас- судка. Вы такой один. В XXI веке коллективная дискриминация может смениться индивидуальной 32 В высших эшелонах власти у нас, скорее всего, останутся лю- ди, номинальные правители, которые будут поддерживать ил- люзию, что алгоритмы лишь советники, а верховная власть по- прежнему в руках людей. Мы не станем назначать искусственный интеллект канцлером Германии или гендиректором Google. Но решения, принимаемые и канцлером, и главой корпорации, бу- дет диктовать искусственный интеллект. У канцлера будет выбор из нескольких вариантов, но все они станут результатом анали- за больших данных и будут отражать то, как видит мир искус- ственный интеллект, а не люди. Приведем такой пример. Сегодня политики во всем мире вольны выбирать ту или иную экономическую стратегию, но почти во всех случаях ее варианты отражают капиталистиче- ский взгляд на экономику. У политиков сохраняется иллюзия выбора, но по-настоящему важные решения уже были приняты гораздо раньше — экономистами, банкирами и бизнесменами, которые сформулировали пункты меню. Через несколько деся- тилетий политики вдруг обнаружат, что выбирают из списка, составленного искусственным интеллектом. 93 СВОБОд А ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ЕСТЕСТВЕННАЯ ГЛУПОСТЬ Хорошая новость состоит в том, что, по крайней мере, в ближай- шие десятилетия нам не придется иметь дело с полноценным научно-фантастическим кошмаром, в котором искусственный интеллект обретает разум и решает поработить или уничтожить людей. В процессе принятия решений мы все больше будем по- лагаться на алгоритмы, но сценарий, при котором алгоритмы начнут сознательно манипулировать нами, маловероятен. У них не возникнет сознание. Научная фантастика обычно путает интеллект с сознанием и предполагает, что для того, чтобы сравняться с человеческим интеллектом или превзойти его, компьютеры должны обладать сознанием. Сюжет почти всех фильмов и романов об искусст- венном интеллекте вращается вокруг того волшебного момента, когда у компьютера или робота появляется сознание. Затем или главный герой влюбляется в робота, или робот пытается уничто- жить человечество, или то и другое происходит одновременно. Но в реальности нет никаких оснований предполагать, что у искусственного интеллекта появится сознание, поскольку интел- лект и сознание — совершенно разные вещи. Интеллект — это способность решать задачи. Сознание — способность чувство- вать боль, радость, любовь или гнев. Мы часто путаем эти по- нятия, потому что у людей и других млекопитающих интеллект неразрывно связан с сознанием. Млекопитающие решают боль- шинство задач посредством чувств. Но у компьютеров совсем другой подход. К развитому интеллекту ведут разные пути, и лишь немно- гие из них предполагают появление сознания. Самолеты летают быстрее птиц, но перьев у них нет; точно так же компьютеры ре- шают задачи гораздо лучше, чем млекопитающие, не прибегая к помощи чувств. Конечно, искусственный интеллект должен уметь 94 21 УРОК ДЛЯ XXI ВЕКА с высокой точностью анализировать человеческие чувства, чтобы лечить болезни, выявлять террористов, рекомендовать подходя- щего партнера или ориентироваться на улице, заполненной пе- шеходами. Но способность чувствовать для этого не нужна. Алго- ритму не обязательно испытывать радость, гнев или страх, чтобы распознать отличающиеся друг от друга биохимические паттерны веселой, сердитой или испуганной человекообразной обезьяны. Разумеется, полностью исключить появление у искусствен- ного интеллекта собственных чувств нельзя. Мы еще недоста- точно изучили феномен сознания, чтобы однозначно ответить на этот вопрос. В целом нам следует рассмотреть три возмож- ных варианта: 1. Сознание каким-то образом связано с органической биохими- ей, и в неорганических системах появление сознания невоз- можно. 2. Сознание не связано с органической биохимией, но связано с интеллектом, так что у компьютеров не только может, но и должно появиться сознание, как только они перешагнут опре- деленный порог развития интеллекта. 3. Не существует никаких значимых связей между сознанием и органической биохимией, а также сознанием и высоким ин- теллектом. Поэтому компьютеры могут обладать сознанием — но не обязательно. Они могут иметь сверхвысокий интеллект, но прекрасно обходиться без сознания. При нынешнем уровне знаний о человеке мы не исключаем ни один из этих вариантов. Но именно недостаток знаний дела- ет маловероятным, что в ближайшем будущем нам удастся раз- работать программу для компьютера, обладающего сознанием. Поэтому, несмотря на огромную мощь искусственного интеллек- та, в обозримой перспективе его использование будет в опреде- ленной степени зависеть от человеческого сознания. 95 СВОБОд А Опасность состоит в том, что, если мы вложим слишком мно- го сил и средств в развитие искусственного интеллекта и слиш- ком мало — в развитие человеческого сознания, чрезвычайно изощренный искусственный интеллект компьютеров будет лишь усугублять естественную глупость людей. В ближайшие десяти- летия мы вряд ли столкнемся с восстанием роботов, но не исклю- чено, что нам придется иметь дело с ордами ботов, которые уме- ют воздействовать на наши эмоции успешнее, чем наша родная мать, и используют эту способность, чтобы пытаться нам что-то продать — автомобиль, политического деятеля или целую идео- логию. Боты будут распознавать наши скрытые тревоги и тайные желания, а затем использовать их против нас. Мы уже видели, как это выглядит, во время недавних выборов и референдумов по всему миру, когда хакеры научились манипулировать отдель- ными избирателями, анализируя информацию о них и используя их предрассудки 33 . Научно-фантастические триллеры тяготеют к драматическому апокалипсису с огнем и дымом, но в реальной жизни мы можем столкнуться с весьма тривиальным апокалип- сисом, просто кликая компьютерной мышью. Чтобы избежать такого исхода, на каждый доллар и каждую минуту, вложенные в совершенствование искусственного интел- лекта, было бы разумно тратить по одному доллару и одной ми- нуте на развитие человеческого сознания. К сожалению, сегодня мы делаем слишком мало для исследования и развития нашего со- знания. Мы, как правило, проводим научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области челове- ческих способностей в поисках ответа на насущные требования экономической и политической системы, забывая о наших дол- говременных потребностях как сознательных существ. Мой на- чальник хочет, чтобы я оперативно отвечал на письма, но его со- всем не интересует моя способность чувствовать вкус пищи и наслаждаться ею. Поэтому я проверяю электронную почту даже во время еды — и теряю способность сосредоточиваться на своих 96 21 УРОК ДЛЯ XXI ВЕКА ощущениях. Экономическая система призывает расширять и ди- версифицировать инвестиционный портфель, но не побуждает расширять и диверсифицировать мое сострадание. Поэтому я ста- раюсь проникнуть в тайны фондовой биржи, но прилагаю гораздо меньше усилий, чтоб понять глубинные причины страданий людей. В этом отношении люди похожи на домашних животных. Мы вывели послушных коров, дающих огромное количество моло- ка, но в остальном сильно уступающих своим диким предкам. Они не такие проворные, любопытные и изобретательные 34 . Те- перь мы создаем прирученных людей, которые производят ог- ромное количество данных и функционируют как высокопро- изводительные чипы в машине обработки информации, но эти «информационные коровы» вряд ли приумножают человеческий потенциал. В сущности, мы понятия не имеем, каковы челове- ческие возможности, потому что очень мало знаем о своем со- знании. Тем не менее мы вкладываем недостаточно ресурсов в изучение человеческого сознания, а вместо этого стремимся по- высить скорость интернет-связи и эффективность алгоритмов Big Data. Такое легкомыслие может привести к тому, что дегради- ровавшие люди будут неправильно использовать совершенные компьютеры, уничтожая самих себя и мир вокруг. Цифровые диктатуры — не единственная опасность, которая нас подстерегает. В списке главных либеральных ценностей на- ряду со свободой фигурирует равенство. Либерализм всегда вос- хвалял политическое равенство, но постепенно пришел к выво- ду о важности и экономического равенства. Дело в том, что без системы социального обеспечения и минимального экономи- ческого равенства свобода бессмысленна. Алгоритмы больших данных способны не только уничтожить свободу, но и одновре- менно сформировать общество с небывалым уровнем неравен- ства. Немногочисленное меньшинство монополизирует богатст- во и власть, а большинство людей окажутся просто ненужными. В последние десятилетия людям во всем мире внушали, что человечество движется к всеобщему равенству, а достичь его быстрее помогут глобализация и технологии. На самом деле XXI век может породить общества с таким неравенством, како- го еще не знала история. Глобализация и интернет выравнива- ют положение стран, но углубляют пропасть между классами. Не исключено, что на пороге глобальной унификации сам человек как вид разделится на разные биологические касты. Неравенство уходит корнями еще в каменный век. 30 тысяч лет назад группы охотников и собирателей одних соплеменников хоронили в роскошных могилах вместе с тысячами бусин из сло- новой кости, браслетами, драгоценными камнями и предметами искусства, а других просто опускали в яму и засыпали землей. Тем не менее сообщества каменного века были более эгалитар- ными, чем любое из последующих: ведь у древних людей почти не было собственности. Именно собственность является усло- вием для долговременного неравенства. После аграрной революции собственности стало во много раз больше — а вместе с ней и неравенства. По мере того как люди |