ии и исключительное самомнение homo sapiens

На русском языке вышел перевод алармистской книги Джеймса Баррата об искусственном интеллекте — «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo Sapiens». В ней в довольно сжатом виде сформулированы все страхи относительно грядущего наступления ИИ, это своего рода типичный современный миф. Алармистские тексты полезны — их хорошо читают и обсуждают, и они позволяют выполнять функции критики.

Но в случае с Барратом, как и в случае многих других авторов, сказывается его слабая философская подготовка. Он хорошо справляется со своей задачей — пугать читателей с позиций здравого смысла. Беда только в том, что этот здравый смысл не учитывает новейших знаний человечества о природе собственного сознания.

Баррат делает две фундаментальные ошибки. Во-первых, это ложная антропоморфизация. Во-вторых, это миф картезианской очевидности.
Первая состоит в том, что далеко не каждый разум должен быть похож на человеческий. В том фундаментальном отношении, что человек — это примат, эволюцинировавший как стадный охотник, и чей интеллект рассчитан на решение сложных макиавеллевских головоломок и интриг. Мы думаем в терминах хищник-жертва, мы заботимся о сохранении своего влияния, но это никак не связано со свойствами интеллекта как такового. Если компьютер обыграл нас в шахматы, то совсем не потому, что он хотел за счет нас самоутвердиться. Разум, очищенный от эволюционной истории приматов, совершенно не обязательно включает в себя стремление к экспансии. Точнее нет никаких причин считать, что ИИ должен быть Макиавелли — это human trait.

Баррат в одном месте сам замечает, что антропоморфизм ИИ не следует преувеличивать, что войны с машинами не будет, и что правильнее относится к «бунту ИИ» как к риску стихийного бедствия. Дальше он замечает, что у машины нет морали, и в этом ее опасность. И в обоих случаях это полуправда. Стихийные бедствия существуют, но силы природы также дают нам возможности, и было бы совершенно бессмысленно говорить, что природа должна быть запрещена. У машин нет морали, но у них нет и амбиций, или желания убить всех людей.

Когда Баррат сравнивает на соседней странице людей и компьютеры с мышами и кошками, он демонстрирует, что не понимает, насколько глубоко лежит его желание антропоморфизировать, и пояснять мир в рамках знакомых моделей, взятых из наивно прочитанной биологии, и не учитывающих реальные данные эволюционной психологии и этологии. Еще раз: ИИ не будет похож на нас, потому что он не возникнет в результате эволюции приматов-хищников, живущих в группе. Аргумент о том, что ИИ делается человеком, и потому должен стать похожим на человеком, предполагает, что на человека похожи также вилка или сапог.

Вторая ошибка Баррата — он предполагает, что необходимым условием интеллекта является самосознание, локализация в некотором пространстве-времени, и кроме того прямой и непосредственный доступ к собственным идеям. Короче, он строит разум по модели Декарта, где все идеи являются ясными и отчетливыми, разум заперт в res extensa, и мы прекрасно отдаем себе отчет в том, что именно мы мыслим.

С точки зрения современной нейрофизиологии и философии это ложь от начала до конца. Интеллект вовсе не обязательно должен представлять из себя вещь, запертую в некотором пространстве — свидетельство тому являются многочисленные проекты распределенных вычислений. Интеллект совершенно не обязательно должен иметь самосознание, тем более понятое как человеческое (см. выше), — он может быть чисто функциональным. И наконец, принципиальный момент этого картезианства предполагает, что если уж ИИ возникнет, то мы непременно этот момент зафиксируем, со всей ясностью и отчетливостью, и начнем по этому поводу переживать. А ИИ, соответственно, начнет на своем еще более высоком уровне осознавать наше присутствие и тоже нервничать.

Хотя на самом деле, когда ИИ придет, мы этого просто не заметим — он будет существовать совершенно вне контекста нашего понимания, и у него не будет ни единой причины сообщать нам о том, что он есть. ИИ будет, а для человека ничего не изменится — мы будем пользоваться компьютерами, как пользуемся и теперь, только интенсивнее и с большей отдачей. Социальные проблемы при развитии автоматизации очевидны, поскольку мы будем терять самые высокооплачиваемые места, но вот концептуально нет никаких причин считать, что человек и ИИ вообще друг друга заметят.

Верить в обратное — значит вслед за Декартом считать, что человек является носителем исключительно важного, универсального разума, что он крайне внимателен и одновременно интересен для мира.

Из забавного — Баррат цитирует Елиезера Юдковски, который прославился в основном весьма специфическим фанфиком по «Гарри Поттера». Компьютер не испытывает к вам ни любви, ни ненависти, — говорит Юдковски, — но вы состоите из атомов, которые он может использовать в своих целях. То есть из всех атомов во вселенной ИИ потребуются именно ваши уникальные атомы, — на фоне таких гипотез даже «Терминатор-3» выглядит как образец научного мышления.