Прежде чем машина превзойдет человека

intellekt-4

За последние годы размышления и споры по поводу искусственного интеллекта стремительно набирают обороты. Частично причиной этому служит поднимаемая СМИ шумиха из-за того, что в некоторых узких областях компьютерные программы демонстрируют равные или превосходящие способности по сравнению с человеческими. Например, в 2013 году программа по имени DeepMind научилась играть в компьютерные игры на консоли Atari лучше, чем люди. В 2016 году искусственный интеллект (далее ИИ) победил на чемпионате (среди людей) по одной из самых сложных стратегических игр Go. Также можно вспомнить победу ИИ над Гарри Каспаровым в 1996 году.

Все эти достижения вызвали вопросы насчет вероятности того, что в будущем ИИ может стать опасным для человечества. Ведь если мы продолжим в том же темпе, то может случиться и так, что мы создадим ИИ, который превосходит человеческие способности не только в настольных играх, но и в большинстве или даже во всех областях деятельности. Так как человечество подчинило себе другие виды и окружающую среду во многом благодаря своему уму, то по той же причине разработка неконтролируемого ИИ может оказаться наибольшим из известных рисков для существования человеческого вида.

Какие этические принципы нужно учитывать при создании ИИ, чтобы в будущем люди и машины жили в мире? Простого ответа здесь нет. И многие эксперты настроены в данном вопросе скорее пессимистично. В последние годы одним из самых активных людей, говорящих о связанных с ИИ рисках, является сооснователь Skype Яан Таллинн. Помимо прочего, он помог открыть Центр по исследованию экзистенциальных рисков при Кембриджском университете и наряду с главой Tesla, основателем Open AI и визионером Илоном Маском и руководителем Deep-Mind Демиcем Хассабисем участвовал в дискуссии на эту тему на конференции Beneficial AI 2017. (DeepMind занимается разработкой ИИ, и именно их программа покорила упомянутые выше игры Atari и Go).


Для лучшего понимания интервью с Яаном Таллинном полезно знать следующие термины:
— искусственный интеллект — компьютерная программа, способная выполнять задания, с которыми, как правило, справлялся лишь человеческий ум;
— при создании ИИ на основе нейронных сетей используется подход, вдохновленный принципами работы человеческих нейронов. Нейросеть учится решать задания на основании тренировочных данных, то есть не будучи запрограммированной в определенных условиях реагировать определенным образом, как это происходит в классических компьютерных программах;
— технология глубокого обучения, состоящая из нейросетей с несколькими слоями нейронов, является на данный момент самым популярным подходом при создании ИИ. Наподобие человеческого мозга глубокое обучение на удивление хорошо работает при решении нестандартных проблем, при условии, что у компьютера достаточно данных, на основании которых он может научиться выполнять свое задание;
— этика ИИ — это область науки, которая исследует, как запрограммировать в более умный, чем мы, интеллект работающие, выгодные и перманентные этические принципы.


Какие предпосылки есть для тех катастрофических выводов, из-за которых ты так переживаешь?

Мы живем в физическом мире и состоим из атомов. Эволюция — это не какой-то магический процесс, который люди или машины не смогли бы скопировать. Математически можно доказать, что чем дольше длится эволюция, тем с более сложными задачами она может справиться. Чтобы возникла жизнь, понадобилось 4 миллиарда лет, а с того момента до сегодняшнего дня прошел всего один миллиард лет. Развитие от предков человека до нашего вида заняло 200 000 лет. На основании этих отрезков времени можно оценить, например, насколько сложно создать человека.

В то же время человек — более мощная оптимизирующая система, чем эволюция. Мы изготовили вещи, до которых эволюция так и не дошла: например, огнестрельное оружие и радио. Эти технологии могли бы стать полезными для многих организмов, но естественное развитие не смогло их разработать.

Возможно ли вообще предпринять заранее хоть что-то имеющее значение, чтобы при возникновении сравнимого с человеком ИИ тут же не случился конец света? Если посмотреть на то, что происходит вокруг глобального потепления, то дискуссии ведутся очень оживленные, но попытки реально что-то решить оставляют желать лучшего.

Есть пример, когда человечество справилось с глобальной опасностью, — это истончение озонового слоя. В случае с ИИ риски более существенные, так как эта проблема намного сложнее всех других проблем вместе взятых. В то же время решить ее проще в том смысле, что не нужно переубеждать весь мир: количество людей, которых нужно убедить в проблеме глобального потепления намного больше, чем в случае с ИИ. Здесь важно привлечь на свою сторону только тех, кто создает ИИ.

Но нормально ли, что об этике и риске думает и возможные решения предлагает такая маленькая группа людей? Должна ли общественность вообще в это вмешиваться и вносить свой вклад?

Сложно сказать, потому как нам неизвестна одна важная переменная — сколько времени осталось для предотвращения злого ИИ. Если у нас мало времени — некоторые считают, что меньше, чем 10 лет, — то тогда мы должны сосредоточиться на переговорах с людьми, которые разрабатывают ИИ. Если у нас есть 50–100 лет, тогда мы можем подумать об образовании и о повышении способностей человечества в более широком смысле.

Бытует мнение, что проблема может быть и в том, что к вопросам этики и к связанным с ИИ рискам подходят чересчур через призму математики. Например, запомнился недавний пост Кая Сотала в блоге эффективного альтруизма, в котором он призывал привлечь к работе с рисками, связанными с ИИ, больше людей из области психологии. Единственный общий интеллект, о существовании которого мы знаем, это человек, поэтому исследование человеческой психики многое бы привнесло в размышления над интеллектом, будь он биологический либо искусственный.

Безусловно, разнообразие компетенций полезно для решения проблемы. За последние пять лет количество высказываний на тему связанных с ИИ рисков стремительно возросло. Скотт Александер сказал по этому поводу, что даже в критически настроенных по отношению к данной области статьях авторы приходят к пониманию, что размышления над связанными с ИИ рисками местами перешли в разряд научного консенсуса. Это шаг вперед по сравнению с тем отношением, что было раньше — в стиле «сумасшедшая идея, в которую ни один здравомыслящий человек не верит».

Тема стала популярной, и поднялась шумиха. Раньше большинство людей в основном сами начинали задумываться над связанными с ИИ рисками, отталкиваясь от имеющихся трендов. Это был очень эффективный интеллектуальный фильтр. Сейчас же культура и медиа насыщены этой темой, и каждый, кто хочет, может высказаться по данному вопросу. Это привело к проблеме: есть много людей, которые хотели бы что-то сделать, но непонятно, как их интегрировать в принимаемые решения. Чем больше кликов хочет получить журналистика, гоняющаяся за сенсациями, тем выше соблазн подать тему предвзято.

Насколько разумно думать об интеллекте как о каком-то общем свойстве, не принимая во внимание особенности строения известных нам работающих разумных систем? Например, мы уже кое-что знаем о некоторых принципах работы человеческого мозга.

Это такой же сложный вопрос, как и вопрос о сознании. Чтобы уничтожить мир, не нужны существа, наделенные самосознанием. Компьютеры, которые способны обыграть человека в шахматы, не должны обладать сознанием, так же оно не нужно и для того, чтобы принимать важные решения относительно управления миром. Конечно, исследовать человеческую психологию нужно. Этим, например, занимается DeepMind, развивая ИИ, который дотягивается до человеческого уровня, и создавая архитектуру ИИ, опираясь на принципы работы человеческого мозга. Так что в случае человеческого мозга у нас уже имеется proof of concept (практическое доказательство концепции). При этом не стоит думать, что человек как-то принципиально отличается от машин. Разница лишь в параметрах. К примеру, хотя в мире и есть много так называемых савантов, которые способны производить в уме крайне сложные вычисления, нет ни одного доказательства того, что существует человек, который может производить вычисления, с которыми компьютер не справился бы.

В этом свете конференция в Асиломаре на тему безопасного создания ИИ кажется шагом в верном направлении — на ней встретились разработчики ИИ и те, кто обеспокоен связанными с этим рисками и этическими вопросами.

В последние годы как я сам, так и Институт будущего жизни старались свести людей, которые хотят, чтобы ИИ был прозрачен и предсказуем, с теми, кто его создает. Эту же цель я преследовал, инвестируя в DeepMind и другие стартапы, связанные с ИИ. Другое знаменательное событие наряду с Асиломаре — это состоявшаяся в 2015 году в Пуэрто-Рико конференция по безопасной разработке ИИ. В ней участвовало в два-три раза меньше людей.

Есть ли какие-то недостатки при адекватном оценивании связанных с ИИ рисков и этики?

Основной недостаток — это большая неясность, поскольку нам не известны важные параметры, в рамках которых оперирует человечество. Самое важное — это то, сколько у нас осталось времени и насколько сложно сделать ИИ, сравнимый с человеческим. Мы не знаем, насколько велика вероятность того, что ныне растущий тренд глубокого обучения может прямиком привести нас к ИИ человеческого уровня.

Весомые аргументы есть у обеих сторон. Эмпирически глубокое обучение работает намного лучше, чем разработанные за последние десятилетия более структурированные подходы. Типичный пример: люди разрабатывают систему обработки человеческого языка, и появляется маленькая группа программистов, которая рубит проблему топором глубокого обучения и сразу же получает лучший результат в этой области во всем мире.

Контраргумент принадлежит одному моему знакомому: он называет глубокое обучение перехваленными таблицами поиска (glorified look-up tables), которые базируются всего на одной функции и не в состоянии выполнять все функции (у них нет т. н. совершенства Тьюринга). Так что они не являются таким уж огромным шагом вперед на пути создания общего интеллекта, как большинство людей полагает. Конечно же, созданы и такие вещи, как нейронные сети с долгосрочной памятью (long short-term memory networks) и Neural Turing Machines от DeepMind, в которых объединили базирующийся на обучаемых нейросетях подход с обычным программированием.

Если бы мы знали, сколько у нас времени, все бы тут же стало намного проще. Помимо этого многие проблемы неразрешимы с философской точки зрения. Разрабатывая ИИ, человечество занимается поисками наилучшего для себя будущего, и тут есть один нюанс: когда будет создан первый ИИ более-менее равный человеческому интеллекту, больше не будет возможности выбирать какой-то другой результат. Мы здесь и сейчас должны задаться вопросом, что есть человечество, что есть мир, что такое «лучшее». Всеми этими проблемами философы занимались тысячи лет, а теперь нам срочно нужны ответы на них, и еще чтобы их можно было представить в виде компьютерного кода.

Как относиться к утверждению Эндрю Нги о том, что беспокойство относительно враждебно настроенного ИИ — это то же самое, что бояться перенаселения на Марсе? Иными словами — это не та проблема, о которой реально стоит беспокоиться.

Эндрю Нги и Ян Лекун — явления интересные, но Нги более экстремальный. Их обоих пытались переубедить, и если с ними говорить, то они внимают твоим доводам, но тут же забывают все рассказанное и совершают те же ошибки. Да, в этой теме много нерешенных вопросов. Не исключено, что у нас действительно есть еще 300 лет. Карл Саган сказал, что экстраординарные утверждения нуждаются в экстраординарных доказательствах. Утверждение, что ИИ, сопоставимый с человеческим разумом, не будет создан в течение следующих 300 лет, должно быть подтверждено весомыми доказательствами.

Во-вторых, даже если нам неизвестно, когда будет создан подобный ИИ, мы не можем сидеть сложа руки. Представь, что ты летишь в самолете и поступает сообщение о том, что часть экспертов по безопасности считает, что на его борту есть бомба, а другая часть экспертов, что бомбы нет. Несмотря на неопределенность все же известно, что нужно делать. Недавно среди экспертов провели опрос об ИИ, и хотя существуют разные мнения по данному вопросу, невозможно сказать, что кто-либо отрицает наличие проблемы. 40% респондентов считают, что мы имеем дело с серьезной проблемой. Чтобы начать действовать, нам не нужно ждать, пока все будут в этом убеждены.

Как различать направления, которые встречаются среди тех, кто занимается связанными с ИИ рисками? Например, на ум приходит критика Бена Гёрцеля и Мачея Цегловского по поводу того, что люди, которые занимаются этой темой, слишком эгоцентричны и напоминают местами элитную секту.

Проанализировав мнения различных серьезных экспертов, я обнаружил четыре оси, при помощи которых можно описать различные направления.

1. Пуризм: подход сверху вниз vs снизу вверх. Подход сверху вниз означает, что прежде чем создать ИИ, придумывается его решение. Например, прежде чем построили первый шахматный компьютер, была продумана схема для построения идеального шахматного компьютера. Другой пример из истории — эссе Эдгара Аллана По «Шахматный аппарат доктора Мельцеля» (1836), в котором он объясняет, что существование «механического турка»*, производящего впечатление, будто машина играет в шахматы лучше человека, невозможно, потому как в шахматы невозможно играть по правилам детерминизма. (Позже выяснилось, что внутри машины сидел человек). Данное утверждение звучит разумно, если не знать, что существует принципиальное решение — в данном случае это дерево поиска. Мы сейчас в той же ситуации, что и По 1830-е годы: мы не знаем, основываясь на каких принципах, можно создать безопасный ИИ.

Помимо этого нужно учитывать, что относительно ИИ, работающего на человеческом уровне, требования по безопасности должны быть более высокими, чем те, что применяются к любой из ныне существующих систем. Единственная сопоставимая с этим задача стоит перед космонавтикой, где сложно вмешаться в системы, когда они уже на орбите.

Подход снизу вверх — это когда, взяв за основу существующие системы ИИ, пытаются сделать их более предсказуемыми и безопасными. У приверженцев этого направления есть два аргумента: a) у нас нет времени строить безупречную систему; б) пытаясь сделать более безопасными нынешние решения, мы лучше сможем понять то, как вообще создать безопасный ИИ. Общество скорее склоняется к их мнению.

2. Элитаризм vs вовлечение. На одном конце оси те, кто считает, что элитаризм необходим, а на другом конце те, кто видит в этом проблему. Сторонники элитаризма советуют сосредоточиться на тех, кто в той или иной степени доказал, что имеет потенциал менять этот мир. Критики элитаризма говорят, что мы так до конца и не узнаем, кто в случае с ИИ, образно выражаясь, нажимает на кнопку, и поэтому для поиска талантов по всему миру нужно создать по возможности обширную сеть. Мое личное мнение по этому вопросу зависит от того, насколько много времени у нас осталось. Чем меньше времени, тем более элитарный подход должен быть; чем больше времени, тем больше мы должны привлекать разных людей.

3. Индивидуализм vs ориентированность на организацию. Индивидуалисты говорят, что заниматься организациями безнадежно, потому как в них рано или поздно возникают нарушения в стимулах, в результате чего организация начинает заниматься совсем не тем, для чего изначально была создана. Сторонники ориентирования на организацию одобряют работу через уже существующие структуры, будь то правительства или ООН, потому что они уже действуют и оказывают влияние на мир.

4. Философский аспект. Вопрос в том, в какой степени мы готовы с точки зрения философии передать управление миром в руки машин(ы). К примеру, если бы мы считали, что мир состоит только из четырех элементов — земли, воздуха, воды и огня, — и дали бы ИИ задание сделать благосостояние человечества максимальным, очевидно, что постановка задачи была бы изначально неверной. Сейчас нам неизвестно, как давать инструкции таким образом, чтобы, например, из-за наших несовершенных знаний по физике мы не пропустили чего-то важного, что в конце концов станет для человечества судьбоносным. Люди, которые находятся внизу философской оси, утверждают, что на самом деле экономика и другие общественные законы расставят все на свои места и у нас самих особой возможности выбора нет.

Себя я в этом четырехмерном кубе в какую-то определенную точку размещать не хочу, я скорее предпочитаю думать о плотности вероятности. В случае с пуризмом я склоняюсь к тому, что мы должны быть максимально консервативными, потому что мы говорим о системе, которая будет строить систему, которая будет строить систему. Но проблема состоит и в том, что мы уже потратили 50 лет, если вести отсчет с того момента, когда Алан Тьюринг указал на проблему безопасности ИИ. На шкале элитаризма многое зависит от того, сколько у нас осталось времени. В вопросах индивидуализма у меня нет определенного мнения, так как у обоих подходов имеются разумные аргументы. В философии моя позиция похожа на ту, что и в случае с пуризмом — прежде чем что-то строить, это нужно продумать.

Есть ли какая-то опасность, исходящая от политиков и правительств?

Да, если они абсолютно неверно поймут эту проблему. За неделю до голосования по брекситу у меня спросили на одной конференции: «Этот референдум — это хорошо или плохо в контексте связанных с ИИ рисков?». Кажется, что это глупый вопрос, но ведь и правда у правительства Великобритании самый большой потенциал быть самым компетентным правительством в мире в данной области. Два из трех крупнейших центров управления рисками находятся в Оксфордском и Кембриджском университетах, и британское правительство общается с ними куда чаще, чем американское с университетом Беркли, где расположен третий важный центр. Не то чтобы нынешнее правительство было суперкомпетентным, а тут и брексит направил их крайне ограниченное внимание на другие вещи. Плюс в этой области все больше общаются как с китайцами, так и японцами, но тут присутствует языковой и культурный барьер. При этом в Японии и других азиатских странах я встречал куда меньше предубеждений при размышлении над связанными с ИИ рисками. На Западе многие практики, слыша о рисках, первым делом их поскорее отвергают. Кстати, существует асимметрия Азия vs Запад, так как поток талантов практически без исключения направляется в западные университеты.

Насколько стоит в Эстонии стремиться внести свой вклад в эту область?

Например, недавно Рао Пярнпуу защитил магистерскую работу об онтологическом сдвиге моделей мира ИИ.

Я сам поддержал Тартуский университет, чтобы они могли заниматься игровой моделью связанных с ИИ рисков (AI Risk Toy Model).

Предложенный Илоном Маском Neuralink, или прямое подключение мозга к компьютеру, может стать решением?

Neuralink — интересный проект, но он практически ничего общего с решением не имеет. Илон Маск по большей части утверждает, что основной ограничитель человека — это скорость обмена данными (it’s mostly about the bandwidth), но ведь ясно, что это неправда. Нас ограничивает не низкая скорость передачи данных, а в общем медленное мышление. Возьмем, к примеру, следующую ситуацию: у нас две комнаты, в каждой по человеку, и между ними происходит очень хороший обмен данными. Но если один из этих людей думает в миллиард раз медленнее, чем второй, то за то время, пока более медленный сможет сказать одно слово, для более быстро мыслящего человека может пройти 10 лет. Точно так же нет никакой пользы от того, если ты присоединишь к себе работающий в миллиард раз быстрее ИИ, даже если обмен данными между вами будет работать быстро.

 

* Иллюзионное устройство, в котором партию ведет невидимый публике шахматист. Первый шахматный автомат был сконструирован в 1769 году.


читать на эту же тему