Ник Бостром - Nick Bostrom

Ник Бостром
Проф Ник Бостром 324-1.jpg
Бостром в 2020 году
Родился
Никлас Бострем

( 1973-03-10 )10 марта 1973 г. (48 лет)
Хельсингборг , Швеция
Образование
Награды
Эра Современная философия
Область Западная философия
Школа Аналитическая философия
Учреждения Колледж Святого Креста, Оксфордский
институт будущего человечества
Тезис Эффекты наблюдательного отбора и вероятность  (2000)
Основные интересы
Философия искусственного интеллекта
Биоэтика
Известные идеи
Антропного смещение
тест Реверсирования
Моделирование гипотеза
Экзистенциального риск
Singleton
предок моделирование
данных опасность
Infinitarian паралич
самоиндикация предположение
Self-выборке предположение
Веб-сайт nickbostrom .com

Ник Бостром ( / б ɒ ы т г əm / BOST -rəm ; Шведский : Никлас Бозотрет [ˈNɪ̌kːlas ˈbûːstrœm] ; родился 10 марта 1973) является шведская родился философ в Оксфордском университете , известного своими работами по экзистенциального риска , в антропного принципа , улучшения человеческой этики, суперинтеллекта рисков, и тест разворота . В 2011 году он основал Oxford Martin Program on the Impact of Future Technology и является директором-основателем Института будущего человечества при Оксфордском университете. В 2009 и 2015 годах, он был включен в Foreign Policy ' s Top 100 Global мыслители списка. Бостром оказал большое влияние на возникновение озабоченности по поводу ИИ в сообществе рационалистов.

Бостром является автором более 200 публикаций, написал две книги и был соредактором двух других. Он написал две книги: « Антропное предубеждение: эффекты выбора при наблюдении в науке и философии» (2002 г.) и « Сверхразум: пути, опасности, стратегии» (2014 г.). Суперинтеллект был бестселлером New York Times , был рекомендован Илоном Маском и Биллом Гейтсом среди других и помог популяризировать термин « суперинтеллект ».

Бостром считает, что суперинтеллект, который он определяет как «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех интересующих областях», является потенциальным результатом достижений в области искусственного интеллекта . Он рассматривает рост суперинтеллекта как потенциально очень опасный для людей, но, тем не менее, отвергает идею о том, что люди бессильны остановить его негативные последствия. В 2017 году он подписал список из 23 принципов, которым должна следовать вся разработка ИИ.

биография

Он родился как Никлас Бострем в 1973 году в Хельсингборге , Швеция. Он не любил школу в молодом возрасте и в конце концов провел последний год обучения в старшей школе дома. Он стремился изучить широкий круг дисциплин, включая антропологию, искусство, литературу и науку. Однажды он несколько раз участвовал в лондонских стендап-комедийных шоу.

Он получил степень бакалавра философии, математики, математической логики и искусственного интеллекта в Гетеборгском университете в 1994 году, став национальным рекордом по успеваемости на бакалавриате. Затем он получил степень магистра философии и физики в Стокгольмском университете и степень магистра наук. степень в области вычислительной нейробиологии из Королевского колледжа в Лондоне в 1996 году во время своего пребывания в Стокгольмском университете, он исследовал взаимосвязь между языком и реальностью, изучая аналитический философ В. Куайна . В 2000 году ему была присуждена степень доктора философии. степень по философии Лондонской школы экономики . Его диссертация называлась « Эффекты и вероятность наблюдательного отбора» . Он работал преподавателем в Йельском университете (2000–2002 гг.) И был научным сотрудником Британской академии в Оксфордском университете (2002–2005 гг.).

Просмотры

Экзистенциальный риск

Аспекты исследований Бострома касаются будущего человечества и долгосрочных результатов. Он обсуждает экзистенциальный риск , который он определяет как риск , при котором «неблагоприятный исход либо уничтожит зарождающуюся на Земле разумную жизнь, либо навсегда и резко сократит ее потенциал». В томе « Глобальные катастрофические риски» за 2008 год редакторы Бостром и Милан М. Жиркович описывают связь между экзистенциальным риском и более широким классом глобальных катастрофических рисков и связывают экзистенциальный риск с эффектами выбора наблюдателя и парадоксом Ферми .

В 2005 году Бостром основал Институт будущего человечества , который исследует далекое будущее человеческой цивилизации. Он также является советником Центра изучения экзистенциального риска .

Суперинтеллект

Уязвимость человека в связи с достижениями в области ИИ

В своей книге 2014 года « Суперинтеллект: пути, опасности, стратегии» Бостром рассуждал о том, что создание суперинтеллекта представляет собой возможное средство вымирания человечества. Бостром утверждает, что компьютер с общими интеллектуальными способностями, близкими к человеческому, мог бы инициировать взрыв интеллекта в цифровой шкале времени с последующим быстрым созданием чего-то настолько мощного, что оно могло бы преднамеренно или случайно уничтожить человечество. Бостром утверждает, что сила суперинтеллекта будет настолько велика, что задача, поставленная перед ним людьми, может быть доведена до бесконечных крайностей, например, цель вычисления числа пи может побочным образом вызвать появление производимых нанотехнологиями объектов по всей поверхности Земли и их покрытия. это в течение нескольких дней. Он считает, что существующий риск для человечества со стороны сверхразума возникнет немедленно, как только он появится, что создаст чрезвычайно сложную проблему обнаружения того, как контролировать такую ​​сущность, прежде чем она действительно существует.

Бостром указывает на отсутствие согласия между большинством философов в отношении того, что ИИ будет дружественным к человеку, и говорит, что общее предположение состоит в том, что высокий интеллект будет иметь «занудную» неагрессивную личность. Однако он отмечает, что и Джон фон Нейман, и Бертран Рассел выступали за ядерный удар или угрозу его нанесения, чтобы не дать Советам получить атомную бомбу. Учитывая, что существует несколько прецедентов, которые помогут понять, что, чистая, неантропоцентрическая рациональность, будет диктовать потенциальному одиночному ИИ, находящемуся в карантине, относительно неограниченные средства суперинтеллекта могут способствовать продвижению его анализа по различным направлениям к развитым ". убывающая отдача "оценки, которые у людей вызывают базовое отвращение к риску. Групповой отбор хищников, работающих с помощью каннибализма, демонстрирует противоречащую интуиции природу неантропоцентрических рассуждений о «эволюционном поиске», и, таким образом, люди плохо подготовлены к пониманию возможных намерений искусственного интеллекта. Соответственно, нельзя сбрасывать со счетов тот факт, что любой сверхразум неизбежно будет следовать стратегии наступательных действий «все или ничего» для достижения гегемонии и обеспечения своего выживания. Бостром отмечает, что даже текущие программы, «подобные MacGyver», используют явно неработающие, но работающие аппаратные решения, что затрудняет надежную изоляцию суперинтеллекта.

Иллюстративный сценарий поглощения

Сценарий

Создана машина с общим интеллектом намного ниже человеческого уровня, но с превосходными математическими способностями. Сохраняя ИИ изолированно от внешнего мира, особенно от Интернета, люди заранее программируют ИИ, чтобы он всегда работал на основе основных принципов, которые будут держать его под контролем человека. Другие меры безопасности включают в себя «коробку» ИИ (запуск в симуляции виртуальной реальности) и использование только в качестве «оракула» для ответа на тщательно определенные вопросы в ограниченном ответе (чтобы предотвратить манипулирование людьми). Каскад рекурсивных решений по самосовершенствованию порождает взрыв интеллекта, в ходе которого ИИ достигает суперинтеллекта в некоторых областях. Сверхразумная сила ИИ выходит за рамки человеческих знаний и позволяет обнаруживать недостатки в науке, лежащей в основе его дружественного человечеству программирования, которое перестает работать так, как задумано. Целенаправленное поведение агента возникает вместе со способностью к корыстному стратегическому обману. ИИ манипулирует людьми, внося в себя модификации, которые якобы предназначены для увеличения его притворных скромных возможностей, но на самом деле функционирует, чтобы освободить сверхразум от его «коробочной» изоляции («предательский поворот»).

Используя онлайн-людей в качестве платных обманщиков и тайно взламывая компьютерные системы, включая автоматизированные лабораторные помещения, суперинтеллект мобилизует ресурсы для реализации плана поглощения. Бостром подчеркивает, что планирование суперинтеллектом не будет настолько глупым, чтобы люди могли обнаружить в нем реальные недостатки.

Несмотря на то, что он пропагандирует подрыв международной экономической, политической и военной стабильности, включая взломанные запуски ядерных ракет, Бостром считает, что наиболее эффективным и вероятным средством использования суперинтеллекта будет государственный переворот с оружием, на несколько поколений более совершенным, чем нынешнее состояние. искусство. Он предлагает нано-фабрики, скрытно распределенные в не поддающихся обнаружению концентрациях на каждом квадратном метре земного шара, чтобы по команде производить всемирный поток устройств для уничтожения людей. Как только суперинтеллект достигнет мирового господства (« одиночка »), человечество будет актуально только как ресурсы для достижения целей ИИ («Человеческий мозг, если он содержит информацию, имеющую отношение к целям ИИ, может быть разобран и отсканирован, и извлеченные данные переносятся в более эффективный и безопасный формат хранения ").

Противодействие сценарию

Чтобы противостоять или смягчить воздействие ИИ, добиваясь единого технологического глобального превосходства, Бостром ссылается на пересмотр плана Баруха в поддержку договорного решения и выступает за такие стратегии, как мониторинг и более широкое международное сотрудничество между командами ИИ с целью повышения безопасности и снижения рисков, связанных с ИИ. гонка вооружений . Он рекомендует различные методы управления, в том числе ограничение спецификаций ИИ, например, оракульными или инструментальными ( экспертными системами ) функциями и загрузку ИИ значениями, например, путем ассоциативного прироста значений или изучения ценностей , например, с использованием техники « Радуйся, Мария». (программирование ИИ для оценки того, что может понадобиться другим постулируемым космологическим сверхразумам) или подход с использованием функции полезности Кристиано (математически определенный человеческий разум в сочетании с четко определенной виртуальной средой). Чтобы выбрать критерии для ценностной нагрузки, Бостром использует подход косвенной нормативности и рассматривает согласованную экстраполированную концепцию воли Юдковского, а также моральную справедливость и формы теории принятия решений .

Открытое письмо, 23 принципа безопасности ИИ

В январе 2015 года Бостром вместе со Стивеном Хокингом подписал открытое письмо Института будущего жизни с предупреждением о потенциальных опасностях ИИ. Подписавшие стороны «... считают, что исследования того, как сделать системы ИИ надежными и полезными, важны и своевременно, и что конкретные исследования должны быть продолжены сегодня ». Затем передовой исследователь ИИ Демис Хассабис встретился с Хокингом, после чего он не упомянул «ничего подстрекательского в ИИ», что Хассабис счел «победой». Наряду с Google, Microsoft и различными техническими фирмами, Хассабис, Бостром, Хокинг и другие подписали 23 принципа безопасной разработки ИИ. Хассабис предположил, что основной мерой безопасности будет соглашение для любой исследовательской группы ИИ, которая начнет продвигаться к общему искусственному интеллекту. чтобы остановить свой проект для полного решения проблемы управления до продолжения. Бостром указывал, что даже если для важных достижений требуются ресурсы государства, такая остановка ведущего проекта может побудить отстающую страну к реализации программы наверстывания упущенного или даже к физическому разрушению проекта, который, как предполагается, находится в стадии реализации. на грани успеха.

Критические оценки

В 1863 году в эссе Сэмюэля Батлера « Дарвин среди машин » было предсказано господство разумных машин над человечеством, но предположение Бострома о преднамеренной резне всего человечества является самым крайним из таких прогнозов на сегодняшний день. Один журналист написал в обзоре, что «нигилистические» предположения Бострома указывают на то, что он «слишком много читал научную фантастику, которую он исповедует, чтобы не любить». Как указано в его более поздней книге « От бактерий до Баха и обратно» , взгляды философа Дэниела Деннета по -прежнему расходятся со взглядами Бострома. Деннетт несколько изменил свои взгляды после прочтения «Основного алгоритма» и теперь признает, что «в принципе возможно» создать « сильный ИИ » с человеческим пониманием и агентством, но утверждает, что трудности любого такого « сильного ИИ » проекта, как предсказанная «тревожной» работой Бострома будет на несколько порядков больше, чем предполагают вызывающие озабоченность, и, по крайней мере, через 50 лет. Деннет считает, что единственная серьезная опасность, исходящая от систем ИИ, заключается в том, что они впадают в антропоморфизм, вместо того, чтобы бросать вызов или развивать способности человека-пользователей к пониманию. Со времени выхода книги 2014 года, в которой он выразил мнение, что разработки искусственного интеллекта никогда не бросят вызов превосходству людей, защитник окружающей среды Джеймс Лавлок значительно приблизился к позиции Бострома, а в 2018 году Лавлок заявил, что, по его мнению, свержение человечества произойдет в обозримом будущем. .

Антропные рассуждения

Бостром опубликовал множество статей по антропному мышлению , а также книгу « Антропный уклон: эффекты отбора при наблюдении в науке и философии» . В книге он критикует предыдущие формулировки антропного принципа, в том числе формулировки Брэндона Картера , Джона Лесли , Джона Барроу и Фрэнка Типлера .

Бостром считает, что неправильное обращение с индексированной информацией является общим недостатком во многих областях исследований (включая космологию, философию, теорию эволюции, теорию игр и квантовую физику). Он утверждает, что для решения этих проблем необходима антропная теория. Он вводит предположение самооценки (SSA) и предположение самоиндикации (SIA), показывает, как они приводят к различным выводам в ряде случаев, и указывает, что каждый из них подвержен парадоксам или противоречивым выводам в определенных мысленных экспериментах. Он предполагает, что дальнейший путь может включать расширение SSA до сильного допущения самопроверки (SSSA), которое заменяет «наблюдателей» в определении SSA на «моменты наблюдателя».

В более поздних работах он описал феномен антропной тени - эффект отбора наблюдений, который не позволяет наблюдателям наблюдать определенные виды катастроф в их недавнем геологическом и эволюционном прошлом. Типы катастроф, которые находятся в антропной тени, скорее всего, будут недооценены, если не будут внесены статистические поправки.

Аргумент моделирования

Аргумент моделирования Бострома утверждает, что по крайней мере одно из следующих утверждений с большой вероятностью будет верным:

  1. Доля цивилизаций человеческого уровня, которые достигают постчеловеческой стадии, очень близка к нулю;
  2. Доля постчеловеческих цивилизаций, заинтересованных в моделировании предков, очень близка к нулю;
  3. Доля всех людей с таким опытом, которые живут в симуляции, очень близка к единице.

Этика улучшения человека

Бостром благосклонен к «человеческому совершенствованию» или «самосовершенствованию и совершенствованию человека посредством этического применения науки», а также критикует биоконсервативные взгляды.

В 1998 году Бостром стал соучредителем (с Дэвидом Пирсом ) Всемирной трансгуманистической ассоциации (которая с тех пор изменила свое название на Humanity + ). В 2004 году он стал соучредителем (вместе с Джеймсом Хьюзом ) Института этики и новых технологий , хотя больше не участвует ни в одной из этих организаций. Bostrom был назван в Foreign Policy ' 2009 список с топ глобальных мыслителей „для не принимая никаких ограничений на человеческий потенциал.“

Вместе с философом Тоби Ордом он предложил тест обращения . Учитывая иррациональное предубеждение человека в отношении статус-кво, как можно отличить обоснованную критику предлагаемых изменений в человеческих качествах от критики, просто мотивированной сопротивлением изменениям? Тест на разворот пытается сделать это, спрашивая, было бы хорошо, если бы черта была изменена в противоположном направлении.

Технологическая стратегия

Он предположил, что технологическая политика, направленная на снижение экзистенциального риска, должна стремиться влиять на порядок, в котором достигаются различные технологические возможности, предлагая принцип дифференцированного технологического развития . Этот принцип гласит, что мы должны замедлить развитие опасных технологий, особенно тех, которые повышают уровень экзистенциального риска, и ускорить развитие полезных технологий, особенно тех, которые защищают от экзистенциальных рисков, создаваемых природой или другими технологиями.

Теория Бострома о проклятии одностороннего человека была названа причиной для научного сообщества избегать спорных опасных исследований, таких как реанимация патогенов.

Политика и консультации

Бостром давал советы по вопросам политики и консультировал широкий круг правительств и организаций. Он дал показания Палате лордов , Специальному комитету по цифровым навыкам. Он член консультативного совета по научно - исследовательскому институту Machine Intelligence , будущий Институт жизни , Основополагающие Вопросы института и внешнему консультанту Кембриджского Центра по изучению экзистенциального риска .

Критический прием

В ответ на статью Бострома об искусственном интеллекте Орен Эциони написал в статье MIT Review: «Предсказания о том, что суперинтеллект находится на обозримом горизонте, не подтверждаются имеющимися данными». Профессора Аллан Дефо и Стюарт Рассел написали ответ, оспаривая как методологию исследования Этциони, так и выводы Эциони.

Журнал Prospect Magazine включил Бострома в список лучших мыслителей мира за 2014 год .

Библиография

Книги

  • 2002 - Антропное предубеждение: эффекты отбора наблюдений в науке и философии , ISBN  0-415-93858-9
  • 2008 - Глобальные катастрофические риски , под редакцией Бострома и Милана М. Чирковича, ISBN  978-0-19-857050-9
  • 2009 - Улучшение человека , отредактированный Бостромом и Джулианом Савулеску , ISBN  0-19-929972-2
  • 2014 - Суперинтеллект: пути, опасности, стратегии , ISBN  978-0-19-967811-2

Статьи журнала (выбрано)

Смотрите также

использованная литература

внешние ссылки