evan_gcrm (evan_gcrm) wrote,
evan_gcrm
evan_gcrm

Categories:

Гипотеза Уязвимого Мира



В своей новой работе "The Vulnerable World Hypothesis" Nick Bostrom,
классифицирует и анализирует сценарии, при которых технологические уязвимости подводят мир к краю пропасти;
предлагает два взаимодополняющих варианта действий, способных, по его мнению, помочь человечеству избежать гибели.

Nick Bostrom признанный авторитет для самых известных и влиятельных людей бизнеса. А поскольку его новая работа ориентирована на сильных мира сего, способных определять путь развития человечества, она может повлиять не только на крупных бизнесменов, но и на ведущих политиков. И не только в вопросах технологий, а также в вопросах безопасности и геополитики.


Черный шар.

Начать стоит с объяснения, почему есть все основания полагать, что мир подошел к пропасти. Что это не очередная страшилка техно-пессимистов, а вполне обоснованная оценка существующих экзистенциальных рисков.

Когда люди изобретают новую технологию, никто не знает заранее всех её побочных отрицательных эффектов. Они выявляются потом, уже в ходе использования технологии.

Например, сначала люди начали широко использовать хлорфторуглероды для аэрозолей и холодильников.
Потом выяснилось, что они истощают защитный озоновый слой.
Лишь после этого человечество начало с этим бороться.

Иногда последовательность иная:
Сначала ГМО все боятся.
Потом появляется масса исследований, предполагающих отсутствие здесь тотальной опасности.
Затем весьма авторитетные люди (Нассим Талеб и Янир Бар-Ям) объясняют, что оптимистические исследования ошибочны, и потенциальный риск недопустимого уровня.
Пока Талеба и Бар-Яма не слышат, а потом — кто знает.

Насколько катастрофической может оказаться последовательность циклов оптимистической и пессимистической оценки рисков, Nick Bostrom показывает на следующем примере:

В 1942 один из ученых Манхэттенского проекта поделился с его руководителем опасением, что ядерный взрыв создаст температуру, беспрецедентную в истории Земли, и тем самым создаст условия, подобные тем, что в центре Солнца, и это может вызвать самопроизвольное распространение термоядерной реакции в окружающем воздухе или воде.
Проверочные расчеты показали, что это будто бы не так. Риска гибели планеты, вроде как, нет. После чего решились на проведение эксперимента Trinity.
И ура!
Эксперимент подтвердил правильность расчетов.
Но ужас в том, что смысл резюме заключения о возможности проведения эксперимента Trinity, был такой — риск гибели планеты весьма маловероятен, но хорошо бы проверить экспериментально…
А спустя 12 лет в секретном ядерном эксперименте Castle Bravo планировалось испытать опытный экземпляр термоядерной бомбы на основе лития. И поскольку никто точно не знал, как рванет такая бомба, повторилась ситуация эксперимента Trinity.
Провели расчеты, и получилось, что рванет на 6 мегатонн с диапазоном неопределенности 4–8 мегатонн. На деле был превышен даже максимальный порог — взрыв получился в 15 мегатонн (примерно 1000 Хиросим!) и разрушил большую часть испытательного полигона вместе со всем оборудованием.


Но что, если бы ошиблись в расчетах не эксперимента Castle Bravo, а эксперимента Trinity???
Ведь называя вещи своими именами, миру просто повезло!

Nick Bostrom предлагает для объяснения этого везения следующую метафору:

Представьте человека или группу людей, вытаскивающих из вазы лежащие в ней шары, символизирующие всевозможные идеи, открытия, технологические изобретения. В течение истории мы извлекли большое количество шаров — в основном белых (полезных), а также различных оттенков серого (полезных и в то же время умеренно вредных). Кумулятивный эффект влияния всех новаций на состояние человечества до сих пор был в целом положительным, и может быть намного лучше в будущем.
Но до сих пор мы не достали ни одного черного шара — технологию, которая непреднамеренно, но обязательно разрушит цивилизацию, достигнув определенного уровня развития. И причина не в том, что мы были особенно осторожны или мудры в нашей технологической политике. Нам просто везло.


Ну а если вытянем наконец черный?

К этому можно и нужно подготовиться — считает Nick Bostrom.

Варианты рисков.

Тип 1: «Простенькая бомбочка или демократизация массового уничтожения» (“easy nukes”), когда ядерную бомбу или иной смертоносный технологический артефакт может сделать или купить, если не каждый, то многие (включая крезанутых и фанатиков).

Ведь то, что атомная бомба требует несколько кило плутония или высокообогащенного урана (произвести которые очень трудно и дорого) — просто гигантская везуха для человечества.
Представьте себе, что было, если бы для получения энергии атома не потребовались редкие и дорогие вещества и операции. Что если бы, например, можно было получить доступ к атомной энергии, просто пропуская электрический ток через металлический предмет, помещенный между двумя стеклами.

И что тогда?

Ведь запретить стекло или металлические пластины невозможно. До и ограничить их обращение тоже.
А ведь с программированием ИИ может получиться именно так. Никаких редких материалов и никаких сложных производственных процедур.


Тип 2а: «Безнаказанно ударить первым или стимуляция массового уничтожения» (“safe first strike”), когда какое-то государство решит, что уже получило необходимое технологическое превосходство, чтобы жахнуть по врагу первым.

Посмотрите на первое десятилетие истории ядерного оружия:



Человечеству просто жутко повезло, что США, имея абсолютное превосходство над СССР не решились на безнаказанный удар, подобный Хиросиме и Нагасаки.
И причина этого везения, скорее всего в свежей памяти об ужасах недавно закончившейся Второй Мировой.
Сейчас эта память выветрилась в головах политиков и военных. И если подобный перекос в силах повторится, например, вследствие ИИ-превосходства, мир получит вариант 2а.


Тип 2b: «Анархия и бардак» (“worse global warming”), когда полуанархические действия отдельных стран так неудачно сложатся, что в сумме их действий мир окажется перед угрозой каюка.
Будет ли это с неким худшим из вариантов разрушения озонового слоя или с иными потенциальными изменениями климата — не важно. Мир — система нелинейная. И если все государства будут лишь стремиться к обеспечению своих шкурных интересов, результат может быть непредсказуем и катастрофичен.

Тип 0: «Сюрпризы темной материи» (“surprising strangelets”), когда достигается некий уровень развития определенной технологии, несущий в себе запредельно высокий скрытый риск, что при его материализации (возможно, даже непреднамеренной) цивилизации приходит конец.

А поскольку человечеству не дано знать, где оно столкнется с подобным, то и вариантов исправить ситуацию может уже не быть. Просто вытянет человечество свой черный шар и всё.

Варианты действий.

Nick Bostrom рассматривает 2 варианта действий политиков по отношению к названным типам рисков/уязвимостей:
Дурацкие действия (типа «ограничить/взять под контроль развитие конкретной технологии» и/или включить «промывание мозгов»)
Умные действия («Профилактическое глобальное наблюдение и социальный контроль» в стиле китайского «Технологического Паноптикона» и «Глобальное правительство»)

Предлагаемые Nick Bostrom умные действия основаны на такой логике:
Только эффективная профилактическая полицейская деятельность способна остановить отмороженных одиночек. А для этого нужно тотальное наблюдение.
Только абсолютная координация, если не всех, то хотя бы крупнейших государств в стиле “мировое правительство”, способна остановить отмороженные режимы.

Каким образом предложенные два «умных действия» могут помочь предотвратить экзистенциальные риски для человечества?
Ведь для реализации «Тотального наблюдения» потребуется немало времени из-за технологических проблем. А для продвижения к «Глобальному правительству» времени потребуется еще больше из-за политических и социальных заморочек и шкурных интересов национальных элит. Ведь даже Объединенная Европа трещит по швам. А что там говорить о «Глобальном правительстве».

Одной из альтернативных гипотез балансировки экзистенциальных рисков может быть вариант где «большая война» не реализоваться — просто в силу неизвестной пока закономерности, лежащей в основе снижения вероятности массовой гибели людей с увеличением мощности вооружений — снижения «коэффициента кровопролитности».
Возможно, так работает техногуманитарный баланс, снижая уровень смертельной внутривидовой агрессии человечества и «коэффициент кровопролитности» войн.
А может в основе этой закономерности гипотеза Тревора Дюпую об адаптации цивилизаций к повышению летальности оружия, иллюстрируемая двумя нижеследующими графиками.





Или вот таблица снижения кровопролитности войн в человеческой истории по Steven Pinker в его работе «The Better Angels of Our Nature. The Decline of Violence in History and Its Causes»:



Сразу стоит оговорится, что Pasquale Cirillo and Nassim Nicholas Taleb в своем исследовании "What are the chances of a third world war?" использовав:
теорию предельных значений — Extreme value theory (спецраздел матстатистики для работы с «Черными лебедями», имеющими максимальное отклонение вероятности от среднего значения — ураганы, наводнения, землетрясения и т.д.)
и обобщенное распределение Парето — Generalized Pareto distribution (позволяет моделировать только хвост распределения),
доказали следующее:

Никакого спада насилия не наблюдается. А «долгий мир» — всего лишь очередная прогнозируемая пауза между глобальными войнами.

Возможно  вариант «меняющих свой цвет шаров» - способ спасения?
Он был предложен в ходе обсуждения новой работы Nick Bostrom с юзером brianwang712.

Представьте, что всякий раз, когда мы достаем очередной шар из вазы, это влияет на цвет остальных оставшихся в вазе шаров. Здесь важно, что некоторые белые шары, которые мы вытаскиваем из вазы (например, некие защитные технологии), осветляют цвет определенных серых или черных шаров, оставшихся в вазе.
Конкретным примером этого является суммирование достижений в области медицины за прошедшее столетие, которое снизило риск возникновения глобальной пандемии человечества.


И тогда метафора Nick Bostrom о доставании шаров из вызы не обязательно приведет к цивилизационной катастрофе — по крайней мере до тех пор, пока мы в состоянии четко различать те белые шары, что оказывают понижающее риск действие.

А дальше, уж как повезет!


/Источник/



Картинка кликабельна



Tags: Технологии, Цивилизация
Subscribe

  • Невидимая суть

    Когда-то, давным-давно писатель Юрий Коринец написал детскую фантастическую повесть "Заблудившийся робот". В этой повести на землю попадает некий…

  • Я научу тебя убивать драконов

    Давным-давно в небольшой деревушке жил мальчик. Однажды в деревню зашел старец, который сказал ему: -Пойдем со мной, и я научу тебя убивать…

  • Человек

    Один человек часто видел во сне дом. Это был дом, который он впервые увидел младенцем. Первый кадр – его сносят вниз по лестнице, слева почему-то…

promo evan_gcrm march 28, 2018 19:35 141
Buy for 30 tokens
Основополагающим элементом, основным двигателем всей жизни, является репликатор. Скопированная информация - это и есть «репликатор». На Земле первый репликатор довольно бесспорный - это гены, или информация, закодированная в молекулах ДНК. Точнее это первый репликатор, о котором мы знаем.…
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments