В своей новой работе "The Vulnerable World Hypothesis" Nick Bostrom,
• классифицирует и анализирует сценарии, при которых технологические уязвимости подводят мир к краю пропасти;
• предлагает два взаимодополняющих варианта действий, способных, по его мнению, помочь человечеству избежать гибели.
Nick Bostrom признанный авторитет для самых известных и влиятельных людей бизнеса. А поскольку его новая работа ориентирована на сильных мира сего, способных определять путь развития человечества, она может повлиять не только на крупных бизнесменов, но и на ведущих политиков. И не только в вопросах технологий, а также в вопросах безопасности и геополитики.
Черный шар.
Начать стоит с объяснения, почему есть все основания полагать, что мир подошел к пропасти. Что это не очередная страшилка техно-пессимистов, а вполне обоснованная оценка существующих экзистенциальных рисков.
Когда люди изобретают новую технологию, никто не знает заранее всех её побочных отрицательных эффектов. Они выявляются потом, уже в ходе использования технологии.
• Например, сначала люди начали широко использовать хлорфторуглероды для аэрозолей и холодильников.
• Потом выяснилось, что они истощают защитный озоновый слой.
• Лишь после этого человечество начало с этим бороться.
Иногда последовательность иная:
• Сначала ГМО все боятся.
• Потом появляется масса исследований, предполагающих отсутствие здесь тотальной опасности.
• Затем весьма авторитетные люди (Нассим Талеб и Янир Бар-Ям) объясняют, что оптимистические исследования ошибочны, и потенциальный риск недопустимого уровня.
• Пока Талеба и Бар-Яма не слышат, а потом — кто знает.
Насколько катастрофической может оказаться последовательность циклов оптимистической и пессимистической оценки рисков, Nick Bostrom показывает на следующем примере:
В 1942 один из ученых Манхэттенского проекта поделился с его руководителем опасением, что ядерный взрыв создаст температуру, беспрецедентную в истории Земли, и тем самым создаст условия, подобные тем, что в центре Солнца, и это может вызвать самопроизвольное распространение термоядерной реакции в окружающем воздухе или воде.
Проверочные расчеты показали, что это будто бы не так. Риска гибели планеты, вроде как, нет. После чего решились на проведение эксперимента Trinity.
И ура!
Эксперимент подтвердил правильность расчетов.
Но ужас в том, что смысл резюме заключения о возможности проведения эксперимента Trinity, был такой — риск гибели планеты весьма маловероятен, но хорошо бы проверить экспериментально…
А спустя 12 лет в секретном ядерном эксперименте Castle Bravo планировалось испытать опытный экземпляр термоядерной бомбы на основе лития. И поскольку никто точно не знал, как рванет такая бомба, повторилась ситуация эксперимента Trinity.
Провели расчеты, и получилось, что рванет на 6 мегатонн с диапазоном неопределенности 4–8 мегатонн. На деле был превышен даже максимальный порог — взрыв получился в 15 мегатонн (примерно 1000 Хиросим!) и разрушил большую часть испытательного полигона вместе со всем оборудованием.
Но что, если бы ошиблись в расчетах не эксперимента Castle Bravo, а эксперимента Trinity???
Ведь называя вещи своими именами, миру просто повезло!
Nick Bostrom предлагает для объяснения этого везения следующую метафору:
Представьте человека или группу людей, вытаскивающих из вазы лежащие в ней шары, символизирующие всевозможные идеи, открытия, технологические изобретения. В течение истории мы извлекли большое количество шаров — в основном белых (полезных), а также различных оттенков серого (полезных и в то же время умеренно вредных). Кумулятивный эффект влияния всех новаций на состояние человечества до сих пор был в целом положительным, и может быть намного лучше в будущем.
Но до сих пор мы не достали ни одного черного шара — технологию, которая непреднамеренно, но обязательно разрушит цивилизацию, достигнув определенного уровня развития. И причина не в том, что мы были особенно осторожны или мудры в нашей технологической политике. Нам просто везло.
Ну а если вытянем наконец черный?
К этому можно и нужно подготовиться — считает Nick Bostrom.
Варианты рисков.
Тип 1: «Простенькая бомбочка или демократизация массового уничтожения» (“easy nukes”), когда ядерную бомбу или иной смертоносный технологический артефакт может сделать или купить, если не каждый, то многие (включая крезанутых и фанатиков).
Ведь то, что атомная бомба требует несколько кило плутония или высокообогащенного урана (произвести которые очень трудно и дорого) — просто гигантская везуха для человечества.
Представьте себе, что было, если бы для получения энергии атома не потребовались редкие и дорогие вещества и операции. Что если бы, например, можно было получить доступ к атомной энергии, просто пропуская электрический ток через металлический предмет, помещенный между двумя стеклами.
И что тогда?
Ведь запретить стекло или металлические пластины невозможно. До и ограничить их обращение тоже.
А ведь с программированием ИИ может получиться именно так. Никаких редких материалов и никаких сложных производственных процедур.
Тип 2а: «Безнаказанно ударить первым или стимуляция массового уничтожения» (“safe first strike”), когда какое-то государство решит, что уже получило необходимое технологическое превосходство, чтобы жахнуть по врагу первым.
Посмотрите на первое десятилетие истории ядерного оружия:
Человечеству просто жутко повезло, что США, имея абсолютное превосходство над СССР не решились на безнаказанный удар, подобный Хиросиме и Нагасаки.
И причина этого везения, скорее всего в свежей памяти об ужасах недавно закончившейся Второй Мировой.
Сейчас эта память выветрилась в головах политиков и военных. И если подобный перекос в силах повторится, например, вследствие ИИ-превосходства, мир получит вариант 2а.
Тип 2b: «Анархия и бардак» (“worse global warming”), когда полуанархические действия отдельных стран так неудачно сложатся, что в сумме их действий мир окажется перед угрозой каюка.
Будет ли это с неким худшим из вариантов разрушения озонового слоя или с иными потенциальными изменениями климата — не важно. Мир — система нелинейная. И если все государства будут лишь стремиться к обеспечению своих шкурных интересов, результат может быть непредсказуем и катастрофичен.
Тип 0: «Сюрпризы темной материи» (“surprising strangelets”), когда достигается некий уровень развития определенной технологии, несущий в себе запредельно высокий скрытый риск, что при его материализации (возможно, даже непреднамеренной) цивилизации приходит конец.
А поскольку человечеству не дано знать, где оно столкнется с подобным, то и вариантов исправить ситуацию может уже не быть. Просто вытянет человечество свой черный шар и всё.
Варианты действий.
Nick Bostrom рассматривает 2 варианта действий политиков по отношению к названным типам рисков/уязвимостей:
• Дурацкие действия (типа «ограничить/взять под контроль развитие конкретной технологии» и/или включить «промывание мозгов»)
• Умные действия («Профилактическое глобальное наблюдение и социальный контроль» в стиле китайского «Технологического Паноптикона» и «Глобальное правительство»)
Предлагаемые Nick Bostrom умные действия основаны на такой логике:
• Только эффективная профилактическая полицейская деятельность способна остановить отмороженных одиночек. А для этого нужно тотальное наблюдение.
• Только абсолютная координация, если не всех, то хотя бы крупнейших государств в стиле “мировое правительство”, способна остановить отмороженные режимы.
Каким образом предложенные два «умных действия» могут помочь предотвратить экзистенциальные риски для человечества?
Ведь для реализации «Тотального наблюдения» потребуется немало времени из-за технологических проблем. А для продвижения к «Глобальному правительству» времени потребуется еще больше из-за политических и социальных заморочек и шкурных интересов национальных элит. Ведь даже Объединенная Европа трещит по швам. А что там говорить о «Глобальном правительстве».
Одной из альтернативных гипотез балансировки экзистенциальных рисков может быть вариант где «большая война» не реализоваться — просто в силу неизвестной пока закономерности, лежащей в основе снижения вероятности массовой гибели людей с увеличением мощности вооружений — снижения «коэффициента кровопролитности».
• Возможно, так работает техногуманитарный баланс, снижая уровень смертельной внутривидовой агрессии человечества и «коэффициент кровопролитности» войн.
• А может в основе этой закономерности гипотеза Тревора Дюпую об адаптации цивилизаций к повышению летальности оружия, иллюстрируемая двумя нижеследующими графиками.
Или вот таблица снижения кровопролитности войн в человеческой истории по Steven Pinker в его работе «The Better Angels of Our Nature. The Decline of Violence in History and Its Causes»:
Сразу стоит оговорится, что Pasquale Cirillo and Nassim Nicholas Taleb в своем исследовании "What are the chances of a third world war?" использовав:
• теорию предельных значений — Extreme value theory (спецраздел матстатистики для работы с «Черными лебедями», имеющими максимальное отклонение вероятности от среднего значения — ураганы, наводнения, землетрясения и т.д.)
• и обобщенное распределение Парето — Generalized Pareto distribution (позволяет моделировать только хвост распределения),
доказали следующее:
Никакого спада насилия не наблюдается. А «долгий мир» — всего лишь очередная прогнозируемая пауза между глобальными войнами.
Возможно вариант «меняющих свой цвет шаров» - способ спасения?
Он был предложен в ходе обсуждения новой работы Nick Bostrom с юзером brianwang712.
Представьте, что всякий раз, когда мы достаем очередной шар из вазы, это влияет на цвет остальных оставшихся в вазе шаров. Здесь важно, что некоторые белые шары, которые мы вытаскиваем из вазы (например, некие защитные технологии), осветляют цвет определенных серых или черных шаров, оставшихся в вазе.
Конкретным примером этого является суммирование достижений в области медицины за прошедшее столетие, которое снизило риск возникновения глобальной пандемии человечества.
И тогда метафора Nick Bostrom о доставании шаров из вызы не обязательно приведет к цивилизационной катастрофе — по крайней мере до тех пор, пока мы в состоянии четко различать те белые шары, что оказывают понижающее риск действие.
А дальше, уж как повезет!
/Источник/
Картинка кликабельна
Journal information