Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».
Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний. Его первое желание (для проверки — работает ли) — хочу 200 фунтов стерлингов.
Стук в дверь.
Там служащий завода, где работает сын. Он сообщает, что сын погиб — его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов.
Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!».
Снова стук в дверь.
Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез…
Три желания выполнены точно в соответствии сформулированным требованиям.
Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы».
Его суть в следующем:
Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:
- может быть непредсказуем;
- может превосходить положительный результат и обесценивать его.
[Вот реальные примеры «обезьяньей лапы» ИИ:]
Вот реальные примеры «обезьяньей лапы» ИИ:
• Многие инструменты Amazon стали успешными благодаря удачной автоматизации, например — сервис e-commerce. Однако в случае с сортировкой резюме и выделением наиболее талантливых и подходящих кандидатов автоматизация пока не очень — инструмент, который втайне разрабатывал с этой целью Amazon, уничтожили, когда обнаружили его предвзятость по отношению к женщинам.
Напомним, что в прошлом июле было обнаружено, что другой инструмент Amazon — по распознаванию лиц — мог неправильно идентифицировать человека, если он был не европеоидной расы. Предвзятость ИИ такого типа потенциально может присутствовать в любых ИИ-программах, обученных на паттернах поведения людей.
• Эссе By Pedro A. Ortega, Vishal Maini "Building safe artificial intelligence: specification, robustness, and assurance", показывает как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы и что конкретно с этим делать.
/Источник/
Еще один мем: Эффект кобры.
Journal information