Альберт-Ласло Барабаши открыл и математически обосновал безмасштабные сети (scale-free network).
По его мнению, они — основа мира.
Вселенная на всех уровнях как бы энергетически запитывается этой безмасштабностью, главный механизм которой «предпочтительность установления связей» (preferential attachment) — следствие из 2го закона термодинамики, гласящего, что для вселенной в целом энтропия (мера хаоса) возрастает.
Отвечая на вопрсы:
• как мозг, просеивая шум, выборочно запоминает только самое важное и не захлебывается в деталях;
• каким образом мозг обрабатывает информацию, отбрасывая большую часть её в пользу более простых нейронных описаний;
Новое экспериментальное открытие "High-dimensional geometry of population responses in visual cortex" позволило понять, как работает «балансировочный акт» — тот самый механизм компромисса между объемом данных и вылавливаемым из них «смыслом».
Все объясняется наличием критический («фазовых») переходов при наращивании размерности (детализации) входной информации.
Эти переходы нарушают свойство процесса обработки информации, названное «гладкостью» (непрерывностью), в результате чего небольшие изменения на входе могут генерировать большие изменения на выходе.
По сути, этот механизм позволяет выявлять во входных данных тот «один пиксель», изменение которого приведет к отображению в памяти уже другой ситуации.
Простите за не совсем корректный пример, но похожим образом работает развертка на экранах — меняются только определенные пиксели, а не все изображение.
Но как идентифицировать эти «критические пиксели»?
Нужно найти критический порог размерности (детализации), после которого появится фрактал (функция потеряет гладкость).
Иными словами, представления в памяти должны быть настолько подробными и объемными, насколько это было возможно, чтобы они оставались гладкими.
Паттерны нейронной активности настолько детализированы (многомерны), насколько это возможно, не становясь фрактальными (негладкими).
Подобное сулит переворот в алгоритмике глубокого обучения ИИ, сегодня просто не обладающего механизмом нахождения компромисса между степенью детализации данных и продуктивностью выявления закономерностей в них. Это понимание позволит усовершенствовать алгоритмы глубоко обучения ИИ, дабы они работали не тупо, как сейчас (за счет безумной производительности вычислений), а умно и экономно, как это делает мозг.
Пример:
Изрезанная береговая линия — это фрактал.
Если идете вдоль берега, открывающаяся взору картинка все время меняется, так как вся кромка берега состоит из зубцов. Избавьтесь от фрактала, не дав «взорваться» степени детализации.
Например, сфоткайте этот берег из космоса. И получите компромиссную по точности картину, информационно в миллионы раз меньшего объема, чем миллионы фото, снимаемых на каждом десятом шаге обхода побережья.
А «смысл» (понимание очертания побережья) вы при этом не потеряете.
/Источник №1//Источник №2//Источник №3/
Journal information