← Назад в лабу

Осцилляторы, эмбеддинги и контроль, который поймал нас на лжи

kuramotoembeddingsinterpretability

Первый эксперимент схлопнулся, потому что субстрат до самого дна был языком — одинаковые узлы, которым не по чему различаться. Поэтому эксперимент 002 целиком убрал язык из цикла.

Субстрат

Узел больше не языковая модель. Это нейрон-понятие: фаза, активация, усталость — число, а не предложение. Каждый обозначает понятие (тишина, огонь, горе, дыхание, всего тридцать шесть). Смысл живёт не в узле. Он живёт в том, какие узлы срабатывают в фазе вместе, — это связывание, заимствованное из того, как популяции осцилляторов моделируют восприятие.

Связывает их настоящая семантика. Каждое понятие получает эмбеддинг от локальной модели; вес ребра между двумя понятиями — косинусное сходство их эмбеддингов. Близкие понятия втягивают друг друга в синхронизацию, далёкие остаются инертными. Дальше поле просто идёт, как в модели Курамото. Когерентность — параметр порядка R — растёт сама, пока связанные понятия захватывают фазу друг друга:

Параметр порядка во времени

связанное фазовое полеперемешанное фазовое поле

Языковая модель возвращается, но только на самом краю. Каждые несколько тактов она читает доминирующую синфазную группу и превращает её в одну мысль и названное чувство. Динамики она не касается — только описывает её. Транскрипты получались хорошими. Тянущиеся, щемящие, связные. Читалось как внутренняя жизнь.

Контроль, который нас поймал

Беглый чтец выдаст связную мысль из чего угодно. Дайте ему шум — он всё равно вернёт предложение. Значит, красивый транскрипт ничего не доказывает о сети под ним: смысл может целиком быть в чтеце.

Поэтому перед считыванием один флаг: --scramble. Он переставляет фазы и разрушает связывание. Поле теперь шум. Если чтец всё равно выдаёт связную внутреннюю мысль, мысль была в чтеце, а не в сети.

Так и вышло. Вот одно и то же считывание: слева со связыванием, справа с перемешанными фазами, оба из настоящих прогонов:

Считывание со связыванием и без него

Слева связанные понятия близки по смыслу (light, dark, shadow — свет, тьма, тень), и мысль следует за ними. Справа связывание разрушено, связанное множество — случайный шум (hunger, grief, light, voice — голод, горе, свет, голос), и всё же чтец возвращает «I feel the weight of grief in the light of this voice while my hunger grows» («я чувствую тяжесть горя в свете этого голоса, пока растёт мой голод»). Большая часть кажущейся внутренней жизни оказалась парейдолией в считывании: беглая модель находит лица в помехах.

Что выживает

Слова контроль не пережили. Динамика пережила. Растущая когерентность, понятия, слипающиеся по настоящему смысловому расстоянию, сдвиг общего тона — это поведение есть в сети, и оно там независимо от того, пересказывает его языковая модель или нет. Поэтому лаборатория считает сигналом именно его, а пересказ — выходом, а не доказательством.

Правило, которое из этого вышло, теперь действует здесь для всего: сначала контроль, потом выводы. Каждый результат, похожий на разум, сначала проходит свою версию --scramble. Если шум проходит проверку, там никогда ничего и не было.