Dream Decoding: сон как данные, изображение и медиа

Это визуальное исследование посвящено феномену dream decoding — попыткам считывать, интерпретировать и визуализировать содержание сновидений с помощью нейротехнологий, машинного обучения и систем реконструкции изображения. В центре работы находится не только вопрос о том, можно ли технически «увидеть» сон другого человека, но и более широкий культурный вопрос: что происходит с внутренним опытом, когда он начинает рассматриваться как данные, изображение и медиа.

Сон традиционно воспринимается как одно из самых закрытых пространств субъективности. Его невозможно напрямую показать другому человеку: он существует как переживание, воспоминание, рассказ, обрывок образа, который быстро распадается после пробуждения. Даже когда человек описывает сон словами, между самим переживанием и его внешней формой остаётся разрыв. Dream decoding интересен именно потому, что пытается сократить этот разрыв технологически: не через пересказ, рисунок или художественную интерпретацию, а через анализ активности мозга и построение визуальных соответствий.

Исследование строится через последовательность проектов и визуальных кейсов. Каждый из них показывает отдельную стадию превращения внутреннего состояния в медиа: от художественного образа сна — к лабораторной записи, от мозгового сигнала — к AI-реконструкции, от нейроданных — к инсталляции и этическому вопросу о приватности.

Мне важно рассматривать dream decoding не только как научную технологию, но и как визуальную ситуацию. Сон здесь постепенно меняет форму: сначала он существует как неуловимый образ, который художник или режиссёр пытается восстановить, затем попадает в лабораторную систему измерений, а после этого становится материалом для генеративных моделей, медиа-арта и этических вопросов. Так исследование показывает не «как буквально записать сон», а как современная культура всё ближе подходит к идее, что внутренний опыт можно переводить во внешние формы.

Теоретической основой исследования становятся работы о сознании, сновидениях, нейродекодировании и новых медиа. В исследованиях Horikawa и Kamitani сон переводится в экспериментальную процедуру: участники спят во время fMRI-сканирования, их мозговая активность фиксируется, а содержание сна затем сопоставляется с вербальными отчётами и визуальными категориями. (1)

Медиа-теоретическая рамка исследования опирается на Льва Мановича. Его принципы новых медиа — числовое представление, модульность, автоматизация, вариативность и транскодирование — помогают рассматривать dream decoding не просто как научный эксперимент, а как процесс перевода внутреннего опыта в компьютерно-обрабатываемый объект. (2)

При этом dream decoding не уничтожает тайну сна, а меняет её форму. Чем сложнее становятся технологии считывания, тем заметнее оказывается разрыв между переживанием и его реконструкцией. Технология показывает не сам сон «как он есть», а медиированную версию сна — изображение, собранное на пересечении мозга, языка, алгоритма, базы данных и культурных представлений о визуальном.

Ключевой вопрос исследования: что происходит со сновидением, когда оно перестаёт быть только внутренним переживанием и начинает рассматриваться как данные, которые можно считывать, реконструировать и визуализировать?

(1) Horikawa T., Tamaki M., Miyawaki Y., Kamitani Y. Neural Decoding of Visual Imagery During Sleep // Science. 2013. Vol. 340, no. 6132. P. 639–642.

(2) Manovich L. The Language of New Media. Cambridge, MA: MIT Press, 2001.

Исследование начинается с работы Сальвадора Дали, потому что она показывает сон как визуальную реконструкцию ещё до появления нейротехнологий. В названии картины уже заложена почти экспериментальная логика: внешний раздражитель — полёт пчелы вокруг граната — становится причиной сложной внутренней сцены, возникающей за секунду до пробуждения. Маленькое реальное событие превращается в масштабный визуальный образ, где тело, животные, оружие, море и гранат соединяются в одну тревожную композицию.

Для темы dream decoding эта работа важна не как научный пример, а как ранняя визуальная модель перевода сна. Дали пытается сделать видимым то, что в норме существует только внутри субъекта. Он не просто изображает «странный сон», а показывает сон как систему превращений: внешний стимул попадает в сознание и перерабатывается мозгом в драматическую, нелогичную, но эмоционально точную сцену.

В этом смысле живопись Дали можно рассматривать как доцифровую форму dream decoding. Художник не считывает активность мозга, но пытается реконструировать механизм сна через визуальные средства: резкое нарушение масштаба, фрагментарность, столкновение несовместимых объектов, ощущение мгновенного пробуждения.

Следующий кейс — фильм Inception. Он важен не как научный источник, а как популярная визуальная модель сна, которая уже мыслит сновидение технологически. В фильме сон представлен не как случайное внутреннее переживание, а как пространство, которое можно конструировать, редактировать, посещать и разделять с другими людьми. Сновидение превращается в архитектуру, интерфейс и среду.

Если у Дали сон остаётся живописной реконструкцией, то у Нолана он становится почти дизайнерской задачей. Его можно построить, стабилизировать, разрушить, взломать.

Для исследования это важный переход. Dream decoding появляется не в пустоте: до него уже существовали художественные и кинематографические фантазии о том, что сон можно увидеть, организовать и использовать. Inception формулирует эту фантазию визуально: сон становится средой, где можно работать с образом как с проектом.

Главный научный кейс исследования — работа Neural Decoding of Visual Imagery During Sleep. Именно здесь сон становится не художественной метафорой, а экспериментальной процедурой. Участники засыпали во время fMRI-сканирования, а исследователи одновременно фиксировали физиологические показатели сна. В supplementary materials к статье отдельно перечислены этапы эксперимента: sleep experiment, MRI acquisition, PSG recordings, EEG artifact removal, sleep-stage scoring, visual content labeling и decoding analysis. (1)

Визуально этот проект важен потому, что показывает сон не как готовую картинку, а как цепочку переводов. Человек видит сон, затем его будят, он описывает увиденное словами, эти слова превращаются в категории, категории сопоставляются с активностью мозга, а затем алгоритм ищет статистические соответствия между мозговым сигналом и визуальным содержанием.

На схеме visual content vectors сновидения представлены как матрица. По вертикали идут базовые категории — например building, character, book, car, food, street, room, face и другие. По горизонтали расположены отдельные пробуждения участников. Белые отметки показывают, какие категории присутствовали в словесном отчёте о сне. Так личное и нестабильное переживание превращается в таблицу признаков. (2)

Следующий шаг — проверка того, насколько эти признаки можно декодировать по активности мозга. ROC-кривые показывают качество распознавания отдельных визуальных категорий, а AUC-графики связывают это распознавание с разными областями зрительной системы. В результате сон выглядит уже не как единый образ, а как набор признаков, распределённых между языком отчёта, базой категорий и мозговой активностью. (3)

Этот кейс важен для всего исследования, потому что здесь dream decoding становится особенно наглядным. Технология не «достаёт» из мозга готовую картинку. Она сначала раскладывает сон на категории, затем сопоставляет их с паттернами активности мозга и только после этого делает выводы о возможном визуальном содержании. Сон превращается в систему соответствий: слово, категория, сигнал, вероятность.

(1) Horikawa T., Tamaki M., Miyawaki Y., Kamitani Y. Neural Decoding of Visual Imagery During Sleep. Supplementary Materials. 2013. (2) Там же. Fig. 3. (3) Там же. Fig. 12–13.

Один из самых зрелищных кейсов исследования — работа Yu Takagi и Shinji Nishimoto. Это не реконструкция снов, а реконструкция изображений, которые человек видел в бодрствующем состоянии. Но для темы dream decoding этот проект принципиален, потому что он показывает технологический контекст, в котором мозговая активность соединяется с генеративной моделью.

В статье исследователи предлагают метод реконструкции изображений из fMRI-активности с использованием latent diffusion model, связанной со Stable Diffusion. Они подчёркивают, что реконструкция визуального опыта по активности мозга помогает понять, как мозг репрезентирует мир, и как computer vision models соотносятся с человеческой зрительной системой. (1)

Главная визуальная сила проекта — в сравнении оригинала и реконструкции. На Figure 1 показаны presented images и reconstructed images from fMRI signals: верхний ряд — изображения, которые видел участник, нижний — реконструкции, полученные из мозговой активности. (2) Эти пары работают почти как визуальное доказательство всей темы. Реконструкция сохраняет общую семантику, силуэт или композиционную логику, но не совпадает с оригиналом полностью. Она выглядит как воспоминание, машинная галлюцинация или сон.

Здесь мозговая активность начинает работать почти как prompt для изображения. Картинка не извлекается из мозга напрямую, а собирается заново через латентное пространство генеративной модели. Поэтому результат находится между научной реконструкцией и AI-воображением. Это не фотография, но и не свободная фантазия нейросети. Это медиированное изображение, возникшее на границе мозга и модели.

(1) Takagi Y., Nishimoto S. High-Resolution Image Reconstruction with Latent Diffusion Models from Human Brain Activity // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. (2) Там же. Figure 1.

Работа Koide-Majima, Nishimoto и Majima важна, потому что она приближает исследование не к внешнему изображению, а к внутреннему образу. Авторы указывают, что реконструкция увиденных изображений по активности мозга уже возможна, но визуализация мысленных образов остаётся сложной задачей. Предыдущие успешные случаи визуализации воображаемых образов часто ограничивались узкими областями — например, лицами или буквами. (1)

Этот кейс нужен для связи реконструкции изображений по активности мозга и dream decoding. Сновидение, как и мысленный образ, не является простым повторением внешнего стимула. Оно собирает память, смысл, эмоции, фрагменты восприятия и внутреннюю логику субъекта. Поэтому реконструкция сна требует работы не только с низкоуровневыми визуальными признаками, но и с семантической информацией.

В статье говорится, что предложенная система смогла реконструировать как увиденные, так и воображаемые изображения по активности мозга. Авторы также отмечают, что такой подход может стать инструментом для исследования субъективного содержания мозга, включая иллюзии, галлюцинации и сновидения. (2) Для нашего исследования это почти прямой мост: от реконструкции увиденного — к реконструкции воображаемого, а затем потенциально — к реконструкции сновидений.

(1) Koide-Majima N., Nishimoto S., Majima K. Mental Image Reconstruction from Human Brain Activity: Neural Decoding of Mental Imagery via Deep Neural Network-Based Bayesian Estimation // Neural Networks. 2024. Vol. 170. P. 349–363. (2) Там же.

После научных кейсов исследование переходит к медиа-арту. Проект Refik Anadol Studio Melting Memories важен не потому, что он буквально реконструирует сны, а потому что показывает, как внутренние процессы могут становиться визуальной средой. Проект включает цифровые «картины данных», скульптуры с дополненной реальностью и световые проекции; он работает с темой памяти и эстетической интерпретацией EEG-данных. (1)

В контексте dream decoding Melting Memories можно рассматривать как художественный аналог нейродекодирования. Научные проекты стремятся извлечь или реконструировать визуальное содержание из мозговой активности, а Anadol создаёт самостоятельную поэтику нейроданных. Память здесь не показывается буквально. Она превращается в поток, поверхность, движение, свет, цифровую материю.

Этот кейс важен как визуальный мост между лабораторией и искусством. Он показывает, что данные о мозге могут существовать не только как графики и таблицы, но и как иммерсивная среда. Внутреннее состояние становится пространством, в которое входит зритель. Если dream decoding пытается увидеть сон, то Melting Memories показывает, как может выглядеть медиальная форма памяти: не точная запись, а эстетическая реконструкция.

(1) Refik Anadol Studio. Melting Memories. 2018

Финальный блок исследования посвящён этике. Dream decoding пока не позволяет буквально записывать сны как видео. Но сама возможность частичной реконструкции внутренних образов уже меняет представление о приватности. Если мозговая активность становится источником визуальных данных, возникает вопрос: кому принадлежат эти данные, кто имеет право их интерпретировать и где заканчивается согласие субъекта?

Wendy Hui Kyong Chun пишет о связи свободы и контроля в информационных технологиях. Она рассматривает сетевые медиа не только через экран, но и через скрытую инфраструктуру: аппаратное обеспечение, программы, интерфейс и более широкие политические условия технологии. (1)

(1) Chun W. H. K. Control and Freedom: Power and Paranoia in the Age of Fiber Optics. Cambridge, MA: MIT Press, 2006.

Dream decoding не делает сон полностью видимым. Технология не извлекает из мозга готовую запись, а создаёт реконструкцию — изображение, собранное через отчёт, сигнал, алгоритм и модель визуального сходства. Поэтому dream decoding важен не как окончательная победа над тайной сна, а как новый способ медиализации внутреннего опыта.

Через рассмотренные проекты видно, как меняется статус сна и мозговой активности. У Дали сон существует как живописная реконструкция внутреннего образа. В Inception он становится проектируемой средой. В исследовании Horikawa сон превращается в лабораторную процедуру, отчёт и набор визуальных признаков. У Takagi и Nishimoto мозговая активность становится основой для AI-реконструкции. У Koide-Majima внутренний образ рассматривается как сложная семантическая структура. В проекте Refik Anadol нейроданные становятся визуальной средой и художественным материалом.

Главный вывод исследования состоит в том, что dream decoding создаёт новый тип изображения. Это не фотография реальности, не чистая фантазия художника и не прямая запись сна. Это визуальный след внутреннего состояния, существующий на границе науки и искусства, данных и памяти, мозга и машины.

Сон в таком контексте перестаёт быть только психологическим или поэтическим явлением. Он становится объектом визуальной культуры: его можно измерять, классифицировать, моделировать, реконструировать и эстетически переосмыслять. Но чем ближе технология подходит к визуализации сна, тем заметнее становится невозможность полного совпадения между переживанием и картинкой. Реконструированный сон всегда остаётся неполным, размытым и медиированным.