Синестесия: визуализация межчувственных связей

Рубрикатор:

[1] Концепция [2] Теоретическая рамка [3] Стратегии перевода: от сигнала к форме 3.1 Звук → образ 3.2 Эмоция / внутреннее состояние → форма 3.3 Синхрония между субъектами → визуальный паттерн [4] Синестезия без мозга как медиума: исторический контрапункт [5] Вывод

Когда в 1965 году Элвин Люсьер прикрепил электроды к своей голове и позволил альфа-волнам мозга управлять ударными инструментами, он поставил вопрос, который до него не формулировался так прямо: может ли мозговая активность стать самостоятельным визуальным и звуковым языком, или она лишь сырой материал, который художник всё равно вынужден интерпретировать? Партитура «Music for Solo Performer» зафиксировала этот вопрос буквально: нейросигнал в ней стал и инструментом, и нотным текстом одновременно.

Синестезия — явление, при котором стимуляция одного органа чувств автоматически вызывает реакцию другого, — давно привлекает художников как модель тотального сенсорного опыта. Однако большинство её визуальных воплощений в истории искусства оставались лишь метафорой: Кандинский сопоставлял цвет и звук умозрительно, опираясь на собственную интуицию, Скрябин вписывал цветовую строку в партитуру как поэтический жест. Нейроарт меняет эту логику радикально. Он предлагает не аналогию между чувствами, а прямой канал от мозга к визуальной форме. Нейросигнал перестаёт быть метафорой и становится материалом.

Но именно здесь возникает парадокс, который это исследование намерено рассмотреть вплотную. Нейросигнал объективен, он фиксируется прибором. Однако каждый художник, работающий с мозговой активностью, неизбежно делает выбор: какой параметр снимать, каким визуальным средством его воплощать, для кого этот перевод предназначен.

Для проверки этой гипотезы мы обратимся к нескольким художественным работам, в каждой из которых реальные нейроданные становятся основой визуального объекта.

Самыми распространенными феноменами в контексте синестезии выделяют звук, внутреннее состояние или межсубъектную синхронию. Это разнообразие позволит проследить, как меняется стратегия перевода в зависимости от того, что именно художник пытается сделать видимым.

1. Синестезия как нейрологический и художественный феномен

В нейронауке понятие синестезии описывает конкретный механизм: автоматическое, непроизвольное и стабильное возникновение одного сенсорного переживания в ответ на стимул, адресованный другому. Человек с цвето-звуковой синестезией не «представляет» цвет, слыша ноту, а напрямую его воспринимает. Это различие принципиально, потому что именно оно отделяет синестезию от аналогии.

В истории искусства, однако, граница между нейрологическим фактом и художественным приёмом систематически размывалась. Когда Кандинский писал о соответствии жёлтого цвета звуку трубы, он описывал собственный опыт, но выстраивал из него универсальную систему. Большинство художников-синестетов до появления нейротехнологий были обречены на этот сдвиг: субъективное переживание можно было только интерпретировать, но не передать напрямую. Нейроарт меняет условия задачи, делая её частично измеримой за счет научной составляющей.

2. Мозговая активность как медиум

Понятие медиума в искусстве традиционно указывает на материал, через который реализуется художественный замысел: холст, звук, тело. Когда мозговая активность становится медиумом, она занимает в этой цепочке необычное место, становясь одновременно и источником, и инструментом, и содержанием работы.

ЭЭГ фиксирует суммарную электрическую активность нейронных популяций на поверхности скальпа. Это не «мысли» или «эмоции» в прямом смысле — это паттерны, которые коррелируют с определёнными состояниями. Художник, работающий с ЭЭГ, работает именно с этой корреляцией, и выбирает, как с ней работать. Эти выборы как раз добавляют художественный аспект в, казалось бы, нейронаучное исследование.

Это делает мозговую активность медиумом особого рода. Он теряет нейтральность, и его «материальность» уже сама по себе является интерпретацией.

3. Перевод vs. документация

Важно разделить понятия перевода и документации. Документация предполагает, что существует некий оригинал, который фиксируется максимально точно. Перевод предполагает, что оригинал принципиально не может быть воспроизведён в другой системе без потерь и трансформаций. При переводе сам акт трансформации является значимым.

Нейросигнал нередко подаётся художниками и критиками именно в документальной логике: вот данные мозга, вот их визуализация. Но это описание скрывает цепочку решений, каждое из которых конструирует смысл заново. Какой параметр снимается? Через какой алгоритм пропускается? Какой визуальный язык выбирается для его воплощения, и почему именно он кажется художнику «честным» отображением внутреннего состояния?

Три выделенных понятия образуют ту самую аналитическую сетку, через которую будут последовательно рассмотрены конкретные художественные работы.

Рассматриваемые для аналитики кейсы сгруппированы по типу синестетической связи, о которых было упомянуто в начале. Мы последовательно рассмотрим перевод звука в образ, визуализацию внутренних состояний и паттерны межсубъектной синхронии.

Перевод звука в визуальный образ — это задача, которую синестезия решает автоматически и непроизвольно: человек с цвето-звуковой синестезией не выбирает, каким цветом окрасится услышанная нота, ответ вызывается органически. Именно эта «автоматичность» и отсутствие интерпретирующего зазора между стимулом и реакцией является определяющим признаком синестетического опыта.

Нейроарт в этой группе работ воспроизводит ту же логику технологически: мозговая активность, вызванная или выраженная через звук, напрямую порождает визуальную или физическую форму без того, чтобы художник выбирал, как именно её изобразить.

Вопрос, однако, в том, насколько этот канал действительно прямой. Между нейросигналом и итоговым образом всегда стоит цепочка решений. Именно эта цепочка и определяет, является ли работа синестетическим документом или синестетической конструкцией.

Работа Элвина Лусье «Music for Solo Performer» задаёт полюс минимального авторского вмешательства. Лусье прикрепляет электроды к скальпу, усиливает альфа-волны и подключает их к ударным инструментам. Те начинают вибрировать от сигнала. Итоговый арт-объект здесь — не только звуковой перформанс, но и визуал процесса: зал, провода, тело художника, неподвижно сидящего с закрытыми глазами, и дрожащие мембраны барабанов.

Это пример максимально прямого перевода, в котором физический сигнал запускает физический объект без посредников.

Дэвид Росенбум идёт в том же направлении, но усложняет задачу. Росенбум разрабатывает систему, в которой ЭЭГ нескольких участников управляет синтезом звука и генерацией нотного текста в реальном времени. У этого автора цепочка решений для получения результата удлиняется.

Росенбум первым ставит вопрос об авторстве в нейроарте: если партитура генерируется мозгом, кто её написал?

В работе «The Octave of Visible Light» Лия Чавес переносит этот принцип в пространство галереи и расширяет его до коллективного измерения. Аудитория надевает ЭЭГ-шлемы во время медитации под руководством художницы — мозговые волны зрителей в реальном времени меняют звук и свет в зале. Чавес сдвигает фокус с индивидуального перевода на коллективный, заставляя зрителя задуматься, чей именно мозг производит изображение, если источников несколько.

Это, кстати, размывает границу между автором и аудиторией, которая у Люсьера была абсолютно чёткой.

Работа с переносом звука в форму обнажают внутреннее противоречие, заложенное в самой идее нейросинестезии.

Люсьер сводит цепочку воплощения нейроарта к минимуму, и его работа находится ближе всего к синестетическому идеалу прямого канала. Росенбум усложняет систему, вводя множество источников и генеративную партитуру. Батох добавляет культурный контекст, окрашивающий сам акт перевода. Чавез растворяет индивидуальный источник в коллективном, но при этом оставляя единый синестетический звуковой объект.

Чем дальше мы движемся от Люсьера, тем очевиднее, что художник не полностью воспроизводит синестетический опыт, а создаёт его эквивалент. Вопрос о том, где заканчивается перевод и начинается фикция, остаётся открытым.

Что происходит, когда источником оказывается не внешний стимул, а внутреннее состояние? Эмоция, аффект, медитативное погружение не имеют органа восприятия, который можно было бы стимулировать извне. Они возникают изнутри и в норме не производят никакого автоматического визуального коррелята. Именно здесь нейроарт берёт на себя роль, которую синестезия выполняет для немногих: он создаёт принудительный канал между внутренним состоянием и внешней формой, делая видимым то, что в обычном опыте остаётся полностью приватным.

«Brainwave Drawing» Нины Собелл предвосхищает всю последующую группу на сорок лет. В 1973 году она выстраивает систему, в которой два участника одновременно видят собственные мозговые волны на мониторе замкнутого видеоконтура и молча пытаются воздействовать друг на друга через взгляд, присутствие или намерение. Визуальный объект здесь двойственен: это одновременно нейросигнал и портрет отношения.

Собелл первой ставит вопрос, который окажется центральным для арт-опытов интерпретации внутреннего состояния в форму посредством нейротехнологий: можно ли считать ЭЭГ-кривую изображением внутреннего состояния, или она остается всего лишь его электрический следом?

«Eunoia» Лизы Парк отвечает на этот вопрос радикально конкретным решением. Художница надевает ЭЭГ-шлем NeuroSky, садится в центр пяти чаш с водой и пытается достичь полной неподвижности сознания. Данные о внимании и медитации в реальном времени управляют звуком через Max/MSP, благодаря чему звук задает вибрацию воды.

Здесь форма — это буквально поверхность воды. Тело Парк окружено чашами с жидкостью, каждая из которых дрожит, застывает, реагирует в зависимости от состояния её мозга. Перевод здесь предельно материален: нейросигнал становится вибрацией, а вибрация становится видимым паттерном на жидкости. При этом художница выбирает именно воду не случайно. Ее нестабильность, способность мгновенно отвечать на малейшее воздействие и возвращаться к покою, точно соответствует логике медитативного контроля, который Парк исследует.

В «Eunoia II» Лиза Парк разворачивает ту же систему, но в принципиально ином направлении. Если в первой версии художница стремилась к тишине и неподвижности, здесь она движется в противоположную сторону, к максимальному выражению.

48 чаш соответствуют 48 эмоциям, описанным Спинозой в «Этике». Сам перформанс выглядит как картографирование аффекта, в котором философская система становится физическим пространством. Это важный сдвиг относительно «Eunoia». В первой версии перформанса нейросигнал был индексом покоя или его отсутствия. Здесь же он распределяется по импровизированной связке чувств, стремясь проявить как можно больший спектр внутренних чувств.

В «Melting Memories» Рефик Анадол поднимает ставки до другого масштаба. Анадол сотрудничает с лабораторией Neuroscape в UCSF, получая доступ к широкому полю исследования.

В его перформансе участник вспоминает эмоционально значимые моменты жизни, ЭЭГ фиксирует активность в бета- и тета-диапазонах, данные обрабатываются алгоритмами машинного обучения и проецируются на LED-стену. В качестве синестетической визуализации зритель получает волнообразные, текучие структуры, напоминающие одновременно нейронные сети, океанские волны и цветение. Именно здесь разрыв между нейросигналом и визуальной формой становится наиболее очевидным: между ЭЭГ-данными и итоговым изображением стоит несколько слоёв алгоритмической обработки, каждый из которых является художественным решением.

«Melting Memories» находится на дальнем конце нашего спектра перевода — максимально далеко от, например, прямого физического сигнала Люсьера. Это не делает работу менее честной, но делает её наиболее уязвимой к вопросу: что именно мы видим, когда смотрим на эти волны — саму память, или образ памяти, созданный алгоритмом? Здесь возникает и более фундаментальный вопрос синестетического характера: когда между нейросигналом и итоговой формой стоит несколько слоёв машинной обработки, исчезает ли сама автоматичность, которая делает синестезию синестезией?

Ответ, по всей видимости, утвердительный. В данной работе мозг становится лишь предметом огромной цепочки вычислений. И это вычисление принципиально отличается от непроизвольного межчувственного отклика живого мозга.

«Melting Memories» — не синестетический документ, а синестетическая метафора, реализованная технологическими средствами. Это не умаляет работу, но точно определяет её место в нашем спектре: Анадол находится на полюсе максимальной конструкции, где авторский выбор полностью вытесняет автоматизм нейросигнала.

Замыкает группу Лусиана Хэйл и «Dreamachine» — работа, которая переносит внимание с дневного сознания на его границу. Хэйл снимает ЭЭГ в пресомнических состояниях, в момент, когда человек уже не бодрствует, но ещё не спит. Это зона, где мозг производит спонтанные образы, не поддающиеся волевому контролю.

Визуализации мозговой активности в этих состояниях документируются и становятся основой графики и видеообъектов, фиксирующих активность, которую сам субъект не может наблюдать и не помнит. Хэйл ставит самый радикальный вопрос этой группы: что происходит с переводом, когда переводить нечего — потому что оригинального переживания как такового не существует? Предсомническая активность не осознаётся субъектом, а значит, художник работает не с опытом, а с его нейронным субстратом напрямую.

Работы, исследующие чувства, обнажают принципиальное напряжение: чем богаче внутреннее состояние, которое художник пытается визуализировать, тем больше авторских решений стоит между нейросигналом и итоговой формой.

Собелл фиксирует волну как след присутствия. Парк превращает её в дрожь воды. Анадол растворяет её в алгоритмическом образе. Хэйл работает с состоянием, которое субъект не переживает сознательно. Следующая группа перенесёт этот вопрос в принципиально иное измерение, от индивидуального состояния к межсубъектному паттерну.

Синестезия в нейрологическом смысле — это всегда событие внутри одного субъекта: один канал восприятия автоматически активирует другой. Но что происходит, когда синестетическая логика переносится в пространство между людьми? Работы этой группы предлагают именно такой сдвиг: предметом визуализации становится не то, что один мозг производит в ответ на сенсорный стимул, а то, что возникает в момент резонанса между мозговыми волнами нескольких субъектов одновременно.

Ранее мы рассматривали работу Лии Чавес основанную на ощущениях медитирующей группы. Однако мы не могли отнести ее в спектр группового опыта, ведь в в этой работе все еще фиксировался индивидуальный опыт каждого отдельного участника, а не отклик на коллективность.

Межсубъектная синхрония здесь функционирует как синестетический феномен особого рода, в котором один канал восприятия, чужое присутствие, автоматически вызывает отклик в другом, собственном нейронном ритме.

Будет важно снова обратиться к Нине Собелл и «Brainwave Drawing», но теперь в ином свете. В контексте предыдущей группы эта работа читалась как попытка визуализировать внутреннее состояние через электрический след.

Однако она обнаруживает и второй смысловой слой: два участника не просто демонстрируют собственные волны — они пытаются повлиять друг на друга через намерение. Экран между ними становится не просто монитором, а зеркалом отношения. Собелл интуитивно нащупывает то, что нейронаука формализует десятилетия спустя под понятием межмозговой синхронии, и делает это задолго до появления технологий для её точного измерения.

Работа Сюзанны Диккер и Маттиаса Острика «Mutual Wave Machine» — первая в корпусе работа, где межсубъектная синхрония является не побочным эффектом, а прямым предметом исследования. Два участника входят в замкнутую капсулу и оказываются внутри аудиовизуальной среды, которая реагирует на степень совпадения их ЭЭГ-паттернов в реальном времени. Вокруг них — меняющийся свет и звук, которые они сами производят, просто находясь рядом, яркость, насыщенность, ритм нарастают при синхронии и рассыпается при рассогласовании.

Но здесь сразу возникает вопрос, который Диккер как нейроучёный формулирует открыто: синхрония мозговых волн коррелирует с ощущением близости, но не является её причиной. Машина показывает корреляцию, не связь. Это различие принципиально для понимания того, что именно визуализирует паттерн.

Совместная работа Сюзанны Диккер, Маттиаса Острика и Марины Абрамович «The Magic of Mutual Gaze» переносит ту же логику в другой контекст и обостряет её. Два участника сидят друг напротив друга и в течение тридцати минут молча смотрят друг другу в глаза — что, кстати, является прямой отсылкой к практикам Абрамович. Их ЭЭГ-синхрония визуализируется как молния, вспыхивающая между двумя анимированными моделями мозга.

Выбор молнии как визуального языка симптоматичен: это образ мгновенного, непредсказуемого соединения, но также и разряда, который гасит себя сам. Взаимный взгляд как контекст добавляет слой, которого не было в «Mutual Wave Machine»: здесь синхрония производится намеренно, через усилие присутствия. Это ставит вопрос о том, измеряет ли система то, что происходит между людьми — или то, что они делают, чтобы произвести это на экране.

«Wave UFO» Марико Мори даёт расширение нашей группе.

Три участника одновременно укладываются внутри огромной скульптуры в форме капли, надевают ЭЭГ-шлемы и смотрят на купол, где их совокупная мозговая активность в реальном времени генерирует абстрактную визуализацию в системе MAYA.

Здесь намерение и любой физический контакт отсутствую как таковые — коллективный опыт здесь формирует изоляция, в которой участники чувствуют лишь бесконтактное присутствие друг друга в одном пространстве. Работа строится именно на неформальном чувстве общности, превращая её в совместный визуальный опыт.

«Harmonic Dissonance» Сюзанны Диккер и Маттиаса Острика завершает группу как наиболее масштабный и открытый эксперимент.

Здесь ЭЭГ и датчики движения носит уже целая группа участников — их брейнвейв-синхрония и двигательные паттерны визуализируются как постоянно меняющаяся световая сеть в пространстве. Паттерн отображает динамику группы как системы. Визуальный объект здесь принципиально нестабилен — он никогда не фиксируется, потому что группа постоянно меняется. Это делает «Harmonic Dissonance» наиболее радикальным случаем перевода внутри рассматриваемой группы: то, что визуализируется, не существует как объект — только как процесс.

Самым ярким из рассмотренных перформансов коллективности эту работу можно назвать за счёт самого широкого спектра взаимодействия: наконец-то в контекст взаимодействия субъектов добавляется физическая активность и подвижность. Тем не менее, за счет такого широкого спектра точек фиксаций для визуализации, эту работу по степени вмешательства в органичный отклик мозга можно поставить рядом с работами Анадола.

Три группы кейсов, рассмотренные в этом разделе, обнаруживают одну устойчивую закономерность: чем сложнее синестетическая связь, которую художник пытается визуализировать, тем длиннее цепочка авторских решений между нейросигналом и итоговой формой, и тем дальше работа оказывается от синестетического идеала автоматического, непроизвольного перевода.

Люсьер, стоящий в начале корпуса, максимально приближается к этому идеалу: физический сигнал запускает физический объект почти без посредников. Анадол и «Harmonic Dissonance» работают с состояниями и процессами, которые принципиально не поддаются прямой фиксации, и именно поэтому требуют наиболее развёрнутой интерпретации и технического вмешательства.

Все работы, рассмотренные в третьем разделе, объединяет одно техническое условие: нейросигнал является в них не только метафорой, но и буквальным материалом. Он измеряется прибором и напрямую участвует в производстве визуальной или звуковой формы.

Но синестезия как художественная задача существует задолго до ЭЭГ, и художники решали её без какой-либо технологии считывания мозговой активности. Сравнение с этими решениями позволяет поставить вопрос точнее: что именно меняет нейротехнология в логике синестетического перевода, и меняет ли она что-то принципиальное?

Исходная точка сравнения — Василий Кандинский, чья система соответствий между цветом и звуком, изложенная в трактате «О духовном в искусстве» (1911) и воплощённая в «Композициях», остаётся наиболее разработанной теорией синестетического перевода в истории искусства.

Кандинский безоговорочно был синестетом: жёлтый для него звучал как труба, синий уходил в низкие регистры виолончели. Но его живопись не документировала этот опыт, а строила из него универсальную систему, претендующую на объективность.

«Композиция VII» — холст, который можно читать как партитуру. Здесь нет нейросигнала, но есть интуиция, переведённая в живопись. Перевод многоступенчатый, полностью авторский и при этом претендующий на всеобщность.

Именно это отличает Кандинского от всего нашего корпуса. Художники-нейроарта никогда не претендуют на универсальность своих систем, а работают с конкретным мозгом в конкретный момент.

Кэрол Стин — художница-синестет, рисующая собственные синестетические образы по памяти сразу после их возникновения. Её акварели и рисунки фиксируют то, что она видит, слыша определённые звуки или испытывая физические ощущения. Работы Стин — это наиболее прямой аналог Хэйл: обе работают с тем, что субъект не может полностью контролировать. Однако Хэйл фиксирует нейросигнал прибором, не имея доступа к субъективному переживанию. Стин же фиксирует субъективное переживание по памяти, не имея никакого объективного измерения.

Обе получают неполный портрет синестетического опыта, но с противоположных сторон. Это сравнение обнажает фундаментальный предел нейроарта: ЭЭГ фиксирует электрическую активность, но не то, каково её переживать. Субъективное измерение синестезии остаётся недоступным для прибора так же, как объективное измерение остаётся недоступным для кисти.

Оскар Фишингер решает задачу перевода звука в визуальный образ через абстрактную анимацию. Его фильмы «Композиция в синем», «Оптическая поэзия» строятся на точном соответствии между музыкальной структурой и движением геометрических форм: ритм, темп, динамика звука непосредственно управляют визуальным рядом.

Фишингера можно назвать прямым аналогом группы 3.1. Однако феномен синестезии в его работах реализован через интуицию художника, а не через нейросигнал. Сравнение здесь наиболее наглядно: и Собелл, и Фишингер переводят чувственную синестетическую структуру в визуальную форму. Результаты визуально несопоставимы: у Фишингера — контролируемая, эстетически выверенная система, у Собелл — непредсказуемая, зависящая от физиологического состояния исполнителя в конкретный момент.

Четыре исторических кейса вместе позволяют сформулировать то, что внутри корпуса оставалось косвенным. Нейротехнология в действительности делает синестетический перевод частично неподконтрольным художнику.

Кандинский строит систему и воплощает её, Скрябин предписывает соответствие и фиксирует его в партитуре, Стин реконструирует опыт по памяти, Фишингер переводит звук в движение через авторскую интуицию. И во всех четырёх случаях художник является полным автором системы перевода.

В нейроарте ситуация другая: факт записи нейросигнала как биологической коррективы вносит в работу данные, которые художник не выбирал и не мог предсказать.

Это не делает нейроарт более синестетическим. Синестезия определяется не источником сигнала, а механизмом межчувственной связи. Но это меняет природу авторства: художник в нейроарте проектирует не образ, а условия, при которых образ может возникнуть сам.

Анализ к показал, что исходная постановка вопроса была недостаточно точной. На деле нейроарт создаёт новый тип синестезии, в котором автоматизм межчувственной связи в определенной мере делегирован системе, а не всецело принадлежит субъекту даже не смотря на разную степень технического вмешательства. Художник перестаёт быть переводчиком собственного опыта и становится архитектором условий, при которых перевод может произойти сам. Именно добавление мозга как медиума в контекст помогает расширить документирование синестетического опыта до нового типа.

Сравнение с Кандинским, Скрябиным, Стин и Фишингером сделало это различие наглядным. Все четверо контролируют соответствие между стимулом и образом от начала до конца. Именно неподконтрольность нейроарта, а не технология сама по себе, отличает нейроарт от всей предшествующей традиции синестетического перевода.