Звук как визуальная форма: от нотной записи к авангардному кино

*Основа для обложки взята с сайта: (https://www.electronicbeats.net/ctm-and-transmediale-2015s-most-compelling-installations).

/ Концепция / Истоки визуализации звука: нотная запись как графическая форма / Экспериментальные методы звукозаписи / Абстрактная анимация и синтез звука / Саунд-арт и звуковая пластика: материализация звука / Заключение

Визуальное представление звука занимает значимое место в истории художественной культуры, находясь на пересечении искусства, технологий и особенностей человеческого восприятия. Стремление перевести звуковые явления в зрительные формы отражает желание человека расширить способы взаимодействия с музыкой и сделать её не только слышимым, но и визуально воспринимаемым явлением. На протяжении развития культуры предпринимались многочисленные попытки передать ритмические структуры, темп, динамику и эмоциональное содержание музыки посредством графических и пространственных образов.

История визуализации звука охватывает широкий спектр художественных и технических практик —от ранних систем музыкальной записи до современных мультимедийных и интерактивных проектов. Первые формы нотной фиксации уже представляли собой не просто систему условных обозначений, но и своеобразный визуальный язык, способный структурировать и интерпретировать музыкальное произведение. В дальнейшем развитие технологий и художественных методов позволило преобразовывать звуковые характеристики в цвет, движение, световые эффекты и пространственные конструкции, существенно расширяя границы чувственного восприятия.

На протяжении многих исторических периодов музыка и визуальное искусство развивались как взаимосвязанные формы художественного выражения. Уже в эпоху Возрождения предпринимались попытки выявить закономерности между музыкальными принципами и визуальной гармонией, а исследователи стремились обнаружить соответствия между звуковыми и цветовыми системами. В XVIII столетии появились первые устройства, основанные на идее сопоставления музыкальных тонов с цветом. Однако наиболее активное развитие исследований в данной области пришлось на XX век, когда представители художественного авангарда начали рассматривать звук не только как средство музыкального выражения, но и как самостоятельный художественный материал. Эксперименты с шумом, ритмом и звуковой средой привели к формированию новых направлений искусства, выходящих за пределы традиционного понимания музыки.

Во второй половине XX столетия процессы визуального осмысления звука начинают выходить за пределы графической фиксации и приобретают новые формы художественного выражения в кинематографе, анимации и пространственном искусстве. Экспериментальный кинематограф становится площадкой для исследований взаимосвязи звуковых и визуальных элементов: художники и режиссёры обращаются к изучению закономерностей между движением изображения, световыми эффектами, монтажной структурой и музыкальным ритмом. В подобных работах визуальный ряд перестаёт выполнять исключительно иллюстративную функцию и начинает существовать в тесной связи со звуковой средой. Творческие эксперименты авторов авангардного направления заложили основы дальнейшего развития современных аудиовизуальных форм, включая музыкальное видео и цифровое медиаискусство.

Параллельно в художественной среде формируются новые подходы к пониманию природы звука, что приводит к возникновению практик звукового искусства и пространственных звуковых объектов. Звук начинает рассматриваться не только как акустическое явление, но и как самостоятельный художественный материал, способный определять структуру окружающего пространства. Художники стремятся придать звуковым процессам физическое воплощение, создавая инсталляции и объекты, в которых взаимодействие формы, звуковой среды и зрительского восприятия образует единую систему.

Развитие цифровых технологий значительно расширило возможности исследования и художественной интерпретации звука. Современные методы обработки аудиоданных, алгоритмические системы генерации изображений и средства компьютерной визуализации позволяют преобразовывать акустические характеристики в динамические графические структуры, световые эффекты и трёхмерные модели. Благодаря этому звук приобретает новые способы существования и восприятия: он становится не только слышимым, но и визуально наблюдаемым, а также воспринимается как комплексный чувственный опыт, включающий зрительное и пространственное взаимодействие.

Данное исследование посвящено изучению эволюции визуального представления звука и рассматривает основные этапы его развития в различных художественных направлениях. Особое внимание уделяется анализу изменений не только визуальных способов интерпретации звука, но и трансформации художественных идей, концепций и смыслов, которые стремились выразить авторы в своих произведениях.

Одними из наиболее ранних зафиксированных форм визуального представления музыки считается древнегреческая буквенная нотация. В этом памятнике музыкальный текст гимна сопровождается буквенными знаками и ритмическими обозначениями, что позволяет рассматривать его как одну из ранних попыток графической фиксации звуковысотных отношений. Несмотря на условность современной расшифровки, данный пример демонстрирует стремление к визуальному кодированию музыкального материала задолго до формирования средневековой невменной системы.

Невмы представляют собой раннюю систему музыкальной записи, использовавшуюся в европейской средневековой традиции. Наиболее древние сохранившиеся памятники невменной нотации датируются IX веком.

Если рассматривать музыкальное звучание, включая вокальное пение, как организованную последовательность звуковых явлений, то невменные знаки, фиксирующие общее направление мелодического движения для церковного хора, могут быть интерпретированы как одна из первых попыток графического кодирования звуковой информации.

Развитие невменной записи привело к возникновению более структурированной формы нотного письма, связанной с реформами Гвидо д’Ареццо в XI столетии. Его система линейной нотации значительно упростила процесс музыкального обучения, особенно в хоровой практике, обеспечив более точную фиксацию высоты звуков.

В рамках педагогической методики он также ввёл так называемую «гвидонову руку» — визуально-кинестетическую модель, в которой отдельные участки ладони соответствовали ступеням звукоряда и использовались для наглядного представления мелодических интервалов.

После формирования основ современной нотной системы её развитие не остановилось и продолжилось в творческой практике последующих поколений композиторов. Значительный вклад в совершенствование музыкального языка, принципов записи и композиционных методов внесли выдающиеся представители европейской музыкальной традиции, среди которых Иоганн Себастьян Бах, Вольфганг Амадей Моцарт и другие авторы.

Особое место занимает Людвиг ван Бетховен, чьё творчество представляет особый интерес в контексте восприятия музыки. Несмотря на постепенную потерю слуха, начавшуюся в относительно молодом возрасте, композитор продолжал создавать произведения, опираясь на внутреннее музыкальное представление и способность мысленно воспроизводить и структурировать звуковые образы посредством нотной записи.

Стремление к сохранению и передаче культурного наследия на протяжении истории способствовало поиску способов фиксации не только текстовой и графической информации, но и самих звуковых явлений. В музыкальной сфере традиционная нотная запись позволяла сохранять структуру произведения, однако не могла передавать особенности звучания, тембр и исполнительскую манеру. Это привело к возникновению потребности в создании технических средств, способных фиксировать и сохранять акустическую информацию.

В контексте данного исследования особый интерес представляет графофон, разработанный Александром Грейамом Беллом и Чарльзом Тейнтером в 1880-х годах, ставший важным этапом в развитии технологий звукозаписи. Устройство стало важным этапом в развитии технологий звукозаписи, поскольку использовало усовершенствованный метод фиксации звуковых колебаний на восковом цилиндре, что позволило повысить качество записи и расширить возможности сохранения акустической информации.

Особый интерес графофона в рамках данного исследования обусловлен не только его функцией записи и воспроизведения звука, но и способом преобразования акустической информации в материальную форму. Принцип работы устройства основывался на передаче звуковых колебаний через механическую систему, которая фиксировала их на поверхности воскового цилиндра в виде рельефных углублений. Подобный метод позволял преобразовывать акустический сигнал в физически различимую структуру, представляющую собой своеобразное графическое отображение звуковых волн.

В контексте визуализации звука данная технология представляет особый интерес, поскольку впервые позволила не только сохранять акустическую информацию, но и придать ей материально выраженную форму. По сравнению с ранними системами записи графофон обеспечивал более высокое качество фиксации и воспроизведения звука благодаря использованию воскового носителя, что расширило возможности работы с аудиальным материалом.

Развитие графофона сопровождалось постепенным совершенствованием способов фиксации и хранения акустической информации. Ранние экспериментальные модели, включая графофон с картонным цилиндром, использовали различные материалы носителей в поиске наиболее эффективного метода записи звуковых колебаний. В дальнейшем применение восковых цилиндров позволило значительно повысить качество фиксации и воспроизведения звука, обеспечив более точную передачу акустических характеристик.

Последующие модели представляли собой усовершенствованные устройства, ориентированные на практическое применение технологии звукозаписи. Принцип их работы основывался на механической фиксации звуковых колебаний в виде рельефных канавок на поверхности цилиндра, что позволяло преобразовывать акустический сигнал в материально выраженную форму. В контексте визуализации звука подобные технологии представляют особый интерес, поскольку демонстрируют переход от условной записи музыкальной информации к непосредственному физическому отображению звуковых процессов.

В контексте развития способов графической фиксации звука особое значение представляет технология оптической звукозаписи, ставшая одним из наиболее наглядных примеров визуального преобразования акустических процессов.

Принцип её работы основывался на преобразовании звуковых колебаний в световые изменения: под воздействием акустического сигнала изменялось движение или интенсивность светового источника, который формировал на киноплёнке графический след. В результате звуковая информация приобретала форму визуальной структуры, напоминающей волнообразное отображение акустического сигнала.

Включение звукового сопровождения в кинематограф произошло значительно позже по сравнению с развитием других технических и художественных средств. В сфере анимации внедрение звука также стало сравнительно поздним этапом, существенно изменившим принципы построения экранного произведения.

В ранних анимационных работах, ориентированных на визуальное осмысление звуковых явлений, основным выразительным средством выступало музыкальное сопровождение. Для его создания использовались как традиционные музыкальные инструменты, так и звуки окружающей среды и различных предметов, применявшиеся в качестве самостоятельных акустических элементов.

Видео выше: «Игра света: Опус IV», 1925 г., Вальтер Руттман.

Значимым примером раннего взаимодействия визуальных и акустических элементов в абстрактной анимации является работа «Игра света: Опус IV» 1925 г., Вальтера Руттмана. В данном произведении автор отказался от традиционного повествования и сосредоточился на организации движущихся геометрических форм, ритмика и динамика которых соотносились с музыкальным сопровождением. Подобный подход демонстрирует стремление к синтезу визуального и звукового восприятия, где изображение начинает функционировать не как иллюстрация музыки, а как самостоятельная система, развивающаяся по сходным ритмическим принципам.

В дальнейшем данный принцип получил развитие в практике абстрактной анимации, где звук всё чаще приобретал визуальное выражение посредством движения геометрических форм и изменения их параметров. Их динамика, взаимодействие и трансформация выстраивались в соответствии с ритмической структурой музыкального сопровождения, формируя устойчивую взаимосвязь между визуальным и акустическим восприятием.

Видео выше: «Тарантелла», 1940 г., Мэри Эллен Бьют и Тед Немет.

Видео выше: «Сомнабулы», 1958 г., Мечислав Васьковский.

Видео выше: «Блэкаут», 1965 г., Альдо Тамбеллини.

Развитие цифровых технологий и совершенствование технических средств существенно повлияли на эволюцию анимационного искусства. Повышение качества визуального исполнения сопровождалось расширением художественных возможностей, включая активное внедрение трёхмерной графики и новых методов построения визуальной среды.

Несмотря на значительные изменения в технологиях создания изображения, отдельные художественные принципы ранней экспериментальной анимации продолжают сохраняться и в современных работах. В частности, использование абстрактных форм, геометрических структур и условного пространства остаётся одним из выразительных средств визуальной интерпретации звуковых и ритмических процессов.

Видео выше: «Оптическая поэма», 1938 г., Оскар Фишингер.

Видео выше: «Синхромия», 1971 г., Норман МакЛарен.

Развитие технических средств и цифровых технологий оказало значительное влияние на эволюцию анимационного искусства, расширив спектр доступных художественных и выразительных возможностей. Совершенствование программного обеспечения и аппаратного оснащения способствовало повышению качества визуального исполнения, а также активному внедрению трёхмерной графики и новых методов формирования пространственной среды.

Вместе с изменением способов создания изображения трансформировались и художественные подходы к построению визуального ряда. Однако, несмотря на технологические преобразования, в современной анимации продолжают прослеживаться отдельные принципы, характерные для ранних экспериментальных практик. В частности, использование абстрактных форм, условного пространства и геометрических элементов остаётся значимым инструментом визуальной интерпретации ритма, движения и звуковых процессов.

Видео выше: «Порядок из хаоса», 2017 г., Макс Купер.

Видео выше: «Свободные радикалы», 1958 г., Лен Лай.

Особое место в истории саунд-арта занимают скульптурные и материальные художественные формы, представляющие собой одно из наиболее выразительных направлений взаимодействия звука и физического пространства. Согласно ряду исследовательских подходов, истоки подобных практик могут быть связаны с древними ритуальными и акустическими традициями, включая музыкальные инструменты и звуковые объекты ранних культур.

Однако формирование саунд-арта как самостоятельного художественного направления принято относить к началу XX века, когда звук начал рассматриваться не только как элемент музыкальной композиции, но и как полноценный художественный материал.

Значительная часть ранних звуковых объектов и так называемых «звуковых скульптур», созданных в этот период, функционировала преимущественно как устройства воспроизведения или генерации акустических явлений. При этом их основная задача заключалась не столько в визуальном представлении звука, сколько в исследовании его физических, пространственных и художественных свойств.

В практике звуковых скульптур отсутствует единая тематическая или стилистическая основа: каждое произведение формируется как автономная художественная система со своей логикой, материалами и принципами организации. При сравнении различных работ трудно выделить устойчивые общие черты — за исключением одного фундаментального элемента: звука как главного медиума и объекта художественного исследования.

В ряде произведений звук возникает не как абстрактный или записанный материал, а как прямой результат взаимодействия физических тел и свойств вещества. Художественная форма здесь одновременно является и конструкцией, и акустическим механизмом: колебания, трение, давление воздуха и резонанс становятся основными «инструментами» создания звукового опыта.

Видео выше: «Звуковые скульптуры и инсталляции: 10 избранных работ», 2009–2013 гг., кураторская подборка.

Видео выше: Кинетическая звуковая скульптура «Summa Fluctus», 2018 г., Навид Наваб.

В иных случаях в основе работы лежит многослойная концептуальная структура, где художественное высказывание выходит за пределы визуальной формы и приобретает характер интеллектуального и смыслового исследования.

Такие произведения следует рассматривать как полноценные объекты современного искусства, в которых эстетический компонент неразрывно связан с идеей, контекстом и критическим осмыслением действительности:

Видео выше: «Информационный космос», 2023–2025 гг., Рёдзи Икеда.

Видео выше: «Критические пути», 2024 г., Рёдзи Икэда.

Следующая группа работ основана на принципе, который активно заимствуется интернет-культурой и применяется в различных цифровых практиках — от эстетизации VHS-стилистики и создания ностальгических или ироничных видеопроектов до формирования эмоционально окрашенных (в том числе трагических) нарративов и внедрения скрытых смысловых или шифрованных сообщений.

Видео выше: «Смотри» (из альбома «Песни о моих кошках»), 2001 г., Венетсиан Снейрс.

Если рассматривать историческую эволюцию попыток «визуализации звука», можно проследить постепенный переход от условной фиксации музыкального материала к всё более сложным формам его пространственно-визуального представления. Первоначально звук стремились зафиксировать посредством символической записи на бумаге, где нотные знаки служили не изображением звучания, а системой его кодирования и последующего воспроизведения.

С развитием технологий акцент сместился к стремлению регистрировать звук в более точных физических формах, позволяющих его многократное воспроизведение без утраты исходных характеристик — голоса, тембра или звучания инструмента. Это привело к появлению носителей и механизмов, в которых акустическая информация фиксировалась через материальные следы вибраций и механических колебаний.

Дальнейший этап характеризуется интеграцией звука и изображения, включая динамические визуальные формы, создаваемые и управляемые художником-аниматором. Здесь звук уже не только записывается и воспроизводится, но и синхронно преобразуется в визуальный поток, формируя единое аудиовизуальное пространство.

Современные практики доводят этот процесс до концептуального уровня, где звук становится основой для создания скульптурных объектов, световых инсталляций, анимационных структур и скрытых информационных систем. В этом контексте звук используется не только как эстетический материал, но и как носитель закодированных сообщений, рассчитанных на активное интерпретативное восприятие зрителя.

Таким образом, каждое историческое состояние данных практик оказывается тесно связано с уровнем технологического развития своего времени. От графической фиксации мелодий чернилами на бумаге — как способа сохранения и упрощения музыкальной памяти — до механических и аналоговых методов записи звука через физические носители, и далее к современным цифровым формам, где визуализация становится одновременно аудиальным, кинетическим и концептуальным опытом. В результате звук перестаёт быть исключительно слуховым явлением и превращается в многомерную художественную категорию, объединяющую восприятие, технологию и идею.