«Главное – поливать и не травмировать». Как пермский медиа-художник создаёт музыку с помощью алгоритмов и растений

«Главное – вовремя поливать и не травмировать», - шутит пермский медиа-художник Константин Дьячков о домашнем растении Пеперомия, которое он «научил» петь. Это — основа его мультимедийного проекта «Сосуществование». В нем три основных участника: человек, растение и нейронная сеть.

К листьям Пеперомии крепятся датчики. Сигналы от растения обрабатывают специальные программы и переводят их в ноты, получается музыкальный материал. Далее нейросеть обучается на этом звуке и усложняет его. Трек «пения» Пеперомии длится десять минут.





«Как и всё живое, растение подчиняется физическим, химическим и биологическим законам. Перевод его поведения на язык вычислений становится источником данных для программ, в которых  происходит синтез звука и генерация видео, и трех нейронных сетей, которые после процесса обучения самостоятельно формируют ритмовую структуру алгоритмического музыкального произведения», - рассказал Константин Дьячков. По его словам, готовой «песне» предшествовали несколько недель тестов и обучения нейросетей. 




На основе данных электрических импульсов от растения и вычислений алгоритмов в режиме реального времени создается не только звук, но и видео. Через этот проект художник критически осмысливает практики создания аудиовизуального контента, рассматривая творчество с позиций мультиагентной системы, в которой алгоритмы и растения в значительной степени автономны от человека. 

Проект относится к жанру технологического искусства и основывается на интерпретации данных, которые были получены от растения и обработаны алгоритмами. Художник обращает внимание зрителя на постчеловеческую природу звука и новые формы сонификации и визуализации взаимодействия природы и технологии. 

«Сосуществование» — дипломная работа Константина Дьячкова, она была выполнена в магистратуре  Da. Digital Art ДВФУ совместно с научным руководителем Сергеем Костырко (СПбГУ) и консультантом Марией Купцовой (ИТМО/ Университет Инсбрука).

Впервые «пение»  Пеперомии можно было услышать этим летом в Дальневосточном федеральном университете  во Владивостоке. Позднее работа пермского медиа-художника стала основой инсталляции «Гул сосны» на рейв-фестивале «Думай как Лес» в Ленинградской области и недавно была показана в Австрии (коллаборация с Сергеем Костырко и Марией Купцовой).

Константин Дьячков — победитель стипендиальной программы музея PERMM и Фонда «Норпексаль» — первого конкурса для пермских художников в области современного искусства. Его проект «Hortus Permianus. Пермский сад — город по ту сторону человека» посвящен экспансии живой природы в город. Художник задается вопросом, как могла бы выглядеть Пермь, если бы планированием городской территории занимался искусственный интеллект, основываясь на данных биологических систем.