ЯЗЫК ПТИЦ
ЕЛЕНА НИКОНОЛЕ
2018 - 2019
Проект «Язык птиц» посвящен исследованию возможностей искусственного интеллекта в контексте биосемиотики. Проект вдохновлен идеями Ноама Хомского о врожденных лингвистических структурах – универсальной грамматике, типичной как для человеческого языка, так и для систем знаков животных и птиц. Опыт работы с машинным обучением и текстом показывает, что ИИ захватывает эту универсальную грамматику путем статистического извлечения языковых паттернов, поэтому в случае птичьего языка машинное обучение может отличать своеобразные птичьи «фонемы» – семантические элементы птичьего языка. На первом этапе проекта нейронная сеть была обучена на звуках пения соловья, а также была создана ситуация коммуникации между двумя нечеловеческими агентами: птицами и искусственным интеллектом, ставшая метафорой коммуникации между природным и технологическим, для которой человек является чем-то не обязательным.
Второй этап проекта – создание на основе машинного обучения интерпретатора-переводчика с птичьего языка на человеческий, где искуccтвенный интеллект выступает посредником между человеком и природой, облегчая понимание и взаимодействие.

Команда проекта:
Никита Прудников (музыкант, разработчик, эксперт в ИИ), Вероника Самоцкая (орнитолог, ученый-биолог, популяризатор науки, журналист), Наталья Соболева (эксперт в ИИ), Константин Яковлев (кандидат физико-математических наук, эксперт в ИИ)
Елена Никоноле — медиахудожник, чья область интересов — гибридное искусство, новая эстетика, интернет вещей, искусственный интеллект. Участник множества выставок и фестивалей, среди которых — Open Codes (ZKM | Центр искусства и медиа, Карлсруэ), Politics and Poetics of the Surface (Veinti4/Siete Galería, Сан-Хосе, Коста-Рика), биеннале The Wrong, проект «Лаборатория Земля» («Красный Октябрь», Москва), фестиваль «Подготовленные среды» (Москва) и другие. Проводила мастер-классы и лекции в таких институциях, как Государственный центр современного искусства, Инновационный центр «Сколково», Институт философии РАН, Дирекция образовательных программ в сфере культуры и искусства Департамента культуры города Москвы, Школа фотографии и мультимедиа им. А. Родченко и других.
Bird Language is a project exploring the possibilities of Artificial Intelligence within the context of bio-semiotics.

The project is inspired by the ideas of Noam Chomsky about innate linguistic structures - universal grammar - typical for both human language and animals and birds sign systems. The experience with machine learning and text demonstrates that AI captures this universal grammar by statistically extracting the patterns of language, therefore, in the case of the birds' language, machine learning can distinguish peculiar "birds morphemes" - semantic elements, and form from these elements a certain utterance.

The Artificial Intelligence is looking for patterns within birds' sounds to build a mathematical model of the Universal Grammar of Bird Language.

In the first stage of the project, we trained a neural network on the sounds of nightingales to create communication between non-human agents: birds and Artificial Intelligence.
This is a metaphor for communication between nature and technology in which a human being is not necessary.
The second stage of the project is a creation of an AI-translator from bird language to human language.
We started to work with the Great Tit, one of the most widespread species from Europe to Asia.

The first machine learning approach we used, was XGBoost - boosted decision tree algorithms. While it classified bird signs in two groups: calls and songs with an accuracy of 83%, it was not a universal tool to understand the structure of the language.
Now we are developing the second machine learning approach which allows us to see clusters. These clusters reveal the language structure and let us deconstruct the bird language into a series of phonemes, which we can use to build an AI-translator for interspecies communication.
In this case AI is not only a mediator or interface between human beings and birds but rather an organ or full partner, semiotically active. It helps to understand bird's subjectivity through the language.

The inspiration came from Jakob Johann von Uexküll's concept of Umwelt - the experiential world that a being inhabits, its perceptual surrounds.

At this stage we are working in collaboration with scientists: ornithologists and Artificial Intelligence experts.

Credits:

Veronica Samotskaya, ornithologist, scientist-biologist, science popularizer, journalist
Natalia Soboleva, AI expert
Konstantin Yakovlev, PhD in Physics and Mathematics, AI expert
Nikita Prudnikov, musician, developer, AI expert

The project was supported by
Garage Museum of Contemporary Art (Moscow)
Helena Nikonole is a new media artist and educator whose field of interests embraces hybrid art, the new aesthetics, the Internet of Things, and Artificial Intelligence. In her works she explores technology's potential opportunities, but also potential risks and dangers which techno-evangelists and scientists are not able to realize.
Made on
Tilda