Neurodata Lab

Материал из Wikibrand
Neurodata Lab
Тип компания
Отрасль Программное обеспечение
Число сотрудников 1-50
Сайт http://www.neurodatalab.com/

Neurodata Lab — проектная компания и исследовательская Лаборатория в области аффективных наук и когнитивных технологий. Neurodata Lab специализируется на разработке систем для распознавания и синтеза эмоций, детекции и анализа движений, неинвазивных методов измерения физиологических сигналов, сборе и анализе аффективных данных.

Описание и история

Neurodata Lab была основана в апреле 2016 года. Компания является центром компетенций в области эмоционального искусственного интеллекта и аффективных наук и осуществляет деятельность на международных рынках, имеет представительства в России, Италии, Швейцарии и США. В июле 2017 года компания привлекла 1,3 млн долларов США. В марте 2018 года Neurodata Lab совместно с университетом ИТМО провела первую в России конференцию по эмоциональному искусственному интеллекту. 9 октября 2018 года Neurodata Lab объявила о партнерстве с робототехнической компанией Promobot. Нейросетевые технологии Neurodata Lab позволят роботам Promobot распознавать 20 эмоций и когнитивных состояний, адаптировать стратегию общения в зависимости от эмоционального состояния собеседника, а также отвечать в более живой манере благодаря технологии синтеза эмоционального ответа. 1 ноября робот определял 7 эмоций посетителей выставки TechDay Росбанка. 14 февраля 2019 года Росбанк начал тестирование нейросетевой технологии распознавания эмоций в голосе клиента, разработанной компанией Neurodata Lab, как часть пилотного проекта по анализу удовлетворенности клиентским сервисом в режиме реального времени. 26 сентября 2019 года опубликована препринт-версия совместного исследования ирландских (Dublin City University, Queen’s University Belfast), британских (University College London) и немецких (University of Bremen) ученых под общим руководством Дамьена Дюпре (Damien Dupré), посвященного анализу и сравнению существующих решений в области детекции и распознавания эмоций по лицу (при этом учитывались как сыгранные, так и спонтанные экспрессии), разрабатываемых компаниями — лидерами на рынке Emotion AI. Алгоритмы от Neurodata Lab по результатам исследования вошли в глобальный топ-3 по полноте, точности и корректности распознавания.

Технологии

Программное обеспечение Neurodata Lab для распознавания эмоций не требует носимых датчиков или специального оборудования, кроме веб-камеры и микрофона. Технология обнаруживает, распознает и анализирует эмоциональное и социальное поведение, используя нейронные сети, Компьютерное зрение и методы глубокого обучения.

Эмоциональные вычисления

Эмоции могут проявляться по нескольких каналам (модальностям): мимике и микроэкспрессиям лица, глазодвигательной активности, голосовым характеристикам, движениям и позиции тела, а также выражаться через физиологию вроде учащенного сердцебиения. Точность распознавания эмоций по каждой модальности в отдельности в среднем на 9,8 % ниже точности в системах для совокупного анализа данных, поступающих по всем каналам одновременно (в 85 % случаев). Такой мультимодальный подход положен в основу технологий Neurodata Lab. Индустрия технологий для детекции эмоций и сформировавшийся под нее рынок приобрели название эмоциональных, или аффективных, вычислений. В более широком понимании обучение машин распознаванию и синтезу эмоций является частью большого проекта по созданию эмоционального искусственного интеллекта.

Бизнес-применение

Технологии распознавания эмоций применяются в различных сферах: банковской и страховой отраслях, ритейле, автомобильной отрасли, игровой индустрии, коммуникациях, робототехнике, Нейромаркетинге, безопасности, цифровой медицине.

Проекты и продукты

Распознавание эмоций

Ключевая технология Neurodata Lab позволяет распознавать 20 аффективных и когнитивных состояний.

Трекинг

Несколько трекеров составляют основу технологии Neurodata Lab для распознавания эмоций:

Face Tracker: распознавание лица в кадре, а также его отдельных элементов (положения глаз, рта, носа, и других нейросетевых признаков, не поддающихся общепринятой трактовке). Диаризация для определения наличия человеческой речи в аудиопотоке, а также вычленения голоса говорящего, если в момент речи присутствует несколько голосов. Body Tracker: отслеживание движений тела и рук в видеопотоке. Eye Tracker: Извлечение данных о движении глаз. Heart Rate Tracker: Определение пульса с помощью видеокамеры. Respiration Rate Tracker: Определение частоты дыхания с помощью видеокамеры.

Онлайн платформы

Emotion Miner — глобальная платформа по онлайн-аннотированию видеофайлов — сбора, разметки, анализа и процессинга эмоциональных данных на основе англоязычных видеофрагментов, извлеченных из существующего публичного контента (интервью, дебаты, ток-шоу и др.).

Аффективные датасеты

RAMAS — первый в мире русскоязычный мультимодальный аффективный набор данных. Доступен для бесплатного использования для академических учреждений, университетов, лабораторий и некоммерческих организаций в исследовательских целях. Emotion Miner Data Corpus — датасет, собранный по итогам работы платформы Emotion Miner. На сегодняшний день Emotion Miner Data Corpus — один из крупнейших размеченных мультимодальных эмоциональных видеодатасетов.

Научная деятельность

С момента создания Neurodata Lab выстраивает коллаборации с академическими институтами, университетами, лабораториями и профильными центрами компетенций в США, Европе и России, и активно участвуют в крупных зарубежных конференциях, публикуют академические статьи. По состоянию на 2018 год компания развивала несколько коллабораций с рядом университетов и научных лабораторий, как в России, так и за рубежом, в том числе вела совместные проекты с ВШЭ, МГУ, ИТМО, СколТехом и университетами Ульма, Глазго, Женевы, Генуи.

Публикации и конференции

Classification of affective and social behaviors in public interaction for affective computing and social signal processing — https://peerj.com/preprints/26729/ RAMAS: Russian Multimodal Corpus of Dyadic Interaction for studying emotion recognition — https://link.springer.com/chapter/10.1007/978-3-319-99579-3_52 Automatic detection of multi-speaker fragments with high time resolution — https://www.isca-speech.org/archive/Interspeech_2018/pdfs/1878.pdf Kinematic predictors for the moving hand illusion — https://dl.acm.org/citation.cfm?id=3212841&dl=ACM&coll=DL Recognition of mixed facial emotion has correlates in eye movement parameters — https://escaneurosci.eu/dtr/85pi3o/Program_complete_smallest.pdf Multimodal Approach to Engagement and Disengagement Detection with Highly Imbalanced In-the-Wild Data — https://dl.acm.org/citation.cfm?id=3279842

Примечания

Источник — https://wikibrand.ru/index.php?title=Neurodata_Lab&oldid=57984