Ученые научили нейросеть предугадывать жесты на основе голоса человека.

В то же время нейросеть speech2gesture пока умеет предвидеть менее половины жестов.

Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предсказывать жесты, основываясь только на голосе человека. Она выдает реалистичный результат, который оказывается точным почти в половине случаев.

Нейросеть научили на 144 часах видеозаписей с десятью разными людьми, которым приходится много жестикулировать. Среди этих людей — телеведущие, преподаватели и проповедники.

В результате алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.

Пока система работает с довольно низкой точностью и только в 44% случаев полученные результаты совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.

Источник

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Это поможет развитию нашего проекта!

avatar
  Подписаться  
Уведомление

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: