Ученые научили нейросеть предугадывать жесты на основе голоса человека.

В то же время нейросеть speech2gesture пока умеет предвидеть менее половины жестов.

Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предсказывать жесты, основываясь только на голосе человека. Она выдает реалистичный результат, который оказывается точным почти в половине случаев.

Нейросеть научили на 144 часах видеозаписей с десятью разными людьми, которым приходится много жестикулировать. Среди этих людей — телеведущие, преподаватели и проповедники.

В результате алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.

Пока система работает с довольно низкой точностью и только в 44% случаев полученные результаты совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.

Источник

Якщо Ви помітили помилку, будь ласка, виділіть її та натисніть Ctrl+Enter. Це допоможе нашому розвитку!

Leave a Comment

Повідомити про помилку

Текст, який буде надіслано нашим редакторам: