Ученые научили нейросеть предугадывать жесты на основе голоса человека.
В то же время нейросеть speech2gesture пока умеет предвидеть менее половины жестов.
Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предсказывать жесты, основываясь только на голосе человека. Она выдает реалистичный результат, который оказывается точным почти в половине случаев.
Нейросеть научили на 144 часах видеозаписей с десятью разными людьми, которым приходится много жестикулировать. Среди этих людей — телеведущие, преподаватели и проповедники.
В результате алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.
Пока система работает с довольно низкой точностью и только в 44% случаев полученные результаты совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.
Leave a Comment