Google запустил сервис, где нейросеть оценивает вокал пользователя и сравнивает с Фредди Меркьюри
Google открыл в общий доступ для всех пользователей экспериментальный онлайн-сервис с использованием искусственного интеллекта — FreddieMeter.
Этот интересный проект создан компанией Google совместно с YouTube, в разработке приняли участие подразделения Google Creative Lab и Google Research в сотрудничестве с группой Queen и студиями звукозаписи Universal Music Group и Hollywood Records. На недавно запущенном онлайн-портале, созданном Google, предлагается всем пользователям сравнить свои вокальные данные с голосом легендарного Фредди Меркьюри.
Развлекательный сервис FreddieMeter работает на базе нейросети с использованием Google AI и запускается во всех браузерах как на ПК и ноутбуках, так и и мобильных устройствах под управлением Android и iOS. В этом эксперименте задействован оригинальный алгоритм машинного обучения, который был специально обучен на большом количестве данных по образцам голоса Фредди Меркьюри.
В сервисе FreddieMeter пользователям предлагается самим исполнить под официальную минусовку, предоставленную студией звукозаписи, фрагмент одной из четырех песен легендарной группы Queen. Сейчас на выбор предлагается спеть такие композиции: Don’t Stop Me Now (продолжительность фрагмента 1 мин. 29 сек.), We Are the Champions (продолжительность фрагмента 1 мин. 12 сек.), Bohemian Rhapsody (продолжительность фрагмента 59 сек.) и Somebody to Love (продолжительность фрагмента 41 сек.).
После выбора композиции выдается такое предупреждение об использовании микрофона в дальнейшем процессе работы сервиса. По заявлению разработчиков, голосовые записи не загружаются на сторонние серверы, обеспечивая конфиденциальность пользователей независимо от платформы.
Перед началом следующего этапа сервис предлагает использовать наушники и опционально позволяет освежить немного в памяти звучание элементов и слова выбранной композиции, посмотрев выступление Фредди Меркьюри.
Далее уже начинается вокальный этап работы сервиса, в ходе которого искусственный интеллект анализирует голосовые данные пользователя, сравнивая их параметры с диапазоном голоса Фредди Меркьюри, его высотой, тембром и мелодичностью пения.
После того, как композиция завершилась, начинается этап формирования сервисом отчета по полученным и проанализированным данным голоса пользователя.
Этот этап может длится некоторое время, причем надписи могут быть очень разные там и сменяться по кругу. Как показала практика, обычно сервис пишет внизу экрана, что его расчет уже окончен, через 30-40 секунд после начала, хотя до конца фрагмента с композицией остается десятки секунд и более.
Вот какие там возникают описания процесса работы этого этапа музыкального сервиса, если процесс анализа затягивается на устройстве:
Calculating your score…
A neural net is running on your device right now…
Your device is performing billions of calculations a second…
These kind of calculations used to require mainframe-sized computers…
Now they run on your device’s GPU…Almost there…
Don’t stop me now…Don’t stop me, don’t stop me…
Oooh ooh ooh…
Two hundred degrees, that’s why they call me Mister Fahrenheit…
I’m travelling at the speed of light…
I wanna make a supersonic man outta you…
Your device is working extra hard. For a faster result, try this on a computer...
Как только сервис закончит свои вычисления, то будет выдан финальный результат по голосу пользователя, с оценкой разных элементов по шкале от 0 до 100 баллов.
Pitch (подача) — как хорошо вы попали в ноты.
Melody (мелодия) — насколько мелодично вы смогли спеть.
Timbre (тембр) — насколько ваш вокальный стиль соответствует Фредди Меркьюри.
Используемый в сервисе алгоритм был разработан в подразделении Google Research и задействован для создания модели машинного обучения, с помощью которой искусственный интеллект лучше понимает музыку, ноты и голос человека. Подобные модели машинного обучения в Google планируют использовать в будущем, чтобы помогать пользователям распознавать песни, которые они, например, могут напеть, но не помнят, что это за композиция.
Для достижения наилучших результатов в эксперименте с FreddieMeter необходимо находится в тихой комнате при исполнении композиции, а также лучше использовать проводные наушники с микрофоном. На самом деле феномен голоса Фредди Меркьюри еще не до конца изучен учеными, так что идеально спеть, как это делал Фредди, могут еще лишь считанные единицы из теноров в мире.
Весь анализ вашего пения происходит только на устройстве пользователя, поэтому все данные, которые генерирует сервис, остаются у пользователя и не хранятся на серверах Google, также эти данные не используются для машинного обучения или для чего-либо еще.
Данный экспериментальный сервис FreddieMeter был безвозмездно разработан и запущен Google в поддержку фонда Mercury Phoenix Trust, благотворительной организации, которую создали Брайн Мэй, Роджер Тейлор и Джим Бич для повышения осведомленности населения и финансирования мероприятий по борьбе с ВИЧ/СПИДом. На сайте этой организации также можно совершить пожертвования в этот фонд.
