Исследование: ИИ в Google Поиске допускает миллионы ошибок в час

По заказу The New York Times стартап Oumi проверил, насколько точны ответы, которые Google даёт с помощью ИИ. Результат: Gemini 3 отвечает верно в 91% случаев. Предыдущая версия (Gemini 2) была правильной в 85% случаев. И эти 9% «портят всю малину».

СМИ отмечают, что в «масштабах Google» это «миллионы ошибок в час». Даже 9% неверных ответов — огромное число.

Но почему так происходит? Ответы стало сложнее проверить. В 56% случаев, когда ИИ отвечал правильно, ссылки, на которые он ссылался, эту информацию не подтверждали. К тому же при «старой» версии ИИ таких «неподтверждаемых» ответов было только 37%.

Также среди сайтов, на которые ссылается Google, на втором и четвёртом месте оказались Facebook* и Reddit. Это не самые надёжные источники, отмечают эксперты.

Не стоит и забывать, что ИИ может дать неверный ответ, даже если нашёл правильный сайт. Так, Google заявил, что нет записи о включении виолончелиста Йо-Йо Ма в Зал славы классической музыки (хотя она есть).

Сам Google не согласен с выводами. Представитель компании заявил, что у исследования «серьёзные пробелы» и что тестовые вопросы были намеренно сложными.

*принадлежит Meta, которая признана в РФ экстремистской и запрещена