Способен ли ИИ понимать мемы?

Многие давно используют различные чат-ГэПэТэ и искусственный интеллект, чтобы постить смешные картинки или генерировать видео, где популярные личности попадают в комичные ситуации. Но сможет ли сам ИИ объяснить суть мема?

Думаю, каждый сейчас знает, что такое мемы — это краткие, но яркие идеи, которые часто содержат юмор, сатиру или комментарий к какой-нибудь ситуации. Мемы бывают разные: ~~чёрные, белые, красные~~ в виде изображений, видео, текста или даже аудио. Такие вирусные приколы помогают людям выражать чувства, комментировать актуальные события, в общем — мемы объединяют.

Так что же нужно для того чтобы искусственный интеллект мог создавать мемы? Ну, как минимум, понимать, что такое юмор, контекст и культурные отсылки. Но юмор — вещь иногда почти неуловимая (и не потому что его никто не ловит, как Джо из анекдота). Просто он часто зависит от нюансов языка, социальной обстановки или культурных ценностей.

Современные нейросети, такие как GPT, способны генерировать текст и изображения — казалось бы, всё, что нужно для создания мемов, но есть пара нюансов. Для этого требуется обучение на больших объемах данных: на качественно отобранных мемах, при этом ещё без оскорблений.

Проблемы восприятия юмора у ИИ

И на основе такой базы примеров, всякие ИИ начинают создавать юмор или пытаться объяснить, в чём же суть шутки и почему именно этот шаблон мема использован. Однако, в его исполнении это скорее может выглядеть как скучнейшее эссе — все-таки совсем новый юмор ИИ придумать не может, да и сарказм с иронией поймёт буквально.

А основную суть контекста ИИ не в состоянии передать из-за сложности алгоритмов: например, если ChatGPT учили на международной базе приколов, то по запросу из России, ИИ выдаст мем с актуальным контекстом для Ирландии — база-то общая. Ну и самое главное — чувство юмора у машин отсутствует, только алгоритмы и анализ ~~на столе~~. Так что, не будет вам никакого ~~итальянского сыра~~ юмора от искусственного интеллекта.

Проверка на «юмор» от учёных

Мемы — это не только шутки вам шутить, это ещё и наука изучает! Российские лингвисты, культурологи и математики решили проверить и удостовериться, действительно ли большинство языковых моделей способны понимать мемы и отвечать на вопросы по ним, и даже разработали новый метод оценки ИИ. Все результаты были представлены в Московском физико-техническом институте (МФТИ).

Специалисты вывели восемь культурных типов, которые характерны сугубо для нашей культуры и создали 400 тестовых заданий на основе характерных стереотипов, цитат из книг, фраз из фильмов и разных мемов.

Прошлись по самому популярному: ученые предложили нейросетям дать ответ на вопрос, «что сделал дядя самых честных правил, когда не в шутку занемог», или назвать «должность» Мойдодыра и объяснить, как на жизнь людей влияет «ретроградный Меркурий». В тесте участвовало около десяти языковых моделей, таких как GPT-4, GPT-3.5, LLaMA и другие.

Лучший результат показал GPT-4: на большинство вопросов ИИ ответил правильно и вполне себе корректно. На втором месте оказался Claude 3.5, который был максимально близок к GPT-4 и отставал буквально на 1% в точности ответов. Третье место досталось LLaMA, а остальные — Qwen, Command-R, GPT-3.5 и Mistral справились намного хуже — российские мемы для них оказались непосильной задачей.

Наша идея состояла в том, чтобы не научить большие языковые модели распознавать эти культурные коды, а проверить, смогут ли их «чистые» версии вести себя в таких ситуациях как люди. Иными словами, мы никак не модифицировали эти алгоритмы и не тренировали их на каких-то специфичных наборах данных. Результаты подобных тестов помогают нам определить, насколько ИИ готовы к кооперации с разными типами людей.

ИИ нас может понять, правда, не всегда точно

Судя по результатам, ИИ вполне себе способен на то, чтобы объяснить человеку в чём суть юмора, но это всё ещё не точно. Россия страна с множеством наций, невероятной историей и очень богатой культурой, и, чтобы её понять, времени потратить нужно будет немало.

Да и помимо этого, результаты работы российских учёных показывают, что потенциально ИИ можно будет использовать для адаптации иностранцев в нашей стране — языковая модель научит их понимать культурный контекст. Казалось бы, учёные просто решили развлечься и заняться «мемной» работой, но их проверка ИИ на юмор оказалось полезной для общества. Иронично, не так ли?