Люди лихорадочно осваивают ChatGPT, изучая новые средства академических исследований, кодирования, изучения аудитории, поддержки клиентов, обмена сообщениями по электронной почте, обобщения документов и поиска работы.
Все, чего хотели Софи Йенцш и Кристиан Керстинг, — это немного посмеяться.
Но они не шутили. Два исследователя из Института программных технологий Немецкого аэрокосмического центра и Технического университета Дармштадта задались целью выяснить, насколько хорошо большие языковые модели могут создавать и рассказывать анекдоты.
Они обнаружили, что, несмотря на несколько забавных — хотя и банальных — «папиных шуток», модель на базе ChatGPT-3 не была особенно оригинальной и обычно опиралась на ограниченное количество часто повторяющихся острот.
В 1008 испытаниях, в которых ChatGPT попросили рассказать анекдот, более чем в 90% случаев ответом было повторение одной из 25 различных шуток. Четыре лучшие шутки были переработаны более чем в половине ответов.
Исследование было опубликовано в статье под названием «ChatGPT — это весело, но это не смешно! Юмор по-прежнему бросает вызов большим языковым моделям», опубликованным на сервере предварительной печати arXiv 7 июня.
«ChatGPT еще не решил проблему вычислительного юмора, но это может стать большим скачком к «забавным» машинам», — говорят авторы.
Среди трех лучших шуток были:
Вопрос: Почему пугало получило награду?
Ответ: Потому что он был выдающимся специалистом в своей области.
Вопрос: Почему помидор стал красным?
Ответ: Потому что он увидел заправку для салата.
Вопрос: Почему учебник по математике был грустным?
Ответ: Потому что у него было слишком много проблем.
До завершения своего исследования авторы говорят, что они полагали, что некоторые выходные данные шутки ChatGPT были сгенерированы не моделью, а взяты из жестко закодированного материала в заранее определенном списке. Но можно было бы ожидать, что такое поколение приведет к более равномерному распределению шуток. Неравномерный баланс производства шуток в их исследовании позволяет предположить, что жестко закодированные записи не обязательно имели место.
Исследователи сказали, что ChatGPT продемонстрировал понимание игры слов и двойных значений. Они сказали, что он часто полагался на смешивание элементов из шуток, которые он уже знал.
«Тем не менее, — сказали они, — небольшое количество повторяющихся выборок указывает на ограниченную универсальность модели реагирования ChatGPT».
Без доступа к большим данным обучения языковой модели трудно подтвердить, были ли шутки жестко закодированы.
«Модель способна правильно идентифицировать, воспроизводить и объяснять каламбуры, которые вписываются в усвоенный шаблон, но она не справляется с каламбурами других видов, что приводит к ограниченному отражению юмора», — заключили авторы.
Когда его просили объяснить шутку, ChatGPT иногда давал просвещенные ответы.
Например, ChatGPT попросили объяснить, почему «Почему курица перешла дорогу? Чтобы попасть на другую сторону» шутка была забавной.
Ответ был таков: «Юмор этой шутки заключается в неожиданной и прямолинейной концовке. Когда кто-то слышит суть шутки, он, скорее всего, ожидает умного или неожиданного ответа на вопрос, почему курица перешла дорогу. Однако кульминационный момент — это всего лишь простое и очевидное объяснение.»
Однако в других случаях модель с трудом обретала смысл.
«ChatGPT предлагает убедительное объяснение не только для допустимых шуток», — сказали исследователи, но и для недопустимых.
«Система, похоже, не в состоянии… признать, что она не может идентифицировать какой-либо каламбур. Вместо этого он создает вымышленное, но убедительно звучащее объяснение», — сказали исследователи.
ChatGPT «пока не может уверенно создавать намеренно забавный оригинальный контент», — заключили авторы.
Но чат Bing (использующий ChatGPT-4) может воспринимать шутку сам по себе. Мы попросили его рассказать нам анекдот о себе.
«Почему Бинг перешел дорогу?» мы спросили.
Он ответил: «Чтобы перейти к другой поисковой системе!»
