Компания OpenAI скорректировала работу своего чат-бота ChatGPT после того, как он начал повсеместно упоминать в ответах гоблинов, гремлинов и прочих мифических существ. Об этом говорится в публикации на сайте разработчика.
Начиная с версии GPT-5.1, у нейросети появилась странная привычка часто использовать в метафорах этих персонажей. В компании заметили, что в разных поколениях моделей «гоблины продолжали множиться», и потребовалось выяснить их происхождение.
Причиной оказалась случайно выстроенная система тренировки. Алгоритм был настроен так, что широко упоминал вымышленных существ, когда общался с пользователем в режиме Nerd (переводится как «заумник» или «гик»).
Больше всего таких слов фиксировалось в ответах модели GPT-5.4. Выяснилось, что условная «награда» для нейросети за упоминания мифических существ при общении была значительно выше, чем за использование другой поведенческой модели.
Дальнейшее исследование выявило «целую семью других существ» в лексиконе алгоритма: енотов, троллей, огров и даже голубей. В итоге разработчикам пришлось убрать опцию выбора личности Nerd и пересмотреть систему тренировок.
Комментарии