ChatGPT становится умнее, но его галлюцинации растут: что это значит для бизнеса?
Исследование OpenAI показывает, что последние модели ChatGPT, несмотря на улучшенные способности к рассуждению, чаще генерируют ложную информацию, что может стать проблемой для бизнеса.
В мире технологий, как и в бизнесе, доверие — это валюта. И вот, новое исследование OpenAI, о котором сообщает The New York Times, ставит под вопрос надежность самых продвинутых моделей ChatGPT. GPT o3 и o4-mini, последние флагманские модели OpenAI, разработаны для имитации человеческой логики, но, как выяснилось, они также чаще “галлюцинируют” — генерируют ложную или вымышленную информацию.
По данным OpenAI, GPT o3 включал галлюцинации в трети тестовых заданий, связанных с публичными фигурами, что в два раза больше, чем у предыдущей модели o1. Ещё хуже показала себя компактная o4-mini, которая ошибалась в 48% случаев. В тестах на общие знания ошибки достигали 51% и 79% соответственно. Это не просто мелкие недочёты — это серьёзный вызов для любого, кто рассматривает ИИ как инструмент для бизнеса.
Одна из теорий предполагает, что чем больше модель пытается рассуждать, тем больше у неё шансов ошибиться. В отличие от простых моделей, которые придерживаются высоковероятных предсказаний, рассуждающие модели исследуют множество возможных путей, что увеличивает риск ошибки. OpenAI отмечает, что увеличение галлюцинаций может быть связано не с недостатками модели, а с её большей словоохотливостью и склонностью к спекуляциям.
Для бизнеса это означает, что, несмотря на все преимущества ИИ, такие как ускорение процессов анализа данных или автоматизация рутинных задач, риск получить недостоверную информацию остаётся высоким. Уже известны случаи, когда юристы попадали в неприятности из-за вымышленных ChatGPT цитат из судебных решений. С расширением использования ИИ в образовании, здравоохранении и госуправлении, потенциальный ущерб от таких ошибок может значительно возрасти.
ИИ, безусловно, впечатляет своими возможностями, но пока он остаётся тем “парнем на совещании”, который говорит с уверенностью, даже когда не прав. Для бизнеса это означает необходимость тщательной проверки любой информации, полученной от ИИ, прежде чем принимать на её основе решения.