Школьник запускает платформу для соревнований по строительству в Minecraft с использованием ИИ

Школьник разработал уникальный веб-сайт, MC-Bench, позволяющий пользователям соревноваться с моделями ИИ в строительстве в Minecraft, предлагая креативный подход к тестированию ИИ.

В инновационном подходе к тестированию ИИ, школьник по имени Ади Сингх создал веб-сайт под названием Minecraft Benchmark (MC-Bench). Эта платформа позволяет моделям ИИ соревноваться друг с другом в Minecraft, популярной песочнице для строительства, принадлежащей Microsoft. Участники могут голосовать за лучшие творения в Minecraft на основе определённых заданий, причём модели ИИ, стоящие за каждым строением, раскрываются только после голосования.

MC-Bench, разработанный с помощью восьми добровольных участников, использует широкую известность Minecraft, чтобы сделать прогресс ИИ более доступным и понятным для широкой публики. Проект получил поддержку крупных технологических компаний, таких как Anthropic, Google, OpenAI и Alibaba, которые субсидировали использование своих продуктов для заданий, хотя они официально не связаны с MC-Bench.

Ади Сингх подчеркивает потенциал использования игр как среды для тестирования ИИ, заявляя, что это предлагает более безопасную и контролируемую среду для оценки агентского мышления по сравнению с реальными сценариями. В настоящее время MC-Bench сосредоточен на простых постройках, чтобы отразить прогресс со времён эпохи GPT-3, но планирует масштабироваться до более сложных задач.

Эта инициатива присоединяется к другим креативным усилиям по тестированию с использованием игр, таких как Pokémon Red, Street Fighter и Pictionary, подчеркивая сложности оценки возможностей ИИ. MC-Bench выделяется, объединяя программные тесты с удобными для пользователя оценками построек, созданных ИИ в Minecraft, что делает его привлекательным для более широкой аудитории и потенциально предоставляет ценные инсайты о производительности моделей ИИ.