Sky-T1: Экономичная модель искусственного интеллекта с открытым исходным кодом для логического анализа
NovaSky представляет Sky-T1-32B-Preview, модель искусственного интеллекта с открытым исходным кодом для логического анализа, обученную менее чем за $450, демонстрируя доступность разработки ИИ.
В значительном шаге к доступной разработке искусственного интеллекта, NovaSky, исследовательская команда из Лаборатории Sky Computing Университета Калифорнии в Беркли, представила Sky-T1-32B-Preview. Эта модель ИИ для логического анализа выделяется своей конкурентоспособной производительностью по сравнению с более ранними версиями моделей OpenAI на нескольких тестах, при этом обучение стоило менее $450. Команда сделала модель действительно открытой, выпустив набор данных и код обучения, что позволяет воспроизвести её с нуля.
Разработка Sky-T1-32B-Preview знаменует собой ключевой момент в области ИИ, демонстрируя, что высокие способности к логическому анализу могут быть достигнуты без огромных затрат, ранее связанных с такими проектами. Обучение модели использовало синтетические данные, значительно снизив расходы. Например, разработка Palmyra X 004 компанией Writer, которая также полагалась на синтетические данные, обошлась в $700,000.
Модели ИИ для логического анализа, такие как Sky-T1, предлагают повышенную надежность в таких областях, как физика, наука и математика, проверяя свои выводы. Хотя они могут немного дольше генерировать решения, их точность и надежность в сложных областях не имеют себе равных.
Команда NovaSky использовала QwQ-32B-Preview от Alibaba для генерации начальных данных обучения для Sky-T1, уточняя набор данных с помощью GPT-4o-mini от OpenAI. Обучение Sky-T1, модели с 32 миллиардами параметров, было выполнено примерно за 19 часов с использованием 8 графических процессоров Nvidia H100. Несмотря на впечатляющую производительность на тестах MATH500 и LiveCodeBench, Sky-T1 отстает от предварительной версии o1 от OpenAI на тесте GPQA-Diamond, который охватывает вопросы по продвинутой физике, биологии и химии.
Взгляды в будущее, NovaSky стремится продвигать модели с открытым исходным кодом с превосходными способностями к логическому анализу. Команда нацелена на разработку более эффективных моделей, сохраняющих сильную производительность в логическом анализе, и исследует методы для дальнейшего повышения эффективности и точности.