Компания Элона Маска xAI представила свою рекордную систему обучения искусственного интеллекта, получившую название «Колосс».
Маск рассказал, что команда xAI успешно запустила в работу учебный кластер Colossus 100k H100 после 122-дневного процесса. Не довольствуясь имеющимися возможностями, Маск заявил: «В ближайшие пару месяцев он удвоится в размерах, доведя их до 200 тысяч (50 тысяч H200)».
В эти выходные команда @xAI запустила в работу наш учебный кластер Colossus 100k H100. От начала до конца все было сделано за 122 дня.
Colossus — это самая мощная система обучения ИИ в мире. Более того, через несколько месяцев его размер удвоится до 200 тысяч (50 тысяч H200).
Превосходно… — Илон Маск (@elonmusk) 2 сентября 2024 г.
Масштабы Colossus беспрецедентны, они превосходят все другие кластеры на сегодняшний день. Для сравнения: Google использует 90 000 GPU, а OpenAI — 80 000 GPU — оба кластера уже превзойдены созданием xAI, даже до удвоения размера Colossus в ближайшие месяцы.
Вот сравнительная таблица, которая поможет всем понять масштабы этого. pic.twitter.com/PJys0XlvYo-
Anthony Everywhere (@AnthonyEveryWhr) September 2, 2024
Разработанный в партнерстве с Nvidia, Colossus использует одни из самых передовых технологий GPU на рынке. Изначально в системе используются чипы Nvidia H100, а в дальнейшем планируется расширить ее за счет более новой модели H200. Такая огромная вычислительная мощность делает Colossus самой грозной системой обучения ИИ из всех существующих на данный момент.
Модель H200, хотя и была недавно заменена чипом Blackwell от Nvidia , представленным в марте 2024 года, остается самым востребованным компонентом в индустрии ИИ. Он может похвастаться впечатляющими характеристиками, включая 141 ГБ памяти HBM3E и пропускную способность 4,8 ТБ/с. Однако чип Blackwell поднимает планку еще выше: его топовая производительность на 36,2 % выше, чем у H200, а общая пропускная способность увеличилась на 66,7 %.
Реакция Nvidia на презентацию Colossus была полна энтузиазма и поддержки. Компания поздравила Маска и команду xAI с их достижением, подчеркнув, что Colossus будет не только самой мощной системой в своем роде, но и обеспечит «исключительный выигрыш» в энергоэффективности.
Очень приятно видеть, как Colossus, крупнейший в мире суперкомпьютер на GPU, был запущен в рекордно короткие сроки. Colossus работает на платформе @nvidia #acceleratedcomputing, обеспечивая прорывную производительность и исключительный прирост энергоэффективности.
Поздравляем всю команду! https://t.co/UXHtPCELly-
NVIDIA Data Center (@NVIDIADC) 2 сентября, 2024
Вычислительная мощь Colossus потенциально может ускорить прорыв в различных приложениях ИИ, от обработки естественного языка до сложных алгоритмов решения проблем. Однако презентация Colossus также возрождает дискуссии о концентрации мощностей ИИ среди горстки технологических гигантов и хорошо финансируемых стартапов.
По мере того как такие компании, как xAI, расширяют границы возможного в обучении ИИ, на первый план могут выйти опасения по поводу доступности таких передовых технологий для небольших организаций и исследователей.
Поскольку гонка вооружений в области ИИ продолжает накаляться, все внимание будет приковано к xAI и ее конкурентам, чтобы увидеть, как они используют эти все более мощные системы. Создав Colossus, Маск и его команда бросили вызов конкурентам, чтобы те сравнялись с ними или превзошли их.
