В посте на X Ахмад Аль-Дале, вице-президент Meta по генеративному искусственному интеллекту, сказал, что Llama 3.3 70B, работающая только с текстом, обеспечивает производительность самой большой модели Llama от Meta, Llama 3.1 405B, при меньших затратах.
«Используя последние достижения в области методов постобработки, эта модель повышает производительность при значительно меньших затратах», — написал Аль-Дале.
Аль-Дале опубликовал диаграмму, показывающую, что Llama 3.3 70B превосходит Gemini 1.5 Pro от Google, GPT-4o от OpenAI и недавно выпущенную модель Nova Pro от Amazon по ряду отраслевых показателей, включая MMLU, который оценивает способность модели понимать язык. Представитель Meta сообщил по электронной почте, что модель должна улучшить результаты в таких областях, как математика, общие знания, выполнение инструкций и использование приложений.
Представляем Llama 3.3 — новую модель 70B, которая обеспечивает производительность нашей модели 405B, но при этом более проста и экономична в использовании. Благодаря использованию новейших достижений в области методов постобработки, включая онлайн-оптимизацию предпочтений, эта модель повышает производительность на… pic.twitter.com/6oQ7b3Yuzc
Llama 3.3 70B, доступная для скачивания на платформе разработки ИИ Hugging Face и в других источниках, включая официальный веб-сайт Llama, — это последняя попытка Meta доминировать в сфере ИИ с помощью «открытых» моделей, которые можно использовать и коммерциализировать в различных сферах.
Условия Meta ограничивают то, как некоторые разработчики могут использовать модели Llama; платформы с более чем 700 миллионами пользователей в месяц должны запрашивать специальную лицензию. Но для многих неважно, что модели Llama не являются «открытыми» в строгом смысле этого слова. Например, по данным Meta, Llama скачали более 650 миллионов раз.
Meta также использует Llama внутри компании. Meta AI, помощник на основе ИИ от Meta, который полностью работает на моделях Llama, в настоящее время насчитывает почти 600 миллионов активных пользователей в месяц, по словам генерального директора Meta Марка Цукерберга. Цукерберг утверждает, что Meta AI станет самым популярным помощником на основе ИИ в мире.
Для Meta открытый характер Llama стал и благословением, и проклятием. В ноябре в отчёте утверждалось, что китайские военные исследователи использовали модель Llama для разработки оборонного чат-бота. В ответ Meta сделала свои модели Llama доступными для оборонных подрядчиков США.
Meta также выразила обеспокоенность по поводу своей способности соблюдать Закон об искусственном интеллекте, закон ЕС, который устанавливает нормативную базу для искусственного интеллекта, назвав реализацию закона “слишком непредсказуемой” для ее стратегии открытого выпуска. Связанной с этим проблемой для компании являются положения GDPR, закона ЕС о конфиденциальности, касающиеся обучения искусственному интеллекту. Meta обучает модели искусственного интеллекта на основе общедоступных данных пользователей Instagram и Facebook, которые еще не отказались от использования — данных, на которые в Европе распространяются гарантии GDPR.
Ранее в этом году регулирующие органы ЕС потребовали, чтобы Meta приостановила обучение на данных европейских пользователей, пока они оценивают соответствие компании требованиям GDPR. Meta согласилась, но в то же время поддержала открытое письмо, призывающее к «современной интерпретации» GDPR, которая не «препятствует прогрессу».
Meta, не застрахованная от технических проблем, с которыми сталкиваются другие лаборатории ИИ, наращивает свою вычислительную инфраструктуру для обучения и обслуживания будущих поколений Llama. В среду компания объявила, что построит центр обработки данных ИИ стоимостью 10 миллиардов долларов в Луизиане — крупнейший центр обработки данных ИИ, который когда-либо строила Meta.
Цукерберг сказал во время телефонной конференции Meta по итогам четвёртого квартала в августе, что для обучения следующего крупного набора моделей Llama, Llama 4, компании потребуется в 10 раз больше вычислительных мощностей, чем для обучения Llama 3. Meta приобрела кластер из более чем 100 000 графических процессоров Nvidia для разработки моделей, что сопоставимо с ресурсами конкурентов, таких как xAI.
Обучение генеративных моделей ИИ — дорогостоящий процесс. Капитальные затраты Meta выросли почти на 33% до 8,5 млрд долларов во втором квартале 2024 года по сравнению с 6,4 млрд долларов годом ранее за счёт инвестиций в серверы, центры обработки данных и сетевую инфраструктуру.
