Автор изображения: Runware
Программное обеспечение Runware использует пользовательское оборудование и расширенную оркестровку для быстрого вывода результатов с помощью искусственного интеллекта
Иногда демонстрация – это все, что вам нужно, чтобы разобраться в продукте. Именно так обстоит дело с Runware. Если вы зайдете на веб—сайт Runware, введете запрос и нажмете enter, чтобы сгенерировать изображение, вы будете удивлены тем, как быстро Runware сгенерирует изображение для вас – это займет меньше секунды.
Runware – новичок в области создания ИИ-логического вывода. Компания строит собственные серверы и оптимизирует программный уровень на этих серверах, чтобы устранить узкие места и повысить скорость вывода для моделей генерации изображений. Стартап уже получил финансирование в размере 3 миллионов долларов от Speedrun Андреессена Горовица, Halo II от LakeStar и Lunar Ventures.
Компания не хочет изобретать велосипед заново. Она просто хочет, чтобы он вращался быстрее. За кулисами Runware производит свои собственные серверы с максимально возможным количеством графических процессоров на одной материнской плате. Компания имеет собственную систему охлаждения, изготовленную на заказ, и управляет собственными центрами обработки данных.
Когда дело доходит до запуска моделей искусственного интеллекта на своих серверах, Runware оптимизировала уровень согласования с помощью BIOS и операционной системы, чтобы сократить время холодного запуска. Компания разработала собственные алгоритмы, которые распределяют рабочие нагрузки, связанные с помехами.
Демонстрация впечатляет сама по себе. Теперь компания хочет использовать всю эту работу в исследованиях и разработках и превратить ее в бизнес.
В отличие от многих компаний, занимающихся размещением графических процессоров, Runware не собирается сдавать свои графические процессоры в аренду на основе времени работы графического процессора. Вместо этого, по ее мнению, следует поощрять компании к ускорению рабочих нагрузок. Вот почему Runware предлагает API для генерации изображений с традиционной структурой оплаты за обращение к API. Он основан на популярных моделях искусственного интеллекта от Flux и Stable Diffusion.
“Если вы посмотрите на Together AI, Replicate, Hugging Face — все они продают вычисления, основанные на графическом процессоре”, — сказал TechCrunch соучредитель и генеральный директор Флавиу Радулеску. “Если вы сравните количество времени, которое требуется нам на создание изображения, с их. А когда вы сравните цены, вы увидите, что мы работаем намного дешевле и намного быстрее”.
“Им будет невозможно соответствовать нашим показателям”, – добавил он. “Особенно в облачной среде, где приходится работать в виртуализированной среде, что приводит к дополнительным задержкам”.
Поскольку Runware анализирует весь процесс вывода и оптимизирует аппаратное и программное обеспечение, компания надеется, что в ближайшем будущем она сможет использовать графические процессоры от нескольких поставщиков. Это было важным начинанием для нескольких стартапов, поскольку Nvidia является явным лидером в области графических процессоров, а это означает, что графические процессоры Nvidia, как правило, довольно дороги.
“Сейчас мы используем только графические процессоры Nvidia. Но это должно быть абстракцией программного уровня”, – сказал Радулеску. “Мы можем очень быстро загружать и отключать модель из памяти графического процессора, что позволяет нам подключать несколько клиентов к одним и тем же графическим процессорам.
“Таким образом, мы не похожи на наших конкурентов. Они просто загружают модель в графический процессор, а затем графический процессор выполняет очень специфическую задачу. В нашем случае мы разработали это программное решение, которое позволяет нам переключать модель в памяти графического процессора по мере выполнения логических выводов“.
Если AMD и другие производители графических процессоров смогут создать уровни совместимости, которые будут работать с типичными рабочими нагрузками ИИ, у Runware будут хорошие возможности для создания гибридного облака, которое будет использовать графические процессоры нескольких производителей. И это, безусловно, поможет, если компания хочет оставаться дешевле конкурентов в области вывода ИИ.
Источник: techcrunch.com
