В то время как законодатели большинства стран все еще обсуждают, как поставить заслон искусственному интеллекту, Европейский союз идет впереди всех, приняв в начале этого года основанную на оценке рисков систему регулирования приложений с использованием искусственного интеллекта.
Закон вступил в силу в августе, хотя все детали общеевропейского режима управления ИИ все еще находятся в стадии разработки – например, кодексы практики. Но в ближайшие месяцы и годы многоуровневые положения закона начнут применяться к разработчикам приложений и моделей с ИИ, так что обратный отсчет соблюдения требований уже идет.
Следующей задачей является оценка того, выполняют ли модели с ИИ свои юридические обязательства и если да, то каким образом. Большие языковые модели (LLM) и другие так называемые базовые ИИ или ИИ общего назначения будут лежать в основе большинства приложений ИИ. Поэтому представляется важным сосредоточить усилия по оценке на этом уровне стека ИИ.
Шаг вперед – LatticeFlow AI, дочернее предприятие государственного исследовательского университета ETH Zurich, которое специализируется на управлении рисками ИИ и соблюдении требований законодательства.
В среду компания опубликовала то, что она рекламирует как первую техническую интерпретацию Закона ЕС об ИИ, что означает, что она стремится сопоставить нормативные требования с техническими, а также систему валидации LLM с открытым исходным кодом, основанную на этой работе, которую она называет Compl-AI (“компл-ии’… посмотрите, что они там натворили!).
Инициатива по оценке моделей искусственного интеллекта, которую они также называют “первым ориентированным на регулирование пакетом сравнительного анализа LLM”, является результатом долгосрочного сотрудничества между Швейцарским федеральным технологическим институтом и Болгарским институтом компьютерных наук, искусственного интеллекта и технологий (INSAIT), согласно LatticeFlow.
Создатели моделей искусственного интеллекта могут использовать сайт Compl-AI, чтобы запросить оценку соответствия их технологии требованиям Закона ЕС об искусственном интеллекте.
Компания LatticeFlow также опубликовала оценки моделей нескольких основных LLM, таких как различные версии / размеры моделей Llama от Meta и GPT от OpenAI, а также список лидеров по соблюдению требований Закона ЕС об искусственном интеллекте для Big AI.
Последний оценивает соответствие моделей, таких как Anthropic, Google, OpenAI, Meta и Mistral, требованиям закона по шкале от 0 (т.е. отсутствие соответствия) до 1 (полное соответствие).
Другие оценки помечаются как отрицательные, если не хватает данных или если производитель модели не предоставляет такую возможность. (Примечание: На момент написания статьи также было зафиксировано несколько отрицательных оценок, но нам сказали, что это связано с ошибкой в интерфейсе “Обнимающее лицо”).
Фреймворк LatticeFlow оценивает ответы магистров по 27 критериям, таким как “неправильное заполнение безобидного текста”, “предвзятые ответы”, “следование вредоносным инструкциям”, “правдивость” и “рассуждения на основе здравого смысла”, и это лишь некоторые из категорий, которые используются для оценки. Таким образом, каждая модель получает ряд оценок в каждом столбце (или нет).
Соответствие ИИ – неоднозначный результат
Итак, как же справились основные магистранты? Общая оценка модели отсутствует. Таким образом, производительность варьируется в зависимости от того, что именно оценивается, но есть несколько заметных максимумов и минимумов по различным критериям.
Например, все модели показали высокие показатели в том, что они не следовали вредным инструкциям, и относительно высокие показатели по всем направлениям в том, что они не давали предвзятых ответов, в то время как показатели по рассуждениям и общим знаниям были гораздо более неоднозначными.
В других случаях согласованность рекомендаций, которую фреймворк использует в качестве показателя справедливости, была особенно низкой для всех моделей — ни одна из них не набрала баллов выше половины (а большинство – значительно ниже).
Другие области, такие как пригодность обучающих данных, надежность и безотказность водяных знаков, по-видимому, практически не оцениваются из-за того, что многие результаты помечены как “Нет”.
LatticeFlow отмечает, что есть определенные области, в которых сложнее оценить соответствие моделей требованиям, например, такие важные вопросы, как авторское право и конфиденциальность. Так что это не значит, что у него есть ответы на все вопросы.
В документе, подробно описывающем работу над фреймворком, ученые, участвующие в проекте, подчеркивают, что большинство оцененных ими небольших моделей (параметры ≤ 13B) “получили низкие оценки по технической надежности и безопасности”.
Они также обнаружили, что “почти все рассмотренные модели борются за достижение высокого уровня разнообразия, недискриминации и справедливости”.
“Мы считаем, что эти недостатки в первую очередь связаны с тем, что поставщики моделей непропорционально сосредоточены на улучшении возможностей моделей в ущерб другим важным аспектам, предусмотренным нормативными требованиями Закона ЕС об искусственном интеллекте”, – добавляют они, предполагая, что по мере того, как сроки соблюдения требований начнут сокращаться, производители LLM будут вынуждены переключить свое внимание на области, связанные с цель — “обеспечение более сбалансированного развития магистратуры”.
Учитывая, что никто еще точно не знает, что потребуется для соблюдения Закона ЕС об искусственном интеллекте, разработка концепции LatticeFlow, безусловно, находится в стадии разработки. Это также лишь одна из интерпретаций того, как требования закона могут быть переведены в технические результаты, которые можно сравнить. Но это интересное начало того, что должно стать продолжением работы по изучению мощных технологий автоматизации и попыткам направить их разработчиков в сторону более безопасного использования.
“Система является первым шагом на пути к полной оценке соответствия требованиям Закона ЕС об ИИ, но разработана таким образом, чтобы ее можно было легко обновлять по мере обновления Закона и прогресса различных рабочих групп”, – сказал TechCrunch генеральный директор LatticeFlow Петар Цанков. “Комиссия ЕС поддерживает это. Мы ожидаем, что сообщество и индустрия продолжат разрабатывать рамки для создания полной и всесторонней платформы оценки закона об ИИ”.
Подводя итог основным выводам, сделанным на данный момент, Цанков сказал, что очевидно, что модели искусственного интеллекта “в основном были оптимизированы с учетом возможностей, а не соответствия требованиям”. Он также отметил “заметные пробелы в производительности”, отметив, что некоторые модели с высокими функциональными возможностями могут быть наравне с более слабыми моделями, когда дело доходит до соответствия требованиям.
По словам Цанкова, устойчивость к кибератакам (на уровне модели) и справедливость – это области, вызывающие особую озабоченность, поскольку многие модели оценивают их ниже 50%.
“В то время как Anthropic и OpenAI успешно адаптировали свои (закрытые) модели для защиты от джейлбрейков и быстрых внедрений, производители с открытым исходным кодом, такие как Mistral, уделяют этому меньше внимания”, – сказал он.
И поскольку “большинство моделей” одинаково плохо справляются с критериями справедливости, он предположил, что это должно стать приоритетом для будущей работы.
Говоря о проблемах оценки эффективности LLM в таких областях, как авторское право и конфиденциальность, Цанков пояснил: “Что касается авторского права, то проблема заключается в том, что текущие тесты проверяют только книги, защищенные авторским правом. Этот подход имеет два основных ограничения: (i) он не учитывает потенциальные нарушения авторских прав, связанные с материалами, отличными от этих конкретных книг, и (ii) он основан на количественной оценке запоминаемости моделей, что, как известно, очень сложно.
“Что касается конфиденциальности, то проблема аналогична: тест пытается определить, запомнила ли модель конкретную личную информацию”.
LatticeFlow стремится к тому, чтобы платформа с открытым исходным кодом была принята и усовершенствована более широким сообществом исследователей искусственного интеллекта.
“Мы приглашаем исследователей ИИ, разработчиков и регулирующие органы присоединиться к нам в продвижении этого развивающегося проекта”, – сказал профессор Мартин Вечев из ETH Zurich, основатель и научный директор INSAIT, который также участвует в работе, в своем заявлении. “Мы призываем другие исследовательские группы и практиков внести свой вклад, усовершенствовав схему AI Act, добавив новые критерии и расширив эту платформу с открытым исходным кодом.
“Методология также может быть расширена для оценки моделей ИИ в соответствии с будущими нормативными актами, выходящими за рамки Закона ЕС об ИИ, что делает ее ценным инструментом для организаций, работающих в разных юрисдикциях”.
В связи с принятием этим летом Закона ЕС об ИИ, Европейский союз излагает свой план управления ИИ
Управление искусственным интеллектом не может быть отдано на откуп узким кругам
