В условиях растущего внимания к прозрачности и безопасности в сфере искусственного интеллекта (ИИ), дискуссии о значении термина «открытость» становятся всё более активными. Специалисты из компании Endor Labs, занимающейся вопросами безопасности открытого исходного кода, поделились своими взглядами на эти актуальные темы.
Оглавление
Уроки из мира программного обеспечения
Эндрю Штифель, старший менеджер по продуктам в Endor Labs, подчеркнул, что опыт, накопленный в области безопасности программного обеспечения, может быть полезен для систем ИИ.
В 2021 году правительство США выпустило указ, направленный на улучшение кибербезопасности. Согласно этому документу, организации, поставляющие продукты федеральным агентствам, обязаны предоставлять так называемый «реестр компонентов программного обеспечения» (SBOM). Этот реестр содержит информацию об открытых компонентах, используемых в продукте, что помогает выявлять уязвимости.
Штифель считает, что аналогичный подход следует применять и к системам ИИ. «Это логичный следующий шаг, — заявил он. — Прозрачность в отношении данных, используемых для обучения моделей, их параметров и других компонентов, не только повышает безопасность, но и позволяет лучше понимать, как работают эти системы.»
Что означает «открытость» в контексте ИИ?
Жюльен Собрье, старший менеджер по продуктам в Endor Labs, добавил важные детали в дискуссию о прозрачности и «открытости» ИИ. Он объяснил, что определение открытости модели ИИ связано с множеством факторов.
«Модель ИИ состоит из множества элементов: данных для обучения, параметров, программ для тестирования и других компонентов. Чтобы модель можно было назвать открытой, необходимо, чтобы вся эта цепочка была доступна в виде открытого исходного кода. Пока что это довольно широкое определение.»
Собрье также отметил, что отсутствие единого подхода среди крупных игроков вызывает путаницу.
«Споры о значении термина ‘открытый’ начались с OpenAI, а сейчас в центре внимания оказалась Meta с её моделью LLAMA, которую называют ‘более открытой’. Нам нужно выработать общее понимание того, что такое открытая модель. Важно избежать ситуации, когда компании используют термин ‘открытый’ для маркетинга, не предоставляя реальной прозрачности.»
Проблема «открытого маркетинга»
Одной из ключевых проблем, по мнению Собрье, является практика «открытого маркетинга», когда компании заявляют о прозрачности, но при этом накладывают ограничения.
«Мы уже видели, как облачные провайдеры предлагают платные версии проектов с открытым исходным кодом, таких как базы данных, не внося вклад в их развитие. Исходный код остаётся открытым, но добавляются коммерческие ограничения. Meta и другие поставщики ‘открытых’ моделей могут пойти по тому же пути, чтобы сохранить конкурентное преимущество.»
Шаги DeepSeek к большей прозрачности
DeepSeek, одна из быстро развивающихся компаний в сфере ИИ, предпринимает шаги для повышения прозрачности. Часть её моделей и кода уже доступна в виде открытого исходного кода, что было положительно оценено экспертами.
«DeepSeek уже опубликовала модели и их параметры как открытый исходный код, — отметил Штифель. — Следующий шаг — предоставление информации о том, как они настраивают и используют эти модели в своих сервисах.»
Проверь свои знания в наших бесплатных тестах по ИИ! Пройди тест и узнай, насколько хорошо ты разбираешься в технологиях искусственного интеллекта!
Такая прозрачность имеет множество преимуществ. «Это упрощает проверку систем на наличие уязвимостей и позволяет другим использовать модели DeepSeek в своих проектах,» — добавил он.
Тренд на открытый исходный код в ИИ
Инициативы DeepSeek соответствуют общему тренду на использование открытых моделей ИИ. Согласно отчёту IDC, 60% организаций выбирают открытые модели для своих проектов, связанных с генеративным ИИ.
Исследования Endor Labs показывают, что в среднем организации используют от 7 до 21 открытой модели на одно приложение. Это позволяет выбирать лучшие модели для конкретных задач и контролировать затраты на API.
«К 7 февраля было обучено или создано более 3 500 моделей на основе оригинальной модели DeepSeek R1, — сообщил Штифель. — Это демонстрирует активность сообщества и подчеркивает важность понимания происхождения моделей и связанных с ними рисков.»
Управление рисками в открытом ИИ
С ростом популярности открытых моделей ИИ управление рисками становится критически важным. Штифель предложил системный подход, состоящий из трёх этапов:
- Обнаружение
Определите, какие модели ИИ использует ваша организация. - Оценка
Проверьте эти модели на наличие потенциальных рисков, включая вопросы безопасности и эксплуатации. - Реакция
Установите правила для безопасного использования моделей.
«Главное — найти баланс между инновациями и управлением рисками, — сказал Штифель. — Команды разработчиков должны иметь возможность экспериментировать, но при этом обеспечивать прозрачность и контроль.»
Собрье добавил, что сообществу необходимо разработать лучшие практики для безопасного создания и использования моделей ИИ.
Будущее ответственного ИИ
Для обеспечения ответственного развития ИИ индустрия должна внедрить меры контроля в нескольких направлениях:
- SaaS-модели
Контроль использования облачных сервисов сотрудниками. - Интеграции API
Управление встраиванием сторонних API в приложения. - Открытые модели
Использование моделей, созданных сообществом, или разработка собственных на основе существующих решений.
«Сообщество должно выработать лучшие практики для создания безопасных и открытых моделей ИИ, — заключил Собрье. — Необходима методика для оценки моделей по параметрам безопасности, качества, эксплуатационных рисков и открытости.»
Как резюмировал Штифель: «Думайте о безопасности на всех уровнях и внедряйте соответствующие меры контроля.»
