Умное окно улучшает просмотр веб-страниц в Firefox, используя большие языковые модели (LLM) для поддержки повседневных задач. Поскольку оно полагается на ИИ, существуют известные риски, а также средства защиты.

В этой статье объясняются эти риски, как Mozilla работает над их снижением и как обрабатываются ваши данные.

Каковы риски ИИ-помощников?

ИИ-помощники, работающие на базе больших языковых моделей (LLM), могут вести себя непредсказуемым образом. Некоторые из распространённых рисков включают:

Неограниченные взаимодействия

• Пользователи могут намеренно или непреднамеренно запрашивать вредоносный контент. Это может привести к таким рискам, как физический вред, незаконная деятельность или финансовый ущерб.

Непреднамеренные вредоносные ответы

• Поскольку LLM являются вероятностными, вредоносные результаты не могут быть полностью предотвращены, даже при наличии защитных мер.

Неверная информация (галлюцинации)

• Системы ИИ могут генерировать ложную или вводящую в заблуждение информацию.

Mozilla признаёт эти риски и работает над их снижением, сохраняя при этом прозрачность в отношении ограничений этой технологии.

Как Mozilla снижает эти риски

Mozilla предпринимает несколько шагов при выборе и эксплуатации моделей ИИ для Умного окна:

Оценка безопасности

• Модели тестируются с использованием запросов, создаваемых для вызова вредоносных ответов. Результаты оцениваются на основе того, как часто модели отклоняют небезопасные запросы.

Защитные меры помощника

• Системные инструкции направляют помощника на избежание вредоносного контента.

Обработка деликатных тем

• Для финансовых, медицинских и юридических тем помощник предоставляет оговорки, призывающие пользователей обращаться за профессиональной консультацией.

Как защищены ваши данные

Умное окно включает в себя средства защиты конфиденциальности, предназначенные для ограничения раскрытия пользовательских данных:

• Прокси-сервер Mozilla — Запросы направляются через прокси-сервер Mozilla, прежде чем попасть в службы ИИ. Это означает:
  • Служба ИИ не видит уникальный идентификатор вашего браузера Firefox или компьютера.
  • Служба ИИ не видит ваш IP-адрес.
  • Служба ИИ не может напрямую идентифицировать вас или ваше местоположение.
• Отсутствие сбора данных по умолчанию
  • Разговоры никогда не будут собираться или храниться для обучения или проверки человеком, если вы не дадите на это своё согласие.

Меры безопасности

Умное окно включает в себя защиту от возникающих рисков, таких как атаки с внедрением запросов. Эти атаки пытаются скрыть вредоносные инструкции в веб-контенте.

Mozilla борется с этими рисками следующим образом:

• Сокращение мест, где могут происходить внедрения запросов (например, ограничение длины заголовков вкладок, отправляемых помощнику)
• Маркировка состояния разговора при взаимодействии с ненадёжным контентом или личными данными, чтобы мы знали, когда ограничивать определённые действия, к которым имеет доступ ИИ, для снижения риска
• Использование техник для различения инструкций и данных

Постоянные улучшения

Безопасность и надёжность систем ИИ продолжают развиваться. Mozilla:

• Обновляет средства защиты по мере обнаружения новых рисков
• Разрабатывает новые меры по снижению рисков
• Делится подходами для поддержки прозрачности и более широкого сообщества открытого исходного кода

Связанные статьи

• Функции конфиденциальности и безопасности в Firefox
• Улучшенная защита от отслеживания в Firefox для компьютера
• Управление настройками сбора данных и конфиденциальности в Firefox