스마트 창은 대규모 언어 모델(LLM)을 사용하여 일상적인 작업을 지원함으로써 Firefox에서의 웹 브라우징을 향상시킵니다. AI에 의존하기 때문에 알려진 위험과 보호 장치가 있습니다.

이 문서는 이러한 위험, Mozilla가 이를 줄이기 위해 어떻게 노력하는지, 그리고 사용자의 데이터가 어떻게 처리되는지에 대해 설명합니다.

AI 어시스턴트의 위험은 무엇인가요?

대규모 언어 모델(LLM)로 구동되는 AI 어시스턴트는 예상치 못한 방식으로 작동할 수 있습니다. 몇 가지 일반적인 위험은 다음과 같습니다:

개방형 상호작용

• 사용자가 의도적으로 또는 비의도적으로 유해한 콘텐츠를 요청할 수 있습니다. 이는 신체적 피해, 불법 활동 또는 금전적 피해와 같은 위험으로 이어질 수 있습니다.

의도하지 않은 유해한 응답

• LLM은 확률적이기 때문에 안전 장치가 있더라도 유해한 결과가 완전히 방지될 수는 없습니다.

부정확한 정보(환각)

• AI 시스템은 거짓이거나 오해의 소지가 있는 정보를 생성할 수 있습니다.

Mozilla는 이러한 위험을 인식하고 이 기술의 한계에 대해 투명하게 공개하면서 이를 줄이기 위해 노력합니다.

Mozilla가 이러한 위험을 줄이는 방법

Mozilla는 스마트 창을 위한 AI 모델을 선택하고 운영할 때 다음과 같은 몇 가지 조치를 취합니다:

안전성 평가

• 유해한 응답을 유발하도록 설계된 프롬프트를 사용하여 모델을 테스트합니다. 결과는 모델이 안전하지 않은 요청을 거부하는 빈도를 기준으로 평가됩니다.

어시스턴트 보호 장치

• 시스템 지침은 어시스턴트가 유해한 콘텐츠를 피하도록 안내합니다.

민감한 주제 처리

• 금융, 의료 및 법률 주제에 대해 어시스턴트는 사용자에게 전문가의 조언을 구하도록 권장하는 면책 조항을 제공합니다.

사용자 데이터 보호 방법

스마트 창에는 사용자 데이터 노출을 제한하도록 설계된 개인 정보 보호 기능이 포함되어 있습니다:

• Mozilla 프록시 – 요청은 AI 서비스에 도달하기 전에 Mozilla 프록시 서버를 통해 라우팅됩니다. 이는 다음을 의미합니다:
  • AI 서비스는 사용자의 Firefox 브라우저나 컴퓨터의 고유 식별자를 볼 수 없습니다.
  • AI 서비스는 사용자의 IP 주소를 볼 수 없습니다.
  • AI 서비스는 사용자를 직접 식별하거나 사용자의 위치를 파악할 수 없습니다.
• 기본적으로 데이터 수집 없음
  • 사용자가 동의하지 않는 한, 대화는 훈련이나 사람의 검토를 위해 절대 수집되거나 저장되지 않습니다.

보안 보호

스마트 창에는 프롬프트 주입 공격과 같은 새로운 위험에 대한 보호 기능이 포함되어 있습니다. 이러한 공격은 웹 콘텐츠에 악의적인 지침을 숨기려고 시도합니다.

Mozilla는 다음과 같은 방법으로 이러한 위험에 대처합니다:

• 프롬프트 주입이 발생할 수 있는 위치를 줄입니다(예: 어시스턴트로 전송되는 탭 제목의 길이 제한).
• 신뢰할 수 없는 콘텐츠나 개인 데이터와 상호 작용할 때 대화 상태에 레이블을 지정하여, 위험을 줄이기 위해 AI가 접근할 수 있는 특정 작업을 언제 제한해야 하는지 알 수 있습니다.
• 지침과 데이터를 구별하는 기술을 사용합니다.

지속적인 개선

AI 시스템의 보안과 안전은 계속해서 발전하고 있습니다. Mozilla는 다음과 같은 노력을 합니다:

• 새로운 위험이 발견되면 보호 기능을 업데이트합니다.
• 새로운 완화 조치를 개발합니다.
• 투명성과 더 넓은 오픈 소스 커뮤니티를 지원하기 위해 접근 방식을 공유합니다.

관련 문서

• Firefox privacy and security features
• 데스크탑용 Firefox의 향상된 추적 방지 기능
• Manage Firefox data collection and privacy settings