Smart Window의 사용자 지정 모델 - 자체 엔드포인트 사용

변경 정보
  • 변경 ID: 346696
  • 생성일:
  • 작성자: SuMo Bot
  • 댓글: Automatically approved because it was not reviewed within 7 days.
  • 검토완료: 예
  • 검토완료:
  • 검토자: SumoBot
  • 승인되었나요? 예
  • 현재 변경 사항입니까? 예
  • 지역화 준비: 아니오
변경 소스:
변경 내용
참고: Smart Window 기능은 점진적으로 제공될 예정으로, 미국 및 캐나다의 Firefox 사용자는 Firefox 버전 150부터, 프랑스 사용자는 Firefox 버전 155부터 사용할 수 있습니다.

Smart Window를 사용하면 Firefox에서 제공하는 AI 모델 대신 자신만의 AI 모델을 연결할 수 있습니다. 작동을 위한 주요 요구 사항은 연결하는 서버가 OpenAI API와 호환되어야 한다는 것입니다. 이는 더 많은 제어를 원하거나, 특정 공급자를 사용하거나, 장치에서 로컬로 모델을 실행하려는 경우에 유용합니다.

다음 중 하나를 연결할 수 있습니다:

  • 원격 모델 (예: OpenRouter)
  • 장치에서 실행되는 로컬 모델 (예: Lemonade Server 또는 Ollama)
참고: 사용자 지정 모델을 사용하는 경우 Smart Window가 예상대로 작동하지 않을 수 있습니다. 이 기능과 이 지침은 이러한 서비스와 도구에 익숙한 사용자를 대상으로 합니다. 신뢰할 수 있는 모델 공급자를 사용해야 합니다!

원격 모델 사용하기 (OpenRouter)

  1. 아직 계정이 없다면 https://openrouter.ai/에서 OpenRouter 계정을 만드세요.
  2. OpenRouter에서 API 키를 생성하고 안전한 곳에 복사하세요.
    • OpenRouter API 키는 sk-or-v1-로 시작합니다.
  3. OpenRouter 모델 페이지를 열고 사용하려는 모델을 선택하세요.
    • 모델 ID를 기록해 두세요. 예: z-ai/glm-4.5-air:free.
  4. Firefox에서: 화면 상단의 메뉴 바에서 Firefox를 클릭하고 설정을 선택하세요(경우에 따라 환경설정일 수 있습니다).Fx89menuButton 메뉴 버튼을 클릭하고 설정을 선택하세요.
  5. AI Controls > Smart Window Settings > Assistant model로 이동하세요.
  6. Custom: Use your own LLM을 선택하세요.
  7. 필드를 채우세요:
    • 모델 이름: 3단계에서 얻은 OpenRouter 모델 ID를 붙여넣으세요.
    • 모델 엔드포인트: OpenRouter API 엔드포인트(일반적으로 https://openrouter.ai/api/v1)를 입력하세요.
    • API 키: 2단계에서 얻은 OpenRouter API 키를 붙여넣으세요.
  8. Save을 클릭하세요.
  9. Smart Window를 열고 어시스턴트 사용을 시작하세요.
팁: 모델 페이지(직접 링크)에서 “free”를 검색하여 OpenRouter에서 무료 모델을 찾을 수 있습니다.
bringyourownmodel

로컬 모델 사용하기

예시: Lemonade Server

  1. https://lemonade-server.ai/에서 Lemonade Server를 다운로드하고 설치하세요. 버전 10.2.0 이상을 사용해야 합니다.
  2. Lemonade Server를 실행하고 앱 지침에 따라 원하는 모델을 다운로드하세요.
  3. 명령줄 터미널에서 lemonade config set ctx_size=8192 명령을 사용하여 더 큰 컨텍스트 크기를 설정하세요.
  4. UI에서 또는 lemonade unload 명령을 사용하여 모델을 다시 로드하세요 (다음에 모델에 요청할 때 설정이 로드됩니다).
  5. Firefox에서: 화면 상단의 메뉴 바에서 Firefox를 클릭하고 설정을 선택하세요(경우에 따라 환경설정일 수 있습니다).Fx89menuButton 메뉴 버튼을 클릭하고 설정을 선택하세요.
  6. AI Controls > Smart Window Settings > Assistant model로 이동하세요.
  7. Custom: Use your own LLM을 선택하세요.
  8. 필드를 채우세요:
    • 모델 이름: 2단계에서 얻은 모델 이름을 입력하세요 (예: SmolLM3-3B-GGUF).
    • 모델 엔드포인트: Lemonade Server 엔드포인트(일반적으로 http://localhost:13305/api/v1)를 입력하세요.
    • Lemonade Server에는 API 키가 필요하지 않습니다.
  9. Save을 클릭하세요.
  10. Smart Window를 열고 어시스턴트 사용을 시작하세요.

예시: Ollama

  1. https://ollama.com/download에서 Ollama를 다운로드하고 설치하세요.
  2. Ollama를 실행하고 사이트의 지침에 따라 원하는 로컬 모델을 다운로드하세요.
  3. Firefox 설정 화면을 열고 AI Controls > Smart Window Settings > Assistant model로 이동한 다음 Custom: Use your own LLM을 선택하세요.
  4. 필드를 채우세요:
    • 모델 이름: 2단계에서 얻은 모델 이름을 입력하세요 (예: qwen3.5:4b).
    • 모델 엔드포인트: Ollama 엔드포인트(일반적으로 http://localhost:11434/v1)를 입력하세요.
    • Ollama에는 API 키가 필요하지 않습니다.
  5. Save을 클릭하세요.
  6. Smart Window를 열고 어시스턴트 사용을 시작하세요.

관련 문서