Własne modele w inteligentnym oknie – dodawanie własnego modelu

Firefox Firefox Ostatnio zaktualizowany: 2 tygodnie temu
Informacja. Funkcja inteligentne okno będzie stopniowo udostępniana użytkownikom w Stanach Zjednoczonych i Kanadzie począwszy od wersji Firefoksa 150.

Inteligentne okno umożliwia podłączenie własnego wybranego przez siebie zewnętrznego modelu SI zamiast korzystania z modeli dostarczanych przez Firefoksa. Podstawowym wymaganiem działania tej funkcji jest zgodność serwera, z którym nawiązywane jest połączenie, z interfejsem OpenAI. Jest to przydatne, gdy użytkownik chce mieć większą kontrolę, korzystać z określonego dostawcy lub uruchomiać model lokalnie na swoim urządzeniu.

Można podłączyć:

  • Zdalny model, na przykład OpenRouter,
  • Lokalny model uruchaminy na urządzeniu, na przykład Lemonade Server lub Ollama.
Informacja. Gdy użytkownik stosuje wybrany przez siebie zewnętrzny model, inteligentne okno może nie działać zgodnie z oczekiwaniami. Funkcja ta i instrukcje są przeznaczone dla użytkowników zaznajomionych z tymi usługami i narzędziami. Należy upewnić się, że używany dostawca modelu jest zaufany.

Używanie modelu zdalnego (OpenRouter)

  1. Na stronie https://openrouter.ai/ utwórz konto OpenRouter, jeśli jeszcze go nie masz.
  2. W OpenRouter wygeneruj klucz API i skopiuj go w bezpieczne miejsce.
    • Klucze API OpenRouter rozpoczynają się od sk-or-v1-.
  3. Otwórz stronę modeli OpenRouter i wybierz model, którego chcesz używać.
    • Zanotuj jego identyfikator. Na przykład: z-ai/glm-4.5-air:free.
  4. W Firefoksie: Z paska menu u góry ekranu wybierz Firefox, a następnie Ustawienia lub w niektórych przypadkach Preferencje.Kliknij znajdujący się w prawym górnym narożniku okna Firefoksa przycisk menu Fx89menuButton i wybierz Ustawienia.
  5. Przejdź do Sterowanie SI > Smart Window Settings > Assistant model.
  6. Wybierz Custom: Use your own LLM.
  7. Wypełnij pola:
    • Nazwa modelu – wklej identyfikator modelu OpenRouter z kroku 3.
    • Punkt końcowy modelu – wprowadź punkt końcowy API OpenRouter, którym zazwyczaj jest adres URL https://openrouter.ai/api/v1.
    • Klucz API – wklej klucz API OpenRouter z kroku 2.
  8. Kliknij Zapisz.
  9. Otwórz inteligentne okno i rozpocznij korzystanie z asystenta.
Porada. Bezpłatne modele OpenRouter można znaleźć, wyszukując hasło „free” na stronie modeli (bezpośredni odnośnik).
bringyourownmodel

Używanie modelu lokalnego

Przykład: Lemonade Server

  1. Ze strony https://lemonade-server.ai/ pobierz i zainstaluj Lemonade Server. Należy używać wersji 10.2.0 lub nowszej.
  2. Uruchom Lemonade Server i pobierz wybrany model, postępując zgodnie z instrukcjami aplikacji.
  3. W wierszu poleceń terminala za pomocą polecenia lemonade config set ctx_size=8192 ustaw większy rozmiar kontekstu.
  4. Załaduj ponownie model z poziomu interfejsu użytkownika lub za pomocą polecenia lemonade unload. Przy następnym zapytaniu do modelu zostanie on załadowany z zastosowaniem tych ustawień.
  5. W Firefoksie: Z paska menu u góry ekranu wybierz Firefox, a następnie Ustawienia lub w niektórych przypadkach Preferencje.Kliknij znajdujący się w prawym górnym narożniku okna Firefoksa przycisk menu Fx89menuButton i wybierz Ustawienia.
  6. Przejdź do Sterowanie SI > Smart Window Settings > Assistant model.
  7. Wybierz Custom: Use your own LLM.
  8. Wypełnij pola:
    • Nazwa modelu – wprowadź nazwę modelu z kroku 2, na przykład SmolLM3-3B-GGUF.
    • Punkt końcowy modelu – wprowadź punkt końcowy Lemonade Server, którym zazwyczaj jest adres URL http://localhost:13305/api/v1.
    • Należy pamiętać, że Lemonade Server nie wymaga klucza API.
  9. Kliknij Zapisz.
  10. Otwórz inteligentne okno i rozpocznij korzystanie z asystenta.

Przykład: Ollama

  1. Ze strony https://ollama.com/download pobierz i zainstaluj Ollama.
  2. Uruchom Ollama i postępuj zgodnie z instrukcjami na stronie, aby pobrać wybrany model lokalny.
  3. Otwórz ekran ustawień Firefoksa i przejdź do Sterowanie SI > Smart Window Settings > Assistant model, a następnie wybierz Custom: Use your own LLM.
  4. Wypełnij pola:
    • Nazwa modelu – wprowadź nazwę modelu z kroku 2, na przykład qwen3.5:4b.
    • Punkt końcowy modelu – wprowadź punkt końcowy Ollama, którym zazwyczaj jest adres URL http://localhost:11434/v1.
    • Należy pamiętać, że Ollama nie wymaga klucza API.
  5. Kliknij Zapisz.
  6. Otwórz inteligentne okno i rozpocznij korzystanie z asystenta.

Powiązane artykuły

Osoby, które pomogły w tworzeniu tego artykułu:

Illustration of hands

Pomóż nam

Zdobywaj wiedzę i dziel się nią z innymi. Odpowiadaj na pytania i ulepsz naszą bazę wiedzy.

Więcej informacji