Modeli po meri v pametnem oknu - Uporaba lastne končne točke

Firefox Firefox Ustvarjeno:
To je strojno ustvarjen prevod angleščine. Ni ga pregledal človek in lahko vsebuje napake. Če želite to vsebino pregledati, lahko začnete tukaj.
Opomba: Funkcija Pametno okno bo na voljo postopoma, začenši z uporabniki Firefoxa v Združenih državah in Kanadi v različici Firefoxa 150 in za uporabnike v Franciji od različice Firefoxa 155 dalje.

Pametno okno vam omogoča, da povežete svoj model umetne inteligence, namesto da bi uporabljali tiste, ki jih ponuja Firefox. Glavni pogoj za delovanje je, da mora biti strežnik, s katerim se povezujete, združljiv z API-jem OpenAI. To je koristno, če želite več nadzora, uporabiti določenega ponudnika ali zagnati model lokalno na svoji napravi.

Povežete lahko:

  • Oddaljeni model (kot je OpenRouter)
  • Lokalni model, ki se izvaja na vaši napravi (kot sta Lemonade Server ali Ollama)
Opomba: Če uporabljate model po meri, Pametno okno morda ne bo delovalo po pričakovanjih. Ta funkcija in ta navodila so namenjena uporabnikom, ki so seznanjeni s temi storitvami in orodji. Poskrbite, da boste uporabljali zaupanja vrednega ponudnika modelov!

Uporaba oddaljenega modela (OpenRouter)

  1. Če ga še nimate, ustvarite račun OpenRouter na https://openrouter.ai/.
  2. V OpenRouterju ustvarite ključ API in ga shranite na varno mesto.
    • Ključi API za OpenRouter se začnejo z sk-or-v1-.
  3. Odprite stran z modeli OpenRouter in izberite model, ki ga želite uporabiti.
    • Zapišite si ID modela. Npr.: z-ai/glm-4.5-air:free.
  4. V Firefoxu:

    V menijski vrstici na vrhu zaslona kliknite Firefox in izberite Nastavitve (Settings ali Preferences). Kliknite gumb menija Fx89menuButton in izberite Nastavitve.

  5. Pojdite na AI Controls > Smart Window Settings > Assistant model.
  6. Izberite Po meri: Uporabite svoj LLM.
  7. Izpolnite polja:
    • Model name: Prilepite ID modela OpenRouter iz 3. koraka.
    • Model endpoint s končno točko API-ja OpenRouter, ki je običajno https://openrouter.ai/api/v1.
    • API key: Prilepite svoj ključ API za OpenRouter iz 2. koraka.
  8. Kliknite Save.
  9. Odprite Pametno okno in začnite uporabljati pomočnika.
Namig: Brezplačne modele na OpenRouterju lahko najdete tako, da na strani z modeli poiščete "free" (neposredna povezava).
bringyourownmodel

Uporaba lokalnega modela

Primer: Lemonade Server

  1. Prenesite in namestite Lemonade Server s spletnega mesta https://lemonade-server.ai/. Uporabiti morate različico 10.2.0 ali novejšo.
  2. Zaženite Lemonade Server in po navodilih aplikacije prenesite model po svoji izbiri.
  3. V terminalu ukazne vrstice nastavite večjo velikost konteksta z ukazom lemonade config set ctx_size=8192.
  4. Ponovno naložite model iz uporabniškega vmesnika ali z ukazom lemonade unload (ko boste naslednjič poslali zahtevo modelu, se bo naložil z vašimi nastavitvami).
  5. V Firefoxu:

    V menijski vrstici na vrhu zaslona kliknite Firefox in izberite Nastavitve (Settings ali Preferences). Kliknite gumb menija Fx89menuButton in izberite Nastavitve.

  6. Pojdite na AI Controls > Smart Window Settings > Assistant model.
  7. Izberite Po meri: Uporabite svoj LLM.
  8. Izpolnite polja:
    • Model name: Vnesite ime svojega modela iz 2. koraka (na primer SmolLM3-3B-GGUF).
    • Model endpoint: Vnesite končno točko strežnika Lemonade Server, ki je običajno http://localhost:13305/api/v1.
    • Upoštevajte, da za Lemonade Server ključ API ni potreben.
  9. Kliknite Save.
  10. Odprite Pametno okno in začnite uporabljati pomočnika.

Primer: Ollama

  1. Prenesite in namestite Ollama s spletnega mesta https://ollama.com/download.
  2. Zaženite Ollama in sledite navodilom na spletnem mestu, da prenesete lokalni model po svoji izbiri.
  3. Odprite zaslon z nastavitvami Firefoxa, pojdite na AI Controls > Smart Window Settings > Assistant model in izberite Po meri: Uporabite svoj LLM.
  4. Izpolnite polja:
    • Model name: Vnesite ime svojega modela iz 2. koraka (npr.: qwen3.5:4b).
    • Model endpoint: Vnesite končno točko Ollama, ki je običajno http://localhost:11434/v1.
    • Upoštevajte, da za Ollama ključ API ni potreben.
  5. Kliknite Save.
  6. Odprite Pametno okno in začnite uporabljati pomočnika.

Povezani članki

Ti prima sodelavci so pomagali napisati ta članek:

Illustration of hands

Postanite prostovoljec

Pridobivajte in delite svoje znanje z ostalimi. Odgovarjajte na vprašanja in izboljšajte bazo znanja.

Več o tem