Modelli personalizzati in Smart Window - Utilizzare il proprio endpoint

Firefox Firefox Ultima modifica:
Nota: la funzionalità Smart Window verrà resa disponibile gradualmente agli utenti di Firefox, a partire dagli utenti negli Stati Uniti e in Canada nella versione di Firefox 150.

Smart Window consente di connettere il proprio modello di IA invece di utilizzare quelli forniti da Firefox. Ciò è utile se si desidera un maggiore controllo, utilizzare un fornitore specifico o eseguire un modello localmente sul proprio dispositivo.

È possibile connettere:

  • Un modello remoto (come OpenRouter)
  • Un modello locale in esecuzione sul proprio dispositivo (come Lemonade Server o Ollama)
Nota: se si utilizza un modello personalizzato, Smart Window potrebbe non funzionare come previsto. Questa funzionalità e queste istruzioni sono rivolte agli utenti che hanno familiarità con questi servizi e strumenti.

Utilizzare un modello remoto (OpenRouter)

  1. Creare un account OpenRouter se non se ne possiede già uno, all'indirizzo https://openrouter.ai/.
  2. Generare una chiave API in OpenRouter e copiarla in un luogo sicuro.
    • Le chiavi API di OpenRouter iniziano con sk-or-v1-.
  3. Aprire la pagina dei modelli di OpenRouter e scegliere un modello che si desidera utilizzare.
    • Prendere nota del suo ID modello. Esempio: z-ai/glm-4.5-air:free.
  4. In Firefox: sulla barra dei menu nella parte superiore dello schermo, fare clic su Firefox e selezionare Impostazioni (o Preferenze, in alcuni casi).fare clic sul pulsante dei menu Fx89menuButton e selezionare Impostazioni.
  5. Andare su Controlli IA > Impostazioni Smart Window > Modello assistente.
  6. Selezionare Personalizzato: utilizza il tuo LLM.
  7. Compilare i campi:
    • Nome modello: incollare l'ID del modello OpenRouter, dal passaggio 3.
    • Endpoint modello: l'endpoint API di OpenRouter, che in genere è https://openrouter.ai/api/v1.
    • Chiave API: incollare la propria chiave API di OpenRouter dal passaggio 2.
  8. Fare clic su Salva.
  9. Aprire una Smart Window e iniziare a utilizzare l'Assistente.
Suggerimento: è possibile trovare modelli gratuiti su OpenRouter cercando "free" nella pagina dei modelli (link diretto).
bringyourownmodel

Utilizzare un modello locale

Esempio: Lemonade Server

  1. Scaricare e installare Lemonade Server da https://lemonade-server.ai/. È necessario utilizzare la versione 10.2.0 o successiva.
  2. Eseguire Lemonade Server e scaricare un modello a scelta seguendo le istruzioni dell'applicazione.
  3. In un terminale a riga di comando, impostare una dimensione del contesto più grande utilizzando il comando lemonade config set ctx_size=8192.
  4. Ricaricare il modello dall'interfaccia utente o utilizzando il comando lemonade unload (la volta successiva che si effettua una richiesta al modello, questo verrà caricato con le proprie impostazioni).
  5. In Firefox: sulla barra dei menu nella parte superiore dello schermo, fare clic su Firefox e selezionare Impostazioni (o Preferenze, in alcuni casi).fare clic sul pulsante dei menu Fx89menuButton e selezionare Impostazioni.
  6. Andare su Controlli IA > Impostazioni Smart Window > Modello assistente.
  7. Selezionare Personalizzato: utilizza il tuo LLM.
  8. Compilare i campi:
    • Nome modello: inserire il nome del proprio modello dal passaggio 2 (ad esempio, SmolLM3-3B-GGUF).
    • Endpoint modello: inserire l'endpoint di Lemonade Server, che in genere è http://localhost:13305/api/v1.
    • Si noti che non è richiesta alcuna chiave API per Lemonade Server.
  9. Fare clic su Salva.
  10. Aprire una Smart Window e iniziare a utilizzare l'Assistente.

Esempio: Ollama

  1. Scaricare e installare Ollama da https://ollama.com/download.
  2. Eseguire Ollama e seguire le istruzioni sul sito per scaricare un modello locale a scelta.
  3. Aprire la schermata delle impostazioni di Firefox e andare su Controlli IA > Impostazioni Smart Window > Modello assistente e selezionare Personalizzato: utilizza il tuo LLM.
  4. Compilare i campi:
    • Nome modello: inserire il nome del proprio modello dal passaggio 2 (es: qwen3.5:4b).
    • Endpoint modello: inserire l'endpoint di Ollama, che in genere è http://localhost:11434/v1.
    • Si noti che non è richiesta alcuna chiave API per Ollama.
  5. Fare clic su Salva.
  6. Aprire una Smart Window e iniziare a utilizzare l'Assistente.

Articoli correlati

Questi bravi collaboratori hanno contribuito alla scrittura di questo articolo:

Illustration of hands

Collabora

Impara e condividi la tua esperienza con gli altri. Rispondi alle domande e migliora la nostra Knowledge Base.

Ulteriori informazioni