Користувацькі моделі в Розумному вікні - використання власної кінцевої точки

Firefox Firefox Останнє оновлення:
Це машинний переклад англійської статті. Він не був перевірений людиною та може містити помилки. Якщо хочете відкоригувати цей вміст, почати можна тут.
Примітка: Функція Розумне вікно буде поступово надаватися, починаючи з користувачів Firefox у Сполучених Штатах і Канаді у версії Firefox 150, а для користувачів у Франції — починаючи з версії Firefox 155.

Розумне вікно дозволяє підключати власну модель ШІ замість тих, що надаються Firefox. Основною вимогою для його роботи є те, що сервер, до якого ви підключаєтеся, має бути сумісним з OpenAI API. Це корисно, якщо ви хочете мати більше контролю, використовувати певного постачальника або запускати модель локально на своєму пристрої.

Ви можете підключити:

  • Віддалену модель (наприклад, OpenRouter)
  • Локальну модель, що працює на вашому пристрої (наприклад, Lemonade Server або Ollama)
Примітка: Якщо ви використовуєте власну модель, Розумне вікно може працювати не так, як очікувалося. Ця функція та ці інструкції призначені для користувачів, які знайомі з цими службами та інструментами. Переконайтеся, що ви використовуєте надійного постачальника моделей!

Використання віддаленої моделі (OpenRouter)

  1. Створіть обліковий запис OpenRouter, якщо у вас його ще немає, на https://openrouter.ai/.
  2. Згенеруйте ключ API в OpenRouter і скопіюйте його в безпечне місце.
    • Ключі API OpenRouter починаються з sk-or-v1-.
  3. Відкрийте сторінку моделей OpenRouter і виберіть модель, яку ви хочете використовувати.
    • Запишіть її ідентифікатор моделі. Наприклад: z-ai/glm-4.5-air:free.
  4. У Firefox: На панелі меню вгорі екрана натисніть Firefox і виберіть Налаштування.Натисніть кнопку меню Fx89menuButton та виберіть Налаштування.
  5. Перейдіть до AI Controls > Smart Window Settings > Assistant model.
  6. Виберіть Custom: Use your own LLM.
  7. Заповніть поля:
    • Назва моделі: Вставте ідентифікатор моделі OpenRouter з кроку 3.
    • Кінцева точка моделі: Введіть кінцеву точку API OpenRouter, яка зазвичай є https://openrouter.ai/api/v1.
    • Ключ API: Вставте свій ключ API OpenRouter з кроку 2.
  8. Натисніть Save.
  9. Відкрийте Розумне вікно та почніть використовувати Помічника.
Порада: Ви можете знайти безплатні моделі на OpenRouter, виконавши пошук за словом “free” на сторінці моделей (пряме посилання).
bringyourownmodel

Використання локальної моделі

Приклад: Lemonade Server

  1. Завантажте та встановіть Lemonade Server з https://lemonade-server.ai/. Ви повинні використовувати версію 10.2.0 або новішу.
  2. Запустіть Lemonade Server і завантажте модель на ваш вибір, дотримуючись інструкцій програми.
  3. У терміналі командного рядка встановіть більший розмір контексту за допомогою команди lemonade config set ctx_size=8192.
  4. Перезавантажте модель з інтерфейсу користувача або за допомогою команди lemonade unload (наступного разу, коли ви зробите запит до моделі, вона завантажиться з вашими налаштуваннями).
  5. У Firefox: На панелі меню вгорі екрана натисніть Firefox і виберіть Налаштування.Натисніть кнопку меню Fx89menuButton та виберіть Налаштування.
  6. Перейдіть до AI Controls > Smart Window Settings > Assistant model.
  7. Виберіть Custom: Use your own LLM.
  8. Заповніть поля:
    • Назва моделі: Введіть назву вашої моделі з кроку 2 (наприклад, SmolLM3-3B-GGUF).
    • Кінцева точка моделі: Введіть кінцеву точку Lemonade Server, яка зазвичай є http://localhost:13305/api/v1.
    • Зауважте, що для Lemonade Server ключ API не потрібен.
  9. Натисніть Save.
  10. Відкрийте Розумне вікно та почніть використовувати Помічника.

Приклад: Ollama

  1. Завантажте та встановіть Ollama з https://ollama.com/download.
  2. Запустіть Ollama та дотримуйтесь інструкцій на сайті, щоб завантажити локальну модель на ваш вибір.
  3. Відкрийте екран налаштувань Firefox, перейдіть до AI Controls > Smart Window Settings > Assistant model, і виберіть Custom: Use your own LLM.
  4. Заповніть поля:
    • Назва моделі: Введіть назву вашої моделі з кроку 2 (наприклад, qwen3.5:4b).
    • Кінцева точка моделі: Введіть кінцеву точку Ollama, яка зазвичай є http://localhost:11434/v1.
    • Зауважте, що для Ollama ключ API не потрібен.
  5. Натисніть Save.
  6. Відкрийте Розумне вікно та почніть використовувати Помічника.

Пов'язані статті

Цю статтю допомогли написати такі чудові люди:

Illustration of hands

Станьте волонтером

Примножуйте ваші знання та діліться ними з іншими. Відповідайте на запитання та поповнюйте нашу базу знань.

Докладніше