Поделиться через

Использование локальной языковой модели с прокси-сервером разработки

Подключив прокси-сервер разработки к локальной языковой модели, вы можете улучшить функциональные возможности прокси-сервера разработки. Выберите подключаемые модули Прокси для разработки, используя языковую модель для улучшения выходных данных, где участвует естественный язык. Используя локальную языковую модель, вы можете воспользоваться улучшенными функциональными возможностями без дополнительных затрат.

Необходимые компоненты

Dev Proxy поддерживает хосты языковых моделей, которые предоставляют API, совместимые с OpenAI. Он также поддерживает API Ollama. Чтобы настроить узел локальной языковой модели, следуйте инструкциям в его документации.

Настройка прокси-сервера разработки для использования локальной языковой модели

Чтобы настроить прокси-сервер разработки для использования локальной языковой модели, используйте languageModel параметр в devproxyrc.json файле.

{
  "languageModel": {
    "enabled": true
  }
}

В рамках languageModel параметра можно использовать следующие параметры:

Вариант Описание Значение по умолчанию
cacheResponses Указывает, следует ли кэшировать ответы из языковой модели. true
client Тип используемого клиента. Допустимые значения: Ollama, OpenAI OpenAI
enabled Указывает, следует ли использовать локальную языковую модель. false
model Имя используемой языковой модели. llama3.2
url URL-адрес клиента локальной языковой модели. http://localhost:11434/v1/

По умолчанию Dev Proxy использует стандартную конфигурацию Ollama с моделью llama3.2 с использованием API-интерфейсов Ollama, совместимых с OpenAI. Он также кэширует ответы из языковой модели, что означает, что для того же запроса вы получаете немедленный ответ, не ожидая обработки языковой модели.

Внимание

При использовании локальной языковой модели обязательно запустите клиент локальной языковой модели перед запуском Dev Proxy.

Подключаемые модули Прокси для разработки, которые могут использовать локальную языковую модель

При наличии следующие подключаемые модули прокси-сервера разработки используют локальную языковую модель: