Поделиться через


Краткое руководство. Начало работы с GPT-35-Turbo и GPT-4 со службой Azure OpenAI в IntelliJ

В этой статье показано, как приступить к работе со службой Azure OpenAI в IntelliJ IDEA. В нем показано, как использовать модели чата, такие как GPT-3.5-Turbo и GPT-4 для тестирования и экспериментов с различными параметрами и источниками данных.

Предпосылки

Установка и вход

Ниже описан процесс входа Azure в среде разработки IntelliJ:

  1. Если у вас нет подключаемого модуля, ознакомьтесь с набором средств Azure для IntelliJ.

  2. Чтобы войти в учетную запись Azure, перейдите на боковую панель Azure Explorer слева и щелкните значок входа Azure . Кроме того, вы можете перейти к сервису, развернуть Azure и выбрать команду "Войти в Azure".

    Снимок экрана: IntelliJ IDEA с выделенной кнопкой входа Azure.

  3. В окне входа Azure выберите OAuth 2.0 и нажмите кнопку "Войти". Другие варианты входа см. в инструкциях по входу в Набор средств Azure для IntelliJ.

  4. В браузере войдите с учетной записью, которая имеет доступ к ресурсу OpenAI, а затем вернитесь в IntelliJ. В диалоговом окне "Выбор подписок" выберите нужную подписку, а затем нажмите кнопку "Выбрать".

Создание и развертывание ресурса Службы OpenAI Azure

  1. После рабочего процесса входа щелкните правой кнопкой мыши элемент Azure OpenAI в Azure Explorer и выберите "Создать службу Azure OpenAI".

  2. В диалоговом окне "Создание службы OpenAI Azure" укажите следующие сведения и нажмите кнопку "ОК".

    • Имя: описательное имя ресурса Службы Azure OpenAI, например MyOpenAIResource. Это имя также является вашим личным доменным именем в конечной точке. Имя ресурса может включать только буквенно-цифровые символы и дефисы, и не может начинаться или заканчиваться дефисом.
    • Регион: расположение инстанции. Некоторые модели доступны только в определенных регионах. Для получения дополнительной информации см. Модели Службы Azure OpenAI.
    • Sku: Плата за ресурсы Azure OpenAI уровня "Стандартный" взимается на основе использования токенов. Дополнительные сведения см. в разделе о ценах на службу Azure OpenAI.
  3. Прежде чем использовать завершение чата, необходимо развернуть модель. Щелкните правой кнопкой мыши экземпляр Azure OpenAI и выберите "Создать новое развертывание". Во всплывающем окне "Создание развертывания Azure OpenAI " укажите следующие сведения и нажмите кнопку "ОК".

Набор средств отображает сообщение о состоянии после завершения развертывания и готовности к использованию.

Взаимодействие с Azure OpenAI с помощью запросов и параметров

  1. Щелкните правой кнопкой мыши ресурс Azure OpenAI, а затем выберите Открыть в AI Playground.

  2. Вы можете начать изучение возможностей OpenAI с помощью площадки чата Azure OpenAI Studio в IntelliJ IDEA.

    Снимок экрана: IntelliJ IDEA, на котором показано окно обзора игровой площадки чата.

Чтобы активировать завершение, можно ввести текст в виде запроса. Модель генерирует завершение и пытается сопоставить его с вашим контекстом или шаблоном.

Чтобы начать сеанс чата, выполните следующие действия.

  1. В области сеансов чата вы можете начать с простого запроса, подобного этому: "Я заинтересован в покупке нового Surface". После ввода запроса нажмите кнопку "Отправить". Вы получите ответ, аналогичный следующему примеру:

    Great! Which Surface model are you interested in? There are several options available such as the Surface Pro, Surface Laptop, Surface Book, Surface Go, and Surface Studio. Each one has its own unique features and specifications, so it's important to choose the one that best fits your needs.
    

    Снимок экрана: IntelliJ IDEA, на котором показан окно игровой площадки с первым вопросом и ответом.

  2. Введите следующий вопрос: "Какие модели поддерживают GPU?" и нажмите кнопку "Отправить". Вы получите ответ, аналогичный следующему примеру:

    Most Surface models come with an integrated GPU (Graphics Processing Unit), which is sufficient for basic graphics tasks such as video playback and casual gaming. However, if you're looking for more powerful graphics performance, the Surface Book 3 and the Surface Studio 2 come with dedicated GPUs. The Surface Book 3 has an NVIDIA GeForce GTX GPU, while the Surface Studio 2 has an NVIDIA GeForce GTX 1060 or 1070 GPU, depending on the configuration.
    

    Снимок экрана: IntelliJ IDEA, в котором отображается окно игровой площадки с первым и вторым вопросом и ответом.

  3. Теперь, когда у вас есть основная беседа, выберите "Просмотреть код " в окне, и вы можете воспроизвести код, использованный для всей беседы до сих пор. Вы можете увидеть примеры кода с использованием Java SDK, curl и JSON, которые соответствуют вашему сеансу чата и настройкам, как показано на следующем снимке экрана.

    Снимок экрана: IntelliJ IDEA, на котором показано окно примера кода.

  4. Затем можно выбрать "Копировать" , чтобы взять этот код и написать приложение, чтобы выполнить ту же задачу, которую вы выполняете с игровой площадкой.

Настройки

Перейдите на вкладку "Конфигурация" , чтобы задать следующие параметры:

Имя Описание
Максимальное число ответов Задает ограничение на количество маркеров, которые может создать модель.
Общее количество токенов (запрос и ответ), которые можно отправить, зависит от развернутой модели.
• gpt-35-turbo-1106 / 0125 – до 16 385 токенов
• gpt-35-turbo-16k-0613 – до 16 385 токенов
• gpt-4-turbo-2024-04-09 – до 128 000 токенов
• gpt-4o-2024-05-13 – до 128 000 токенов
Полный список ограничений up-to-date см. в сводной таблице модели и доступности регионов. Всегда убедитесь, что сумма вашего запроса и ожидаемого завершения вмещается в пределы окна контекста модели.
Температура Управляет случайностью. Снижение температуры означает, что модель создает более повторяющиеся и детерминированные ответы. Увеличение температуры приводит к более неожиданным или творческим откликам. Попробуйте настроить температуру или верхние вероятности, но не оба.
Лучшие вероятности Аналогично температуре, управляет случайностью, но использует другой метод. Понижение значения высших вероятностей сужает выбор модели на наиболее вероятные токены. Увеличение значения позволяет модели выбирать маркеры с высокой и низкой вероятностью. Попробуйте настроить температуру или верхние вероятности, но не оба.
Стоп-последовательности Позволяет модели завершить свой ответ в нужной точке. Ответ модели заканчивается до указанной последовательности, поэтому он не содержит текст последовательности остановки. Для GPT-35-Turbo используется <|im_end|>, чтобы обеспечить, что ответ модели не создает последующий запрос пользователя. Можно включить до четырех стоп-последовательностей.
Частота штрафа Уменьшает вероятность повторения токена пропорционально, исходя из частоты его появления в тексте ранее. Это действие уменьшает вероятность повторения одного и того же текста в ответе.
Штраф за присутствие Снижает вероятность повторения любого маркера, отображаемого в тексте на данный момент. Это повышает вероятность представления новых тем в ответе.

Очистите ресурсы

После завершения тестирования на игровой площадке чата, если вы хотите очистить и удалить ресурс OpenAI, можно удалить ресурс или группу ресурсов. Удаление группы ресурсов также удаляет все другие ресурсы, связанные с ней. Чтобы очистить ресурсы, выполните следующие действия.

  1. Чтобы удалить ресурсы Azure OpenAI, перейдите на боковую панель Azure Explorer слева и найдите элемент Azure OpenAI .

  2. Щелкните правой кнопкой мыши службу Azure OpenAI, которую вы хотите удалить, и нажмите кнопку "Удалить".

  3. Чтобы удалить группу ресурсов, перейдите на портал Azure и вручную удалите ресурсы в подписке.

Дальнейшие шаги

Дополнительные сведения см. в статье о работе с моделями GPT-35-Turbo и GPT-4.

Дополнительные примеры можно найти в репозитории GitHub Azure OpenAI Samples.