Объяснение извлечения сводных данных

  • 5 мин

извлечение сводных данных создает сводку путем извлечения основных предложений непосредственно из исходного текста. Вместо создания нового текста он использует методы обработки естественного языка для поиска предложений, которые совместно передают основную идею или контекст документа.

Извлечение суммирования выполняется с помощью функции summarize_extractive(), найденной в схеме azure_cognitive расширения azure_ai. Схема azure_cognitive содержит три перегрузки функции summarize_extractive(). Список аргументов, которые ожидают три перегрузки функций, включают:

Аргумент Тип По умолчанию Описание
текст text или text[] Тексты, для которых должны создаваться сводки.
language_text text или text[] Код языка (или массив языковых кодов), представляющий язык текста для суммирования. Просмотрите список поддерживаемых языков , чтобы получить необходимые коды языка.
sentence_count integer 3 Количество сводных предложений для создания.
сортировать по text "смещение" Порядок сортировки для созданных сводных предложений. Допустимыми значениями являются "смещение" и "ранг", с смещением, представляющее начальную позицию каждого извлеченного предложения в исходном содержимом и ранжирование в качестве индикатора того, насколько релевантным предложением является основная идея содержимого.
размер пакета integer 25 Только для двух перегрузки, ожидающих входных данных text[]. Указывает количество записей для обработки за раз.
отключить_журналы_сервиса boolean неправда Флаг, указывающий, следует ли отключить журналы служб.
таймаут_мс integer ПУСТО Время ожидания в миллисекундах, после которого операция остановлена.
выбрасывать_при_ошибке boolean правда Флаг, указывающий, должна ли функция при ошибке вызывать исключение, что приводит к откату транзакции упаковки.
максимум_попыток integer 1 Количество попыток повторного вызова служб искусственного интеллекта Azure в случае сбоя.
задержка_повтора_мс integer 1000 Время ожидания в миллисекундах перед попыткой повторить вызов конечной точки Служб искусственного интеллекта Azure.

Каждая функция возвращает массив извлеченных предложений и оценку ранжирования для каждого из них, используя составной тип azure_cognitive.sentence, как показано в таблице ниже:

            Composite type "azure_cognitive.sentence"
    Column  |       Type       | Collation | Nullable | Default | Storage  | Description 
------------+------------------+-----------+----------+---------+----------+-------------
 text       | text             |           |          |         | extended | 
 rank_score | double precision |           |          |         | plain    |

azure_cognitive.sentence представляет собой составной тип, содержащий текст извлечения предложения и оценку ранжирования для каждого предложения. Оценка ранжирования, значение от 0 до 1 (включительно), указывает, насколько релевантно предложение является главной идеей исходного документа. Сводка документов содержит извлеченные предложения, и вы можете определить, возвращаются ли они в том порядке, в котором они отображаются или в соответствии с их рангом с помощью параметра sort_by функции.

Создание сводные сводки по извлечению для описания свойств

В качестве разработчика для Margie's Travel вы хотите оценить метод извлечения сводных сводных данных, доступный с помощью расширения azure_ai и Служб ИИ Azure, и оценить возможность метода создавать краткие сводки по описаниям свойств естественного языка, например это описание из первого описания в базе данных:

"Сделайте себя дома в этой очаровательной однокомнатной квартире, централизованно расположенной на западной стороне королевы Энн Хилл. Эта элегантно украшенная, частная квартира (нижняя часть дуплексного) имеет открытый план этажа, бамбуковые полы, полностью оснащенную кухню, телевизор, DVD-проигрыватель, базовый кабель и удобную спальню с кроватью размера королевы. Единица спит до четырех (два в спальне и два на комфортном диване, белье включено) и включает в себя бесплатные Wi-Fi и прачечную. Квартира открывается на частной палубе, в комплекте с собственным барбекю, с видом на сад и лес черного бамбука. Квартира идеально расположена всего в одном квартале от автобусных линий, где вы можете поймать автобус и быть в центре Сиэтла в течение 15 минут или исторического Балларда в 10. Быстрая пятиминутная прогулка приносит вас в естественный продуктовый магазин и кафе. Или всего в пятнадцати минутах ходьбы до верхней части королевы Энн Хилл, где вы найдете различные эклектичные магазины, бары и рестораны".

Вы запрашиваете двух предложений сводку описанного выше свойства с помощью следующего запроса:

SELECT
  azure_cognitive.summarize_extractive(description, 'en', 2) AS extractive_summary
FROM listings
WHERE id = 1;

Извлечение суммирования возвращает два предложения с наибольшим показателем из исходного текста, а также оценку ранжирования для каждого из них:

{
  "("Make your self at home in this charming one-bedroom apartment, centrally-located on the west side of Queen Anne hill.",1)",
  "("This elegantly-decorated, completely private apartment (bottom unit of a duplex) has an open floor plan, bamboo floors, a fully equipped kitchen, a TV, DVD player, basic cable, and a very cozy bedroom with a queen-size bed.",0.49)"
}