Используйте Управляемый экземпляр SQL Azure с SQL Server Integration Services в Фабрике данных Azure или Azure Synapse Analytics.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Проекты, пакеты и рабочие нагрузки служб SQL Server Integration Services (SSIS) теперь можно переносить в облако Azure. Для управления, развертывания и выполнения проектов и пакетов SSIS, размещенных в Базе данных SQL Azure или Управляемом экземпляре SQL, вы можете использовать привычные вам инструменты, например SQL Server Management Studio (SSMS). В этой статье рассматриваются следующие вопросы, связанные с использованием Управляемого экземпляра SQL Azure в сочетании со средой выполнения интеграции Azure-SSIS (IR):

• Подготовка к работе Azure-SSIS IR с каталогом SSIS (SSISDB), размещенном в Управляемом экземпляре SQL Azure.
• Выполнение пакетов служб интеграции SQL Server с помощью задания агента Управляемого экземпляра SQL Azure.
• Очистка журналов SSISDB с помощью задания агента Управляемого экземпляра SQL Azure.
• Отработка отказа Azure-SSIS IR с помощью Управляемого экземпляра SQL Azure.
• Миграция локальных рабочих нагрузок служб SSIS в службы SSIS в ADF.

Подготовка к работе Azure-SSIS IR с каталогом SSISDB, размещенным в Управляемом экземпляре SQL Azure

Необходимые компоненты

1. Включите идентификатор Microsoft Entra в Управляемый экземпляр SQL Azure при выборе проверки подлинности Microsoft Entra.

2. Выберите способ подключения Управляемого экземпляра SQL: через частную или общедоступную конечную точку.

   • Через частную конечную точку (рекомендуется).

     1. Выберите виртуальную сеть для присоединения Azure-SSIS IR:

        • Вы можете выбрать ту же виртуальную сеть, в которой расположен управляемый экземпляр, с другой подсетью.
        • Виртуальную сеть, отличную от сети управляемого экземпляра, используя пиринг между виртуальными сетями (в том же регионе из-за ограничений глобального пиринга виртуальных сетей) или подключение между виртуальными сетями.

        Дополнительные сведения см. в статье Подключение приложения к Управляемому экземпляру SQL Azure.

     2. Настройте виртуальную сеть.

   • Через общедоступную конечную точку.

     Управляемые экземпляры SQL Azure могут подключаться через общедоступные конечные точки. Чтобы разрешить трафик между Управляемым экземпляром SQL и Azure-SSIS IR, нужно соблюдать некоторые требования к входящему и исходящему трафику:

     • Если Azure-SSIS IR расположен не в виртуальной сети (рекомендуется):

       Для Управляемого экземпляра SQL должен быть разрешен входящий трафик от Azure-SSIS IR.

       Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения
       Протокол tcp	Тег облачной службы Azure	*	Виртуальная сеть	3342

       Дополнительные сведения см. в разделе Разрешение общедоступного трафика конечной точки в группе безопасности сети.

     • Если Azure-SSIS IR расположен в виртуальной сети:

       Существует особый сценарий, когда управляемый экземпляр SQL находится в регионе, где Azure-SSIS IR не поддерживается, а Azure-SSIS IR расположен в виртуальной сети без подключения VNet из-за ограничения глобального пиринга VNet. В этом сценарии Azure-SSIS IR внутри виртуальной сети подключает Управляемый экземпляр SQL через общедоступную конечную точку. Используйте следующие правила группы безопасности сети (NSG), чтобы разрешить трафик между управляемым экземпляром SQL и Azure-SSIS IR:

       1. Для Управляемого экземпляра SQL должен быть разрешен входящий трафик от Azure-SSIS IR.

          Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения
          Протокол tcp	Статический IP-адрес Azure-SSIS IR Дополнительные сведения см. в разделе об использовании собственного общедоступного IP-адреса для Azure-SSIS IR.	*	Виртуальная сеть	3342

       2. Для Azure-SSIS IR должен быть разрешен исходящий трафик к Управляемому экземпляру SQL.

          Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения
          Протокол tcp	Виртуальная сеть	*	IP-адрес общедоступной конечной точки Управляемого экземпляра SQL	3342

Настройка виртуальной сети

1. Разрешение пользователя. У пользователя, создающего Azure-SSIS IR, должна быть назначена роль по крайней мере в ресурсе Фабрики данных Azure с одним из следующих вариантов:

   • Использовать встроенную роль "Участник сетей". Эта роль предоставляет разрешение Microsoft.Network/*, область применения которого намного шире, чем требуется для этой задачи.
   • Создать настраиваемую роль, которая включает только нужное разрешение Microsoft.Network/virtualNetworks/*/join/action. Если вы хотите также использовать собственные общедоступные IP-адреса для среды Azure-SSIS IR при присоединении ее к виртуальной сети Azure Resource Manager, то включите в роль разрешение Microsoft.Network/publicIPAddresses/*/join/action.

2. Виртуальная сеть.

   1. Убедитесь, что группа ресурсов виртуальной сети может создавать и удалять определенные ресурсы сети Azure.

      Среда выполнения интеграции Azure SSIS должна создать определенные сетевые ресурсы в той же группе ресурсов, в которой находится виртуальная сеть. К этим ресурсам относятся:

      • подсистема балансировки нагрузки с именем <Guid>-azurebatch-cloudserviceloadbalancer;
      • группа безопасности сети с именем *<Guid>-azurebatch-cloudservicenetworksecuritygroup;
      • общедоступный IP-адрес Azure с именем -azurebatch-cloudservicepublicip.

      Эти ресурсы создаются при запуске вашего Azure-SSIS IR. Они удаляются после остановки Azure-SSIS IR. Чтобы предотвратить блокировку остановки Azure-SSIS IR, не используйте повторно эти сетевые ресурсы в других ресурсах.

   2. Убедитесь в отсутствии блокировки ресурсов в группе ресурсов и подписке, к которым принадлежит виртуальная сеть. Если вы настроите блокировку только для чтения и удаления, запуск или остановка вашего Azure-SSIS IR завершится ошибкой или устройство может перестать отвечать.

   3. Убедитесь, что у вас нет определения политики Azure, запрещающей создавать следующие ресурсы в группе ресурсов или подписке, к которым принадлежит виртуальная сеть:

      • Microsoft.Network/Балансировщики Нагрузки
      • Microsoft.Network/NetworkSecurityGroups

   4. Разрешить трафик в правиле группы безопасности сети (NSG) для обеспечения трафика между управляемым экземпляром SQL и Azure-SSIS IR, а также трафика, необходимого для Azure-SSIS IR.

      1. Для Управляемого экземпляра SQL должен быть разрешен входящий трафик от Azure-SSIS IR.

         Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения	Комментарии
         Протокол tcp	Виртуальная сеть	*	Виртуальная сеть	1433, 11000–11999	Если для политики подключения сервера Базы данных SQL задано значение Proxy вместо Redirect, требуется только порт 1433.

      2. Для Azure-SSIS IR должен быть разрешен исходящий трафик к Управляемому экземпляру SQL и другой трафик, необходимый для Azure-SSIS IR.

         Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения	Комментарии
         Протокол tcp	Виртуальная сеть	*	Виртуальная сеть	1433, 11000–11999	Разрешите исходящий трафик к Управляемому экземпляру SQL. Если для политики подключения задано значение Proxy вместо Redirect, требуется только порт 1433.
         Протокол tcp	Виртуальная сеть	*	AzureCloud	443	Узлы Azure-SSIS IR в виртуальной сети используют этот порт для доступа к службам Azure, например к службе хранилища Azure и Центрам событий Azure.
         Протокол tcp	Виртуальная сеть	*	Интернет	80	(Необязательно.) Узлы Azure SSIS IR в виртуальной сети используют этот порт для скачивания списка отзыва сертификатов из Интернета. Если заблокировать этот трафик, производительность при запуске IR может снизиться и вы можете потерять возможность выполнить проверку списка отзыва сертификатов для использования сертификата. Если вы хотите дополнительно сузить место назначения до определенных полных доменных имен, ознакомьтесь с настройкой определяемых пользователем маршрутов (UDR).
         Протокол tcp	Виртуальная сеть	*	Память	445	(Необязательно.) Это правило требуется только при выполнении пакета службы интеграции SQL Server, хранящегося в службе "Файлы Azure".

      3. Требование входящего трафика Azure-SSIS IR для разрешения трафика, необходимого Azure-SSIS IR.

         Транспортный протокол	Исходный код	Диапазон исходных портов	Назначение	Диапазон портов назначения	Комментарии
         Протокол tcp	BatchNodeManagement	*	Виртуальная сеть	29876, 29877 (при присоединении ir к виртуальной сети Resource Manager) 10100, 20100, 30100 (при присоединении среды выполнения интеграции к классической виртуальной сети)	Служба фабрики данных использует эти порты для взаимодействия с узлами вашей среды выполнения интеграции Azure-SSIS IR в виртуальной сети. Независимо от того, создан уровень подсети NSG или нет, Фабрика данных всегда настраивает NSG на уровне карт сетевых интерфейсов, подключенных к виртуальным машинам, на которых размещается Azure-SSIS IR. NSG уровня сетевых адаптеров на указанных портах разрешает только входящий трафик от IP-адресов Фабрики данных. Даже если эти порты доступны для интернет-трафика, трафик с IP-адресов, которые не являются IP-адресами Фабрики данных, блокируется на уровне сетевых адаптеров.
         Протокол tcp	CorpNetSaw	*	Виртуальная сеть	3389	(Необязательно) Это правило требуется только в том случае, если сотрудник поддержки Microsoft попросит клиента открыть правило для проведения расширенного устранения неполадок и может быть закрыто сразу после устранения неполадок. Тег службы CorpNetSaw позволяет использовать удаленный рабочий стол только с помощью рабочих станций с защищенным доступом в корпоративной сети Майкрософт. Этот тег службы нельзя выбрать на портале, он доступен только через Azure PowerShell или Azure CLI. На уровне сетевого адаптера NSG порт 3389 открыт по умолчанию, и мы разрешаем управлять портом 3389 на уровне NSG подсети. Между тем, Azure-SSIS IR по умолчанию заблокировал исходящий трафик на порт 3389 в правиле брандмауэра Windows на каждом узле IR для защиты.

   5. Дополнительную информацию см. в разделе о конфигурации виртуальной сети, если:

      • вы используете собственный общедоступный IP-адрес для Azure-SSIS IR;
      • вы используете собственный DNS-сервер;
      • вы используете Azure ExpressRoute или определяемый пользователем маршрут (UDR);
      • вы используете настраиваемую среду Azure-SSIS IR.

Подготовка к работе Azure-SSIS IR

1. Выберите частную или общедоступную конечную точку в Управляемом экземпляре SQL.

   При подготовке Azure-SSIS IR в приложении портала Azure или ADF на странице параметров SQL используйте частную или общедоступную конечную точку в управляемом экземпляре SQL при создании каталога SSIS (SSISDB).

   Имя узла общедоступной конечной точки имеет формат <имя_управляемого_экземпляра>.public.<зона_DNS>.database.windows.net и порт, используемый для подключения, 3342.

   

2. При применении выберите проверку подлинности Microsoft Entra.

   

   Дополнительные сведения о том, как включить проверку подлинности Microsoft Entra, см. в разделе "Включить идентификатор Microsoft Entra" в Управляемый экземпляр SQL Azure.

3. При применении параметров присоедините Azure-SSIS IR к виртуальной сети.

   На странице дополнительных параметров выберите виртуальную сеть и подсеть для присоединения.

   В той же виртуальной сети, где расположен Управляемый экземпляр SQL, выберите другую подсеть (отличную от подсети Управляемого экземпляра SQL).

   Дополнительные сведения см. в статье Присоединение среды выполнения интеграции Azure SSIS к виртуальной сети.

   

Дополнительные сведения о создании Azure-SSIS IR см. в статье Создание среды выполнения интеграции Azure-SSIS в Фабрике данных Azure.

Очистка журналов SSISDB

Политика хранения журналов SSISDB определяется по следующим свойствам в catalog.catalog_properties:

• ОПЕРАЦИЯ_ОЧИСТКИ_ВКЛЮЧЕНА

  Если значение равно TRUE, подробности и сообщения, связанные с операциями старше RETENTION_WINDOW (дней), удаляются из каталога. Если значение равно FALSE, все подробности и сообщения операции сохраняются в каталоге. Примечание. Задание SQL Server выполняет очистку операций.

• ОКНО СОХРАНЕНИЯ

  Срок (в днях) сохранения подробностей и сообщений операции в каталоге. Значение, равное – 1, соответствует неограниченному сроку хранения. Примечание. Если очистка не требуется, присвойте свойству OPERATION_CLEANUP_ENABLED значение FALSE.

Для удаления журналов SSISDB, которые находятся за пределами окна периода удержания, настроенного администратором, можно активировать хранимую процедуру [internal].[cleanup_server_retention_window_exclusive]. При желании вы можете запланировать выполнение задания агента Управляемого экземпляра SQL для активации хранимой процедуры.

Связанный контент

• Выполнение пакетов служб интеграции SQL Server с помощью задания агента Управляемого экземпляра SQL Azure.
• Настройка среды выполнения интеграции Azure-SSIS с помощью георепликации и отработки отказа Базы данных SQL Azure.
• Миграция локальных рабочих нагрузок служб SSIS в службы SSIS в ADF.