Partager via


steps Paquet

Contient des étapes prédéfinies qui peuvent être exécutées dans un pipeline Azure Machine Learning.

Les étapes d’Azure ML Pipeline peuvent être configurées ensemble pour construire un pipeline, qui représente un flux de travail Azure Machine Learning partageable et réutilisable. Chaque étape d’un pipeline peut être configurée pour permettre la réutilisation de ses résultats d’exécution précédents si le contenu de l’étape (scripts et dépendances) ainsi que les entrées et les paramètres restent inchangés.

Les classes de ce package sont généralement utilisées avec les classes du core package. Le package principal contient des classes pour la configuration des données (PipelineData), la planification (Schedule) et la gestion de la sortie des étapes (StepRun).

Les étapes prédéfinies de ce package couvrent de nombreux scénarios courants rencontrés dans les flux de travail Machine Learning. Pour commencer à suivre les étapes de pipeline prédéfinies, consultez :

Modules

adla_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML pour exécuter un script U-SQL avec Azure Data Lake Analytics.

automl_step

Contient des fonctionnalités permettant d’ajouter et de gérer une étape de pipeline ML automatisé dans Azure Machine Learning.

azurebatch_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML qui exécute un exécutable Windows dans Azure Batch.

command_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML qui exécute des commandes.

data_transfer_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML qui transfère les données entre les options de stockage.

databricks_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML pour exécuter un notebook Databricks ou un script Python sur DBFS.

estimator_step

Contient des fonctionnalités permettant de créer une étape de pipeline qui exécute un estimateur pour l’apprentissage du modèle Machine Learning.

hyper_drive_step

Contient la fontionnalité pour la création et la gestion des étapes de pipeline Azure ML qui exécutent le réglage des hyperparamètres.

kusto_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML pour exécuter un notebook Kusto.

module_step

Contient des fonctionnalités permettant d’ajouter une étape de pipeline Azure Machine Learning à l’aide d’une version existante d’un module.

mpi_step

Contient des fonctionnalités permettant d’ajouter une étape de pipeline Azure ML pour exécuter un travail MPI pour l’apprentissage du modèle Machine Learning.

parallel_run_config

Contient des fonctionnalités pour la configuration d’un ParallelRunStep.

parallel_run_step

Contient des fonctionnalités permettant d’ajouter une étape pour exécuter un script utilisateur en mode parallèle sur plusieurs cibles AmlCompute.

python_script_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML qui exécute le script Python.

r_script_step

Contient des fonctionnalités permettant de créer une étape de pipeline Azure ML qui exécute un script R.

synapse_spark_step

Contient des fonctionnalités permettant de créer une étape Azure ML Synapse qui exécute le script Python.

Classes

AdlaStep

Crée une étape de pipeline Azure ML pour exécuter un script U-SQL avec Azure Data Lake Analytics.

Pour obtenir un exemple d’utilisation de cet AdlaStep, consultez le notebook https://aka.ms/pl-adla.

Créez une étape de pipeline Azure ML pour exécuter un script U-SQL avec Azure Data Lake Analytics.

AutoMLStep

Crée une étape de pipeline Azure ML qui encapsule une exécution ml automatisée.

Pour obtenir un exemple d’utilisation d’AutoMLStep, consultez le notebook https://aka.ms/pl-automl.

Initialisez un AutoMLStep.

AutoMLStepRun

Fournit des informations sur l’exécution et les méthodes d’une expérience ML automatisée pour récupérer les sorties par défaut.

La classe AutoMLStepRun est utilisée pour gérer, vérifier l’état et récupérer les détails de l’exécution une fois qu’une exécution ML automatisée est envoyée dans un pipeline. En outre, cette classe peut être utilisée pour obtenir les sorties par défaut du AutoMLStep via la StepRun classe.

Initialisez une exécution d’étape automl.

AzureBatchStep

Crée une étape de pipeline Azure ML pour envoyer des travaux à Azure Batch.

Remarque : cette étape ne prend pas en charge le téléchargement/téléchargement des répertoires et leur contenu.

Pour obtenir un exemple d’utilisation d’AzureBatchStep, consultez le notebook https://aka.ms/pl-azbatch.

Créez une étape de pipeline Azure ML pour envoyer des travaux à Azure Batch.

CommandStep

Créez une étape de pipeline Azure ML qui exécute une commande.

Créez une étape de pipeline Azure ML qui exécute une commande.

DataTransferStep

Crée une étape de pipeline Azure ML qui transfère les données entre les options de stockage.

DataTransferStep prend en charge les types de stockage courants tels que Stockage Blob Azure et Azure Data Lake en tant que sources et récepteurs. Pour plus d’informations, consultez la section Remarques .

Pour obtenir un exemple d’utilisation de DataTransferStep, consultez le notebook https://aka.ms/pl-data-trans.

Créez une étape de pipeline Azure ML qui transfère les données entre les options de stockage.

DatabricksStep

Crée une étape de pipeline Azure ML pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

Créez une étape de pipeline Azure ML pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

:p aram python_script_name :[Obligatoire] Nom d’un script Python relatif à source_directory. Si le script accepte des entrées et des sorties, ceux-ci sont passés au script en tant que paramètres. Si python_script_name elle est spécifiée, source_directory elle doit également être.

Spécifiez exactement l’un des éléments suivants notebook_path: , python_script_pathpython_script_nameou main_class_name.

Si vous spécifiez un objet DataReference comme entrée avec data_reference_name=input1 et un objet PipelineData comme sortie avec name=output1, les entrées et sorties sont passées au script en tant que paramètres. C’est ainsi qu’ils ressemblent et vous devez analyser les arguments de votre script pour accéder aux chemins d’accès de chaque entrée et sortie : « -input1 », « wasbs://test@storagename.blob.core.windows.net/test », « wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1 »

En outre, les paramètres suivants sont disponibles dans le script :

  • AZUREML_RUN_TOKEN : jeton AML pour l’authentification auprès d’Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY : heure d’expiration du jeton AML.
  • AZUREML_RUN_ID : ID d’exécution Azure Machine Learning pour cette exécution.
  • AZUREML_ARM_SUBSCRIPTION : abonnement Azure pour votre espace de travail AML.
  • AZUREML_ARM_RESOURCEGROUP : groupe de ressources Azure pour votre espace de travail Azure Machine Learning.
  • AZUREML_ARM_WORKSPACE_NAME : nom de votre espace de travail Azure Machine Learning.
  • AZUREML_ARM_PROJECT_NAME : nom de votre expérience Azure Machine Learning.
  • AZUREML_SERVICE_ENDPOINT : URL de point de terminaison pour les services AML.
  • AZUREML_WORKSPACE_ID : ID de votre espace de travail Azure Machine Learning.
  • AZUREML_EXPERIMENT_ID : ID de votre expérience Azure Machine Learning.
  • AZUREML_SCRIPT_DIRECTORY_NAME : chemin d’accès au répertoire dans DBFS où source_directory a été copié.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Lorsque vous exécutez un script Python à partir de votre ordinateur local sur Databricks à l’aide de paramètres source_directory DatabricksStep et python_script_nameque votre source_directory est copié sur DBFS et que le chemin d’accès au répertoire sur DBFS est passé en tant que paramètre à votre script lors de son exécution. Ce paramètre est étiqueté en tant que –AZUREML_SCRIPT_DIRECTORY_NAME. Vous devez le préfixer avec la chaîne « dbfs :/ » ou « /dbfs/ » pour accéder au répertoire dans DBFS.

EstimatorStep

OBSOLESCENT. Crée une étape de pipeline à exécuter Estimator pour l’apprentissage du modèle Azure ML.

Créez une étape de pipeline Azure ML pour exécuter estimateur pour l’apprentissage du modèle Machine Learning.

OBSOLESCENT. Utilisez à la CommandStep place. Pour obtenir un exemple, consultez Comment exécuter l’apprentissage ML dans des pipelines avec CommandStep.

HyperDriveStep

Crée une étape de pipeline Azure ML pour exécuter le tunning hyperparamètre pour l’apprentissage du modèle Machine Learning.

Pour obtenir un exemple d’utilisation d’HyperDriveStep, consultez le notebook https://aka.ms/pl-hyperdrive.

Créez une étape de pipeline Azure ML pour exécuter le tunning hyperparamètre pour l’apprentissage du modèle Machine Learning.

HyperDriveStepRun

Gérez, vérifiez l’état et récupérez les détails de l’exécution pour une HyperDriveStep étape de pipeline.

HyperDriveStepRun fournit la fonctionnalité de HyperDriveRun prise en charge supplémentaire de StepRun. La classe HyperDriveStepRun vous permet de gérer, de vérifier l’état et de récupérer les détails de l’exécution d’HyperDrive et de chacune de ses exécutions enfants générées. La classe StepRun vous permet d’effectuer cette opération une fois l’exécution du pipeline parent envoyée et le pipeline a envoyé l’exécution de l’étape.

Initialisez un HyperDriveStepRun.

HyperDriveStepRun fournit la fonctionnalité de HyperDriveRun prise en charge supplémentaire de StepRun. La classe HyperDriveRun vous permet de gérer, de vérifier l’état et de récupérer les détails de l’exécution d’HyperDrive et de chacune de ses exécutions enfants générées. La classe StepRun vous permet d’effectuer cette opération une fois l’exécution du pipeline parent envoyée et le pipeline a envoyé l’exécution de l’étape.

KustoStep

KustoStep permet d’exécuter des requêtes Kusto sur un cluster Kusto cible dans Azure ML Pipelines.

Initialiser KustoStep.

ModuleStep

Crée une étape de pipeline Azure Machine Learning pour exécuter une version spécifique d’un module.

Module les objets définissent des calculs réutilisables, tels que des scripts ou des exécutables, qui peuvent être utilisés dans différents scénarios de Machine Learning et par différents utilisateurs. Pour utiliser une version spécifique d’un module dans un pipeline, créez un ModuleStep. Un ModuleStep est une étape du pipeline qui utilise un module existant ModuleVersion.

Pour obtenir un exemple d’utilisation de ModuleStep, consultez le notebook https://aka.ms/pl-modulestep.

Créez une étape de pipeline Azure ML pour exécuter une version spécifique d’un module.

MpiStep

Crée une étape de pipeline Azure ML pour exécuter un travail MPI.

Pour obtenir un exemple d’utilisation de MpiStep, consultez le notebook https://aka.ms/pl-style-trans.

Créez une étape de pipeline Azure ML pour exécuter un travail MPI.

OBSOLESCENT. Utilisez à la CommandStep place. Pour obtenir un exemple, consultez Comment exécuter une formation distribuée dans des pipelines avec CommandStep.

ParallelRunConfig

Définit la configuration d’un ParallelRunStep objet.

Pour obtenir un exemple d’utilisation de ParallelRunStep, consultez le notebook https://aka.ms/batch-inference-notebooks.

Pour obtenir le guide de résolution des problèmes, consultez https://aka.ms/prstsg. Vous y trouverez d’autres références.

Initialisez l’objet config.

ParallelRunStep

Crée une étape de pipeline Azure Machine Learning pour traiter de grandes quantités de données de manière asynchrone et en parallèle.

Pour obtenir un exemple d’utilisation de ParallelRunStep, consultez le notebook https://aka.ms/batch-inference-notebooks.

Pour obtenir le guide de résolution des problèmes, consultez https://aka.ms/prstsg. Vous y trouverez d’autres références.

Créez une étape de pipeline Azure ML pour traiter de grandes quantités de données de manière asynchrone et en parallèle.

Pour obtenir un exemple d’utilisation de ParallelRunStep, consultez le lien https://aka.ms/batch-inference-notebooksnotebook .

PythonScriptStep

Crée une étape de pipeline Azure ML qui exécute un script Python.

Pour obtenir un exemple d’utilisation de PythonScriptStep, consultez le notebook https://aka.ms/pl-get-started.

Créez une étape de pipeline Azure ML qui exécute un script Python.

RScriptStep

Remarque

Il s’agit d’une classe expérimentale et peut changer à tout moment. Pour plus d’informations, consultez https://aka.ms/azuremlexperimental.

Crée une étape de pipeline Azure ML qui exécute un script R.

Créez une étape de pipeline Azure ML qui exécute un script R.

OBSOLESCENT. Utilisez à la CommandStep place. Pour obtenir un exemple, consultez Comment exécuter des scripts R dans des pipelines avec CommandStep.

SynapseSparkStep

Remarque

Il s’agit d’une classe expérimentale et peut changer à tout moment. Pour plus d’informations, consultez https://aka.ms/azuremlexperimental.

Crée une étape Azure ML Synapse qui envoie et exécute un script Python.

Créez une étape de pipeline Azure ML qui exécute un travail Spark sur un pool Spark synapse.