databricks_step Module

Crée une étape de pipeline Azure ML pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

Créez une étape de pipeline Azure ML pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

:p aram python_script_name :[Obligatoire] Nom d’un script Python relatif à source_directory. Si le script accepte des entrées et des sorties, ceux-ci sont passés au script en tant que paramètres. Si python_script_name elle est spécifiée, source_directory elle doit également être.

Spécifiez exactement l’un des éléments suivants notebook_path: , python_script_pathpython_script_nameou main_class_name.

Si vous spécifiez un objet DataReference comme entrée avec data_reference_name=input1 et un objet PipelineData comme sortie avec name=output1, les entrées et sorties sont passées au script en tant que paramètres. C’est ainsi qu’ils ressemblent et vous devez analyser les arguments de votre script pour accéder aux chemins d’accès de chaque entrée et sortie : « -input1 », « wasbs://test@storagename.blob.core.windows.net/test », « wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1 »

En outre, les paramètres suivants sont disponibles dans le script :

• AZUREML_RUN_TOKEN : jeton AML pour l’authentification auprès d’Azure Machine Learning.
• AZUREML_RUN_TOKEN_EXPIRY : heure d’expiration du jeton AML.
• AZUREML_RUN_ID : ID d’exécution Azure Machine Learning pour cette exécution.
• AZUREML_ARM_SUBSCRIPTION : abonnement Azure pour votre espace de travail AML.
• AZUREML_ARM_RESOURCEGROUP : groupe de ressources Azure pour votre espace de travail Azure Machine Learning.
• AZUREML_ARM_WORKSPACE_NAME : nom de votre espace de travail Azure Machine Learning.
• AZUREML_ARM_PROJECT_NAME : nom de votre expérience Azure Machine Learning.
• AZUREML_SERVICE_ENDPOINT : URL de point de terminaison pour les services AML.
• AZUREML_WORKSPACE_ID : ID de votre espace de travail Azure Machine Learning.
• AZUREML_EXPERIMENT_ID : ID de votre expérience Azure Machine Learning.
• AZUREML_SCRIPT_DIRECTORY_NAME : chemin d’accès au répertoire dans DBFS où source_directory a été copié.

  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Lorsque vous exécutez un script Python à partir de votre ordinateur local sur Databricks à l’aide de paramètres source_directory DatabricksStep et python_script_nameque votre source_directory est copié sur DBFS et que le chemin d’accès au répertoire sur DBFS est passé en tant que paramètre à votre script lors de son exécution. Ce paramètre est étiqueté en tant que –AZUREML_SCRIPT_DIRECTORY_NAME. Vous devez le préfixer avec la chaîne « dbfs :/ » ou « /dbfs/ » pour accéder au répertoire dans DBFS.