DatabricksCluster クラス
DatabricksSectionで使用する Databricks クラスター情報を定義します。
初期化する。
コンストラクター
DatabricksCluster(existing_cluster_id=None, spark_version=None, node_type=None, instance_pool_id=None, num_workers=None, min_workers=None, max_workers=None, spark_env_variables=None, spark_conf=None, init_scripts=None, cluster_log_dbfs_path=None, permit_cluster_restart=None)パラメーター
| 名前 | 説明 |
|---|---|
|
existing_cluster_id
|
Databricks ワークスペース上の既存の対話型クラスターのクラスター ID。 このパラメーターを指定する場合は、他のどのパラメーターも指定しないでください。 規定値: None
|
|
spark_version
|
Databricks 実行クラスターの Spark のバージョン。 例: "10.4.x-scala2.12"。 規定値: None
|
|
node_type
|
Databricks 実行クラスターの Azure VM ノードの種類。 例: "Standard_D3_v2"。 規定値: None
|
|
instance_pool_id
|
クラスターをアタッチする必要があるインスタンス プール ID。 規定値: None
|
|
num_workers
|
Databricks 実行クラスターのワーカーの数。 このパラメーターを指定する場合は、 規定値: None
|
|
min_workers
|
自動スケーリングされた Databricks クラスターのワーカーの最小数。 規定値: None
|
|
max_workers
|
自動スケーリングされた Databricks 実行クラスターのワーカーの数。 規定値: None
|
|
spark_env_variables
|
dict(<xref:{str:str}>)
Databricks の Spark 環境変数は、クラスターを実行します。 規定値: None
|
|
spark_conf
|
dict(<xref:{str:str}>)
Databricks の Spark 構成によってクラスターが実行されます。 規定値: None
|
|
init_scripts
|
非推奨になりました。 Databricks は、DBFS に格納されている init スクリプトが 2023 年 12 月 1 日以降に動作を停止すると発表しました。 この問題を軽減するには、1) https://learn.microsoft.com/azure/databricks/init-scripts/global 2) AzureML databricks ステップでinit_scripts行をコメントアウトした後、databricks でグローバル init スクリプトを使用してください。 規定値: None
|
|
cluster_log_dbfs_path
|
クラスター ログを配信する必要がある DBFS パス。 規定値: None
|
|
permit_cluster_restart
|
existing_cluster_idが指定されている場合、このパラメーターはユーザーの代わりにクラスターを再起動できるかどうかを示します。 規定値: None
|
メソッド
| validate |
指定した Databricks クラスターの詳細を検証します。 検証では、指定されたパラメーターの型と、パラメーターの正しい組み合わせが指定されているかどうかを確認します。 たとえば、 |
validate
指定した Databricks クラスターの詳細を検証します。
検証では、指定されたパラメーターの型と、パラメーターの正しい組み合わせが指定されているかどうかを確認します。 たとえば、 existing_cluster_id を指定するか、クラスター パラメーターの残りの部分を指定する必要があります。 詳細については、コンストラクターパラメーターの定義を参照してください。
validate()例外
| 型 | 説明 |
|---|---|
|
class:azureml.exceptions.UserErrorException
|