次の方法で共有

パイプラインで Fabric ノートブックの高コンカレンシー モードを構成する

パイプライン内でノートブックの手順を実行すると、Apache Spark セッションが開始され、ノートブックから送信されたクエリを実行するために使用されます。 パイプラインに対して高コンカレンシー モードを有効にすると、ノートブックは既存の Spark セッションに自動的にパックされます。

これにより、1 つのユーザー境界内のすべてのノートブックでセッション共有機能が提供されます。 既存の高コンカレンシー セッション内にあるノートブックはすべて、システムによって自動的にパックされます。

ノートブックの高コンカレンシーを示すアニメーション。

注

高コンカレンシー モードとのセッション共有は、常に 1 つのユーザー境界内にあります。 1 つの Spark セッションを共有するには、ノートブックには一致する Spark 構成が必要です。それは同じワークスペースにあり、同じ既定のレイクハウスとライブラリを共有している必要があります。

セッションの共有条件

ノートブックで 1 つの Spark セッションを共有するには、次の条件を満たす必要があります。

  • 同じユーザーによって実行される。
  • 同じ既定のレイクハウスを使用する。 既定のレイクハウスを持たないノートブックは、既定のレイクハウスを持たない他のノートブックとセッションを共有できます。
  • 同じ Spark コンピューティング構成を使用する。
  • 同じライブラリ パッケージを使用する。 ノートブックのセルの一部として異なるインライン ライブラリをインストールしても、異なるライブラリ依存関係を持つノートブックとセッションを共有することができます。

高コンカレンシー モードを構成する

Fabric ワークスペース管理者は、ワークスペース設定を使用して、パイプラインに対して高コンカレンシー モードを有効にすることができます。 高コンカレンシー機能を構成するには、次の手順に従います。

  1. Fabric ワークスペースの ワークスペース設定 オプションを選択します。

  2. データ エンジニアリング/サイエンス セクション >に移動し、Spark 設定>高コンカレンシーを確認します。

  3. [高コンカレンシー] セクションで、[複数のノートブックを実行するパイプライン用] 設定を有効にします。

    ワークスペース設定の [高コンカレンシー] セクションを示すスクリーンショット。

  4. 高コンカレンシー オプションを有効にすると、パイプラインによってトリガーされたすべてのノートブック セッションが高コンカレンシー セッションとして許可されます。

  5. 着信ノートブック セッションは、システムによってアクティブな高コンカレンシー セッションに自動的にパックされます。 アクティブな高コンカレンシー セッションがない場合は、新しい高コンカレンシー セッションが作成され、送信された同時ノートブックは新しいセッションにパックされます。

ノートブックでセッション タグを使用して共有セッションをグループ化する

  1. ワークスペースに移動し、[新しい項目] ボタンを選択し、新しい データ パイプラインを作成します。

  2. メニュー リボンの [アクティビティ] タブに移動し、Notebook アクティビティを追加します。

  3. [詳細設定] で、セッション タグ プロパティに任意の文字列値を指定します。

  4. セッション タグが追加されると、ノートブック共有では、このタグが一致条件として使用され、同じセッション タグを持つすべてのノートブックがバンドルされます。

    Notebook メニューの新しい高コンカレンシー セッションを開始するオプションを示すスクリーンショット。

注

パフォーマンスを最適化するために、1 つの高コンカレンシー セッションで、同じセッション タグによって識別される最大 5 つのノートブック間でリソースを共有できます。 同じタグを持つ 5 つ以上のノートブックが送信されると、システムは自動的に新しい高コンカレンシー セッションを作成して、後続のノートブックステップをホストします。 これにより、ワークロードを複数のセッションに分散することで、効率的なスケーリングと負荷分散が可能になります。

パイプラインによってトリガーされたノートブックを監視してデバッグする

共有セッション内で複数のノートブックが実行されていると、監視とデバッグが困難になる場合があります。 高コンカレンシー モードでは、ログの分離が提供され、ノートブックごとに Spark イベントからログをトレースできます。

  1. セッションが進行中または完了状態の場合は、[実行] メニューに移動し、[すべての実行 オプション 選択することで、セッションの状態を表示できます。

  2. これにより、ノートブックの実行履歴が開き、現在のアクティブな Spark セッションと履歴 Spark セッションの一覧が表示されます。

    Notebook メニューの高コンカレンシー セッションの [すべての実行] ページを示すスクリーンショット。

  3. セッションを選択すると、監視の詳細ビューにアクセスできます。このビューには、そのセッション内で実行されたすべての Spark ジョブのリストが表示されています。

  4. 高コンカレンシー セッションの場合、[関連ノートブック] タブを使用して、さまざまなノートブックからジョブとその関連ログを特定できます。このタブには、そのジョブの実行元のノートブックが表示されます。

    監視詳細ビューの高コンカレンシー セッションのすべての関連ノートブックを示すスクリーンショット。

関連するコンテンツ

  • Microsoft Fabric の高コンカレンシー モードの詳細については、「Apache Spark for Fabricでの高コンカレンシー モードの 」を参照してください。
  • ノートブックの高コンカレンシー モードの使用を開始するには、「Fabric Notebookの高コンカレンシー モードを構成する」を参照してください。