カスタム名前付きエンティティ認識 (NER) は、機械学習を使用して、独自のエンティティ認識要件に合わせて設計されたモデルを構築するのに役立つクラウドベースの API サービスです。 これは、Azure AI 言語で使用できる特殊な機能の 1 つです。 カスタム NER を使用すると、コントラクトや財務ドキュメントなどの非構造化テキストからドメイン固有のエンティティを抽出する AI モデルを作成できます。 カスタム NER プロジェクトを開始するときに、データのラベル付け、モデルのトレーニングと評価を繰り返し行い、デプロイする前にそのパフォーマンスを向上させることができます。 ラベル付けされたデータの品質は、モデルの精度に直接影響を与えるので、不可欠です。
モデルの構築とカスタマイズを簡単にするために、サービスには、Language Studio からアクセスできるカスタム Web ポータルが用意されています。 このクイックスタートの手順に従って、サービスを簡単に開始できます。
このドキュメントには、次の種類の記事が含まれています。
- クイックスタートは、サービスへの要求の実行方法を説明する概要手順です。
- 概念では、サービスの機能と特徴について説明します。
- 攻略ガイドには、より具体的またはカスタマイズした方法でサービスを使用するための手順が記載されています。
使用シナリオの例
カスタムの名前付きエンティティ認識は、さまざまな業界の複数のシナリオで使用できます。
情報の抽出
金融機関や法務部門の多くは、1 日に何千もの複雑な非構造化テキスト ソースからデータを抽出して正規化します。 このようなソースには、銀行明細書、法的契約書、銀行のフォームが含まれます。 たとえば、住宅ローンの申し込みデータの抽出を人間のレビュー担当者が手作業で行うと、抽出に数日かかる場合があります。 カスタム NER モデルを構築してこれらの手順を自動化すると、プロセスが簡素化され、コスト、時間、労力が節約されます。
セマンティック検索を強化するためのナレッジ マイニング
検索は、ユーザーにテキスト コンテンツを表示するすべてのアプリの基本となるものです。 一般的なシナリオとしては、カタログやドキュメントの検索、小売製品の検索、データ サイエンスのナレッジ マイニングなどがあります。 さまざまな業界にわたる多くの企業が、構造化および非構造化ドキュメントの両方を含む、プライベートで異種なコンテンツに対して高度な検索エクスペリエンスを構築しようと検討しています。 パイプラインの一部として、開発者は、業界に関連するテキストからエンティティを抽出するために、カスタム NER を使用できます。 これらのエンティティを使用してファイルのインデックス作成をエンリッチすることで、よりカスタマイズされた検索エクスペリエンスを実現できます。
監査とコンプライアンス
長いテキスト ファイルを手動で確認してポリシーを監査および適用する代わりに、財務または法務企業の IT 部門はカスタム NER を使用して自動化されたソリューションを構築できます。 これらのソリューションは、コンプライアンス ポリシーを適用し、構造化および非構造化コンテンツを処理するナレッジ マイニング パイプラインに基づいて必要なビジネス ルールを設定するのに役立ちます。
プロジェクト開発ライフサイクル
通常、カスタム NER を使用するには、いくつかの異なる手順が必要です。
スキーマを定義する: データを認識し、抽出するエンティティを識別します。 あいまいさを回避します。
データにラベルを付ける: データのラベル付けはモデルのパフォーマンスを判断する際の重要な要素です。 正確かつ、一貫性があるように、完全にラベル付けします。
- 正確なラベル付け: 各エンティティを適切な型に常にラベル付けします。 抽出する内容のみを含め、不要なデータをラベルに含めないようにします。
- 一貫したラベル付け: すべてのファイルで、同じエンティティに同じラベルが付いているようにします。 完全なラベル付け: すべてのファイルに含まれるエンティティのすべてのインスタンスにラベルを付けます。
モデルをトレーニングする: モデルは、ラベル付けされたデータから学習を開始します。
モデルのパフォーマンスを表示する: トレーニング後、評価結果を確認し、パフォーマンスを分析して改善します。
モデルをデプロイする: モデルをデプロイすると、Analyze API を介して使用できるようになります。
エンティティの抽出: エンティティ抽出タスクにカスタム モデルを使用します。
リファレンス ドキュメントとコード サンプル
カスタム NER を使用する場合は、次の Azure AI Language のリファレンス ドキュメントとサンプルをご覧ください。
| 開発オプション/言語 | リファレンス ドキュメント | サンプル |
|---|---|---|
| REST API (オーサリング) | REST API のドキュメント | |
| REST API (ランタイム) | REST API のドキュメント | |
| C# (ランタイム) | C# 関連のドキュメント | C# のサンプル |
| Java (ランタイム) | Java のドキュメント | Java のサンプル |
| JavaScript (ランタイム) | JavaScript のドキュメント | JavaScript のサンプル |
| Python (ランタイム) | Python のドキュメント | Python のサンプル |
責任ある AI
AI システムには、テクノロジだけでなく、それを使用する人、それによって影響を受ける人、デプロイ環境も含まれます。 システムでの責任ある AI の使用とデプロイについては、透明性に関する メモ を参照してください。 詳細については、次の記事を 参照してください 。
次のステップ
クイックスタートの記事を使用して、カスタム固有表現認識の使用を開始します。
プロジェクト開発ライフサイクルを進める過程で、この機能のドキュメント全体で使用される用語の詳細については、「用語集」を参照してください。