次の方法で共有


OPENROWSET BULK (Transact-SQL)

適用対象:SQL ServerAzure SQL DatabaseAzure SQL Managed Instance

OPENROWSET T-SQL コマンドには、外部データ ソースからリモート データにアクセスするために必要なすべての接続情報が含まれます。 OPENROWSET では、組み込みの BULK プロバイダーによる一括操作もサポートされ、ファイルのデータを行セットとして読み取り、返すことができます。 OPENROWSET BULK は外部データ ファイルからの読み取り用であり、一括なしの OPENROWSET は別のデータベース エンジンからの読み取り用です。

OPENROWSET関数は、クエリのFROM句でテーブル名であるかのように参照できます。 OPENROWSET関数は、データ プロバイダーの機能に従って、INSERTUPDATE、またはDELETEステートメントのターゲットとして参照することもできます。 クエリでは複数の結果セットが返される場合がありますが、OPENROWSET では最初の 1 つだけが返されます。

OPENROWSET BULK演算子を使用しない場合は SQL Server でのみ使用できます。詳細については、OPENROWSET (Transact-SQL) を参照してください。

他のプラットフォームでの同様の例の詳細とリンク:

Transact-SQL 構文表記規則

Syntax

OPENROWSET(BULK) 構文は、外部ファイルを読み取るために使用されます。

OPENROWSET( BULK 'data_file' ,
            { FORMATFILE = 'format_file_path' [ <bulk_options> ]
              | SINGLE_BLOB | SINGLE_CLOB | SINGLE_NCLOB }
)

<bulk_options> ::=
   [ , DATA_SOURCE = 'data_source_name' ]

   -- bulk_options related to input file format
   [ , CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ]
   [ , FORMAT = { 'CSV' | 'PARQUET' | 'DELTA' } ]
   [ , FIELDQUOTE = 'quote_character' ]
   [ , FORMATFILE = 'format_file_path' ]
   [ , FORMATFILE_DATA_SOURCE = 'data_source_name' ]

   [ , FIRSTROW = first_row ]
   [ , LASTROW = last_row ]

   [ , MAXERRORS = maximum_errors ]
   [ , ERRORFILE = 'file_name' ]
   [ , ERRORFILE_DATA_SOURCE = 'data_source_name' ]

   [ , ROWS_PER_BATCH = rows_per_batch ]
   [ , ORDER ( { column [ ASC | DESC ] } [ , ...n ] ) [ UNIQUE ] ]

Arguments

BULK arguments

BULK行セット プロバイダーを使用して、ファイルからデータを読み取るOPENROWSETします。 SQL Server では、 OPENROWSET は、ターゲット テーブルにデータを読み込まずにデータ ファイルから読み取ることができます。 これにより、基本的なOPENROWSET ステートメントでSELECTを使用できます。

BULK オプションの引数を使用すると、データの読み取りを開始および終了する場所、エラーに対処する方法、およびデータの解釈方法を大幅に制御できます。 たとえば、データ ファイルを varbinaryvarchar、または nvarchar 型の単一行、単一列の行セットとして読み取るように指定できます。 既定の動作については、後の引数の説明を参照してください。

BULK オプションの使用方法については、この記事で後述する「解説」セクションを参照してください。 BULK オプションに必要なアクセス許可については、この記事の後半の「アクセス許可」セクションを参照してください。

Note

完全復旧モデルでデータをインポートするために使用した場合、 OPENROWSET (BULK ...) ではログ記録は最適化されません。

一括インポート用にデータを準備する方法については、「 一括エクスポートまたは一括インポート用のデータの準備を参照してください。

BULK 'data_file'

ターゲット テーブルにデータをコピーするデータ ファイルの完全パス。

SELECT * FROM OPENROWSET(
   BULK 'C:\DATA\inv-2017-01-19.csv',
   SINGLE_CLOB
) AS DATA;

SQL Server 2017 (14.x) 以降では、data_file は Azure Blob Storage に格納することができます。 例については、「 Azure Blob Storage のデータへの一括アクセスの例を参照してください。

BULK エラー処理オプション

ERRORFILE = 'file_name'

形式エラーがあり、OLE DB 行セットに変換できない行を収集するときに使用するファイルを指定します。 該当する行は、データ ファイルからこのエラー ファイルに "そのまま" コピーされます。

エラー ファイルはコマンドの実行開始時に作成されます。 ファイルが既に存在する場合は、エラーが発生します。 さらに、拡張子 .ERROR.txt の制御ファイルが作成されます。 このファイルにはエラー ファイルの各行の参照と、エラーの診断が含まれています。 エラーが修正されると、データを読み込むことができます。

SQL Server 2017 (14.x) 以降では、error_file_path は Azure Blob Storage に格納することができます。

ERRORFILE_DATA_SOURCE_NAME

SQL Server 2017 (14.x) 以降では、この引数は、インポート中に見つかったエラーを含むエラー ファイルの Azure Blob Storage の場所を指す名前付き外部データ ソースです。 外部データ ソースは、TYPE = BLOB_STORAGE を使って作成する必要があります。 詳細については、「 CREATE EXTERNAL DATA SOURCE (Transact-SQL)」を参照してください。

MAXERRORS = maximum_errors

フォーマット ファイルで定義されている構文エラーまたは不適合行の最大数を指定します。これは、 OPENROWSET が例外をスローする前に発生する可能性があります。 MAXERRORSに達するまで、OPENROWSETは不適切な行を無視し、読み込まず、無効な行を 1 つのエラーとしてカウントします。

maximum_errorsの既定値は 10 です。

Note

MAX_ERRORS は、 CHECK 制約や money およびbigint データ型の変換には適用されません。

BULK データ処理オプション

DATA_SOURCE

DATA_SOURCE は、 CREATE EXTERNAL DATA SOURCE で作成された外部の場所です。

FIRSTROW = first_row

読み込み開始行の行番号を指定します。 既定値は 1 です。 指定したデータ ファイルの最初の行を示します。 行番号は行ターミネータの数をカウントして決定されます。 FIRSTROW は 1 から始まります。

LASTROW = last_row

読み込み終了行の行番号を指定します。 既定値は 0 です。 指定したデータ ファイルの最後の行を示します。

ROWS_PER_BATCH = rows_per_batch

データ ファイル内にあるデータ行の概算数を指定します。 この値は実際の行数と同じ次数にする必要があります。

OPENROWSET では、常にデータ ファイルが単一のバッチとしてインポートされますが、 ただし、 0 の値で>を指定した場合、クエリ プロセッサはクエリ プランにリソースを割り当てるヒントとして rows_per_batch の値を使用します。

既定では、 ROWS_PER_BATCH は不明です。 ROWS_PER_BATCH = 0の指定は、ROWS_PER_BATCHを省略する場合と同じです。

ORDER ( { column [ ASC |DESC ] } [ ,... n ] [ UNIQUE ] )

データ ファイル内のデータの並べ替え方法を指定するオプションのヒント。 既定では、一括操作はデータ ファイルが並べ替えられていないことを前提に実行されます。 クエリ オプティマイザーが順序を利用して、より効率的なクエリ プランを生成できる場合、パフォーマンスが向上する可能性があります。 次の一覧は、並べ替えを指定する場合に役立つ可能性がある例を示しています。

  • クラスター化インデックスを持ち、クラスター化インデックス キーで行セット データが並べ替えられているテーブルに行を挿入する場合。
  • 行セットを別のテーブルに結合するとき、並べ替え列と結合列が一致する場合。
  • 並べ替え列で行セット データを集約する場合。
  • 並べ替え列と結合列が一致するクエリの FROM 句で、行セットをソース テーブルとして使用します。

UNIQUE

データ ファイルに重複するエントリがないことを指定します。

データ ファイル内の実際の行が指定された順序に従って並べ替えられていない場合、または UNIQUE ヒントが指定され、重複するキーが存在する場合は、エラーが返されます。

列のエイリアスは、 ORDER を使用する場合に必要です。 列エイリアス リストは、 BULK 句によってアクセスされる派生テーブルを参照する必要があります。 ORDER句で指定されている列名は、この列エイリアス リストを参照します。 大きな値の型 (varchar(max)nvarchar(max)varbinary(max)、xml) とラージ オブジェクト (LOB) 型 (textntextimage) の列は指定できません。

SINGLE_BLOB

varbinary(max)型の単一行の単一列行セットとしてdata_fileの内容を返します。

Important

SINGLE_BLOBSINGLE_CLOBではなく、SINGLE_NCLOB オプションのみを使用して XML データをインポートすることをお勧めします。これは、SINGLE_BLOBのみがすべての Windows エンコード変換をサポートするためです。

SINGLE_CLOB

data_fileを ASCII として読み取ることで、現在のデータベースの照合順序を使用して、varchar(max) 型の単一行の単一列行セットとして内容を返します。

SINGLE_NCLOB

data_file Unicode として読み取ることで、現在のデータベースの照合順序を使用して、nvarchar(max) 型の単一行の単一列行セットとして内容を返します。

SELECT * FROM OPENROWSET(
    BULK N'C:\Text1.txt',
    SINGLE_NCLOB
) AS Document;

BULK 入力ファイル形式のオプション

CODEPAGE = { 'ACP' |'OEM' |'RAW' |'code_page' }

データ ファイル内のデータのコード ページを指定します。 CODEPAGE は、文字値が 127 以上または 32 未満の charvarchar、または テキスト 列がデータに含まれている場合にのみ関連します。

Important

CODEPAGE は Linux でサポートされているオプションではありません。

Note

フォーマット ファイルの各列に対して照合順序名を指定することをお勧めします (65001 オプションを照合順序/コード ページ仕様よりも優先する場合を除く)。

CODEPAGE value Description
ACP charvarchar、またはテキスト データ型の列を ANSI/Microsoft Windows コード ページ (ISO 1252) から SQL Server コード ページに変換します。
OEM (既定値) charvarchar、またはテキスト データ型の列をシステム OEM コード ページから SQL Server コード ページに変換します。
RAW コード ページの変換は行われません。 これは最も高速なオプションです。
code_page データ ファイルの文字データのエンコードに使用されているソースのコード ページを示します (例 : 850)。

大事な SQL Server 2016 (13.x) より前のバージョンでは、コード ページ 65001 (UTF-8 エンコード) はサポートされていません。

FORMAT = { 'CSV' |'PARQUET' |'DELTA' }

SQL Server 2017 (14.x) 以降では、この引数は RFC 4180 標準に準拠したコンマ区切り値ファイルを指定します。

SQL Server 2022 (16.x) 以降では、Parquet 形式と Delta 形式の両方がサポートされています。

SELECT *
FROM OPENROWSET(BULK N'D:\XChange\test-csv.csv',
    FORMATFILE = N'D:\XChange\test-csv.fmt',
    FIRSTROW=2,
    FORMAT='CSV') AS cars;

FORMATFILE = 'format_file_path'

フォーマット ファイルの完全パスを指定します。 SQL Server では、次の 2 種類のフォーマット ファイルがサポートされます: XML と非 XML。

フォーマット ファイルは、結果セットの列の型を定義する場合に必要となります。 唯一の例外は、 SINGLE_CLOBSINGLE_BLOB、または SINGLE_NCLOB が指定されている場合です。この場合、フォーマット ファイルは必要ありません。

フォーマット ファイルの詳細については、「 フォーマット ファイルを使用してデータを一括インポートする (SQL Server)」を参照してください。

SQL Server 2017 (14.x) 以降では、format_file_path は Azure Blob Storage に格納することができます。 例については、「 Azure Blob Storage のデータへの一括アクセスの例を参照してください。

FIELDQUOTE = 'field_quote'

SQL Server 2017 (14.x) 以降では、この引数は CSV ファイルの引用符文字として使用される文字を指定します。 指定しない場合、" 標準で定義されている引用符文字として引用符文字 () が使用されます。 このオプションの値として指定できるのは 1 文字だけです。

Remarks

OPENROWSET を使用して OLE DB データ ソースからリモート データにアクセスできるのは、指定したプロバイダーに 対して DisallowAdhocAccess レジストリ オプションが明示的に 0 に設定されていて、アドホック分散クエリの高度な構成オプションが有効になっている場合のみです。 これらのオプションが設定されていない場合、既定の動作ではアドホック アクセスは許可されません。

リモート OLE DB データ ソースにアクセスすると、クライアントがクエリ対象のサーバーに接続されているサーバーから、信頼された接続のログイン ID が自動的に委任されることはありません。 したがって、認証の委任を構成する必要があります。

データ プロバイダーが指定したデータ ソース内の複数のカタログとスキーマをサポートしている場合は、カタログとスキーマの名前が必要です。 catalogschemaの値は、データ プロバイダーがサポートしていない場合は省略できます。 プロバイダーがスキーマ名のみをサポートしている場合は、フォーム schema.object の 2 部構成の名前を指定する必要があります。 プロバイダーがカタログ名のみをサポートしている場合は、フォーム catalog.schema.object の 3 部構成の名前を指定する必要があります。 詳細については、「Transact-SQL 構文表記規則」を参照してください。

SQL Server Native Client OLE DB プロバイダーを使用するパススルー クエリには、3 つの部分で構成される名前を指定する必要があります。

OPENROWSET では、引数の変数は受け入れられません。

OPENDATASOURCE 句での OPENQUERYOPENROWSET、または FROM の呼び出しは、更新のターゲットとして使用されるこれらの関数の呼び出しとは別に評価されます。これは、両方の呼び出しに同じ引数が指定されている場合にも当てはまります。 特に、いずれか一方の呼び出しの結果に適用されるフィルター条件または結合条件は、もう一方の結果に影響しません。

BULK オプションで OPENROWSET を使用する

次の Transact-SQL 拡張機能では、 OPENROWSET(BULK...) 関数がサポートされています。

  • FROM と共に使用される SELECT 句では、テーブル名の代わりに OPENROWSET(BULK...) を呼び出すことができます。このとき SELECT の機能に制限はありません。

    OPENROWSETBULK オプションを使用するには、FROM 句に相関名を指定する必要があります。これは範囲変数または別名とも呼ばれます。 列には別名を指定できます。 列の別名リストが指定されていない場合、フォーマット ファイルには列名が必要です。 次のように、列の別名を指定した場合は、フォーマット ファイルの列名をオーバーライドして使用されます。

    • FROM OPENROWSET(BULK...) AS table_alias
    • FROM OPENROWSET(BULK...) AS table_alias(column_alias,...n)

    Important

    AS <table_alias> への追加に失敗すると次のエラーが発生します:Msg 491, Level 16, State 1, Line 20 FROM 句の一括行セットには相関名を指定してください。

  • SELECT...FROM OPENROWSET(BULK...) ステートメントは、データをテーブルにインポートせずに、ファイル内のデータに対してクエリを直接実行します。 また、SELECT...FROM OPENROWSET(BULK...) ステートメントでフォーマット ファイルを使用して列名やデータ型を指定すると、一括列の別名を列挙することもできます。

  • OPENROWSET(BULK...) ステートメントまたは INSERT ステートメント内でソース テーブルとして MERGE を使用すると、データ ファイルから SQL Server テーブルにデータが一括インポートされます。 詳細については、「 BULK INSERT または OPENROWSET(BULK...) を使用して SQL Server にデータをインポートするを参照してください。

  • OPENROWSET BULK ステートメントで INSERT オプションを使用する場合、BULK 句はテーブル ヒントをサポートします。 TABLOCK などの通常のテーブル ヒントに加えて、BULK 句では、次の特殊なテーブル ヒントを使用できます: IGNORE_CONSTRAINTS (CHECK および FOREIGN KEY 制約のみ無視します)、IGNORE_TRIGGERSKEEPDEFAULTSKEEPIDENTITY。 詳細については、「テーブル ヒント (Transact-SQL)」を参照してください。

    INSERT...SELECT * FROM OPENROWSET(BULK...) ステートメントの使用方法については、「データの一括インポートと一括エクスポート (SQL Server)」をご覧ください。 一括インポートによって実行される行挿入操作がトランザクション ログに記録される条件について詳しくは、「 一括インポートで最小ログ記録を行うための前提条件」をご覧ください。

Note

OPENROWSETを使用する場合は、SQL Server が偽装をどのように処理するかを理解することが重要です。 セキュリティに関する考慮事項については、「 BULK INSERT または OPENROWSET(BULK...) を使用して SQL Server にデータをインポートするを参照してください。

SQLCHAR、SQLNCHAR、または SQLBINARY データの一括インポート

OPENROWSET(BULK...) 指定しない場合、 SQLCHARSQLNCHAR、または SQLBINARY データの最大長が 8,000 バイトを超えないと想定します。 インポートするデータが、8,000 バイトを超える varchar(max)nvarchar(max)、または varbinary(max) オブジェクトを含む LOB データ フィールドにある場合は、データ フィールドの最大長を定義する XML フォーマット ファイルを使用する必要があります。 最大の長さを指定するには、フォーマット ファイルを編集して MAX_LENGTH 属性を宣言します。

Note

自動的に生成されるフォーマット・ファイルは、LOB フィールドの長さまたは最大長を指定しません。 ただし、手作業でフォーマット ファイルを編集して長さまたは最大の長さを指定できます。

SQLXML ドキュメントの一括エクスポートまたは一括インポート

SQLXML データを一括エクスポートまたは一括インポートする場合、フォーマット ファイルのデータ型には次のいずれかを使用します。

Data type Effect
SQLCHAR または SQLVARYCHAR データは、クライアント コード ページまたは照合順序によって暗黙的に示されるコード ページで送信されます。
SQLNCHAR または SQLNVARCHAR データは Unicode として送られます。
SQLBINARY または SQLVARYBIN データは変換なしで送られます。

Permissions

OPENROWSET 外部データ ソースでは、次のアクセス許可が必要です。

  • ADMINISTER DATABASE BULK OPERATIONS

    or

  • ADMINISTER BULK OPERATIONS

次の例では、プリンシパルに ADMINISTEER DATABASE BULK OPERATIONS を許可します。

GRANT ADMINISTER DATABASE BULK OPERATIONS TO [<principal_name>];

ターゲット ストレージ アカウントがプライベートの場合、プリンシパルには、ストレージ BLOB データ閲覧者 ロール (またはそれ以上) もコンテナーまたはストレージ アカウント レベルで割り当てられている必要があります。

Examples

このセクションでは、 OPENROWSET BULK 構文の使用方法を示す一般的な例を示します。

A. OPENROWSET を使用して varbinary(max) 列にファイル データを BULK INSERT する

適用対象: SQL Server のみ。

次の例では、デモンストレーション用の小さなテーブルを作成し、Text1.txt ルート ディレクトリにある C: という名前のファイルから varbinary(max) 列にファイル データを挿入します。

CREATE TABLE myTable (
    FileName NVARCHAR(60),
    FileType NVARCHAR(60),
    Document VARBINARY(MAX)
);
GO

INSERT INTO myTable (
    FileName,
    FileType,
    Document
)
SELECT 'Text1.txt' AS FileName,
    '.txt' AS FileType,
    *
FROM OPENROWSET(
    BULK N'C:\Text1.txt',
    SINGLE_BLOB
) AS Document;
GO

B. フォーマット ファイルで OPENROWSET BULK プロバイダーを使用してテキスト ファイルから行を取得する

適用対象: SQL Server のみ。

次の例では、フォーマット ファイルを使用して、タブ区切りのテキスト ファイル values.txt から行を取得します。このテキスト ファイルには次のデータが含まれます。

1     Data Item 1
2     Data Item 2
3     Data Item 3

フォーマット ファイル values.fmt では、values.txt の列が次のように表されています。

9.0
2
1  SQLCHAR  0  10 "\t"    1  ID           SQL_Latin1_General_Cp437_BIN
2  SQLCHAR  0  40 "\r\n"  2  Description  SQL_Latin1_General_Cp437_BIN

このクエリは、そのデータを取得します。

SELECT a.* FROM OPENROWSET(
    BULK 'C:\test\values.txt',
   FORMATFILE = 'C:\test\values.fmt'
) AS a;

C. フォーマット ファイルとコード ページを指定する

適用対象: SQL Server のみ。

次の例は、フォーマット ファイルとコード ページの両方のオプションを同時に使用する方法を示しています。

INSERT INTO MyTable
SELECT a.* FROM OPENROWSET (
    BULK N'D:\data.csv',
    FORMATFILE = 'D:\format_no_collation.txt',
    CODEPAGE = '65001'
) AS a;

D. フォーマット ファイルを使用して CSV ファイルからデータにアクセスする

適用対象: SQL Server 2017 (14.x) 以降のバージョンのみ。

SELECT * FROM OPENROWSET(
    BULK N'D:\XChange\test-csv.csv',
    FORMATFILE = N'D:\XChange\test-csv.fmt',
    FIRSTROW = 2,
    FORMAT = 'CSV'
) AS cars;

E. フォーマット ファイルなしで CSV ファイルからデータにアクセスする

適用対象: SQL Server のみ。

SELECT * FROM OPENROWSET(
   BULK 'C:\Program Files\Microsoft SQL Server\MSSQL14.CTP1_1\MSSQL\DATA\inv-2017-01-19.csv',
   SINGLE_CLOB
) AS DATA;
SELECT *
FROM OPENROWSET('MSDASQL',
    'Driver={Microsoft Access Text Driver (*.txt, *.csv)}',
    'SELECT * FROM E:\Tlog\TerritoryData.csv'
);

Important

ODBC ドライバーは 64 ビットである必要があります。 Windows で ODBC データ ソースへの接続 (SQL Server インポートおよびエクスポート ウィザード) アプリケーションの [ドライバー] タブを開き、これを確認します。 64 ビット バージョンのMicrosoft Text Driver (*.txt, *.csv)では動作しない 32 ビットのsqlservr.exeがあります。

F. Azure Blob Storage に格納されているファイルからデータにアクセスする

適用対象: SQL Server 2017 (14.x) 以降のバージョンのみ。

SQL Server 2017 (14.x) 以降のバージョンでは、次の例では、Azure ストレージ アカウント内のコンテナーと、共有アクセス署名用に作成されたデータベース スコープ資格情報を指す外部データ ソースを使用しています。

SELECT * FROM OPENROWSET(
   BULK 'inv-2017-01-19.csv',
   DATA_SOURCE = 'MyAzureInvoices',
   SINGLE_CLOB
) AS DataFile;

資格情報と外部データ ソースの構成を含む完全な OPENROWSET 例については、「 Azure Blob Storage のデータへの一括アクセスの例を参照してください。

G. Azure Blob Storage に格納されているファイルからテーブルにインポートする

次の例では、 OPENROWSET コマンドを使用して、SAS キーを作成した Azure Blob Storage の場所にある csv ファイルからデータを読み込む方法を示します。 Azure Blob Storage の場所は、外部データ ソースとして構成されます。 これには、ユーザー データベース内でマスター キーを使用して暗号化された共有アクセス署名を使用するデータベース スコープ資格情報が必要です。

-- Optional: a MASTER KEY is not required if a DATABASE SCOPED CREDENTIAL is not required because the blob is configured for public (anonymous) access!
CREATE MASTER KEY ENCRYPTION BY PASSWORD = '<password>';
GO

-- Optional: a DATABASE SCOPED CREDENTIAL is not required because the blob is configured for public (anonymous) access!
CREATE DATABASE SCOPED CREDENTIAL MyAzureBlobStorageCredential
    WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
    SECRET = '******srt=sco&sp=rwac&se=2017-02-01T00:55:34Z&st=2016-12-29T16:55:34Z***************';

-- Make sure that you don't have a leading ? in the SAS token, and that you
-- have at least read permission on the object that should be loaded srt=o&sp=r,
-- and that expiration period is valid (all dates are in UTC time)
CREATE EXTERNAL DATA SOURCE MyAzureBlobStorage
WITH (
    TYPE = BLOB_STORAGE,
    LOCATION = 'https://****************.blob.core.windows.net/curriculum',
    -- CREDENTIAL is not required if a blob is configured for public (anonymous) access!
    CREDENTIAL = MyAzureBlobStorageCredential
);

INSERT INTO achievements
WITH (TABLOCK) (
    id,
    description
)
SELECT * FROM OPENROWSET(
    BULK 'csv/achievements.csv',
    DATA_SOURCE = 'MyAzureBlobStorage',
    FORMAT = 'CSV',
    FORMATFILE = 'csv/achievements-c.xml',
    FORMATFILE_DATA_SOURCE = 'MyAzureBlobStorage'
) AS DataFile;

H. 外部ソースにマネージド ID を使う

適用対象: Azure SQL Managed Instance と Azure SQL Database

次の例では、マネージド ID を使って資格情報を作成し、外部ソースを作成し、外部ソース上でホストされている CSV からデータを読み込みます。

まず資格情報を作成し、BLOB ストレージを外部ソースとして指定します。

CREATE DATABASE SCOPED CREDENTIAL sampletestcred
WITH IDENTITY = 'MANAGED IDENTITY';

CREATE EXTERNAL DATA SOURCE SampleSource
WITH (
    LOCATION = 'abs://****************.blob.core.windows.net/curriculum',
    CREDENTIAL = sampletestcred
);

次に、BLOB ストレージ上でホストされている CSV ファイルからデータを読み込みます。

SELECT * FROM OPENROWSET(
    BULK 'Test - Copy.csv',
    DATA_SOURCE = 'SampleSource',
    SINGLE_CLOB
) as test;

I. OPENROWSET を使用して、S3 互換オブジェクト ストレージを使用して複数の Parquet ファイルにアクセスする

適用対象: SQL Server 2022 (16.x) 以降のバージョン。

次の例では、S3 互換のオブジェクト ストレージに格納されているすべての場所から複数の Parquet ファイルにアクセスします。

CREATE DATABASE SCOPED CREDENTIAL s3_dsc
WITH IDENTITY = 'S3 Access Key',
SECRET = 'contosoadmin:contosopwd';
GO

CREATE EXTERNAL DATA SOURCE s3_eds
WITH
(
    LOCATION = 's3://10.199.40.235:9000/movies',
    CREDENTIAL = s3_dsc
);
GO

SELECT * FROM OPENROWSET(
    BULK (
        '/decades/1950s/*.parquet',
        '/decades/1960s/*.parquet',
        '/decades/1970s/*.parquet'
    ),
    FORMAT = 'PARQUET',
    DATA_SOURCE = 's3_eds'
) AS data;

J. OPENROWSET を使用して Azure Data Lake Gen2 から複数の Delta テーブルにアクセスする

適用対象: SQL Server 2022 (16.x) 以降のバージョン。

この例では、データ テーブル コンテナーの名前は Contoso で、Azure Data Lake Gen2 ストレージ アカウントにあります。

CREATE DATABASE SCOPED CREDENTIAL delta_storage_dsc
WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
SECRET = '<SAS Token>';

CREATE EXTERNAL DATA SOURCE Delta_ED
WITH (
    LOCATION = 'adls://<container>@<storage_account>.dfs.core.windows.net',
    CREDENTIAL = delta_storage_dsc
);

SELECT *
FROM OPENROWSET(
    BULK '/Contoso',
    FORMAT = 'DELTA',
    DATA_SOURCE = 'Delta_ED'
) AS result;

K. OPENROWSET を使用してパブリック匿名データセットのクエリを実行する

次の例では、公開されている NYC 黄色のタクシー乗車レコードのオープン データ セットを使用します。

最初にデータ ソースを作成します。

CREATE EXTERNAL DATA SOURCE NYCTaxiExternalDataSource
WITH (LOCATION = 'abs://nyctlc@azureopendatastorage.blob.core.windows.net');

名前パターンに一致するフォルダー内の .parquet 拡張子を持つすべてのファイルに対してクエリを実行します。

SELECT TOP 10 *
FROM OPENROWSET(
 BULK 'yellow/puYear=*/puMonth=*/*.parquet',
 DATA_SOURCE = 'NYCTaxiExternalDataSource',
 FORMAT = 'parquet'
) AS filerows;

More examples

INSERT...SELECT * FROM OPENROWSET(BULK...)の使用を示すその他の例については、次の記事を参照してください。

適用対象:Microsoft Fabric の SQL 分析エンドポイントと Warehouse

T-SQL OPENROWSET 関数は、Azure Data Lake Storage 内のファイルの内容を読み取ります。 Azure Data Lake または Azure Blob Storage に格納されているテキスト/CSV、Parquet、または JSON 行のファイル形式を読み取ることができます。

OPENROWSET関数は、ファイルからデータを読み取り、行セットとして返します。 OPENROWSET関数は、クエリのFROM句でテーブル名であるかのように参照できます。

この記事は、Microsoft Fabric Warehouse にのみ適用されます。 Fabric Warehouse の OPENROWSET 関数と SQL 分析エンドポイント項目には機能的な違いがあります。

他のプラットフォームでの同様の例の詳細とリンク:

Syntax

SELECT <columns>
FROM OPENROWSET(
    BULK 'https://<storage>.blob.core.windows.net/path/folder1=*/folder2=*/<filename>'
    [, FORMAT = ('PARQUET' | 'CSV' | 'JSONL') ]

    -- execution options
    [, ROWS_PER_BATCH=number_of_rows]

    -- Text/CSV encoding options
    [, DATAFILETYPE = {'char' | 'widechar' }     ]
    [, CODEPAGE = {'ACP' | 'OEM' | 'raw' | '<code_page>' } ]

    -- Text/CSV formatting options
    [, ROWTERMINATOR = 'row_terminator' ]
    [, FIELDTERMINATOR =  'field_terminator' ]
    [, FIELDQUOTE = 'string_delimiter' ]
    [ , PARSER_VERSION = 'parser_version' ]
    [, ESCAPECHAR = 'escape_char' ]
    [, HEADER_ROW = [true|false] ]
    [, FIRSTROW = first_row ]
    [, LASTROW = last_row ]

    -- execution options
    [, ROWS_PER_BATCH=number_of_rows]
) 
[
    WITH (  ( <column_name> <sql_datatype> [ '<column_path>' | <column_ordinal> ] )+ )
]
[ AS <alias> ]

Arguments

BULK 'data_file'

データが読み取られ、行セットとして返されるデータ ファイルの URI。 URI は、Azure Data Lake Storage または Azure Blob Storage を参照できます。

URI には、任意のシーケンスの文字に一致する * 文字を含めることができます。これにより、 OPENROWSET は URI に対してパターンマッチングを行うことができます。 さらに、 /** で終わり、すべてのサブフォルダーを再帰的に走査できます。

OPENROWSET(BULK)を使用すると、Fabric OneLake に格納されているファイル (特に Fabric Lakehouse の Files フォルダーから) から直接データを読み取ることができます。 これにより、外部ステージング アカウント (ADLS Gen2 や Blob Storage など) が不要になり、Fabric のアクセス許可を使用してワークスペースで管理される SaaS ネイティブ インジェストが可能になります。 この機能では、次の機能がサポートされます。

  • Lakehouses の Files フォルダーからの読み取り
  • ワークスペースからウェアハウスへの読み込み (同じテナント内)
  • Microsoft Entra ID を使用したネイティブ ID の適用

Note

Fabric OneLake ストレージは プレビュー段階ですCOPY INTOOPENROWSET(BULK)の両方に適用できる制限事項を参照してください。

サポートされている URI 形式は次のとおりです。

  • https://{storage}.blob.core.windows.net/[container}/{file path}
  • https://{storage}.dfs.core.windows.net/[container}/{file path}
  • abfss://[container}@{storage}.dfs.core.windows.net/{file path}
  • https://onelake.dfs.fabric.microsoft.com/<workspaceId>/<lakehouseId>/Files/{file path} - 現在 プレビュー中

For example:

SELECT TOP 10 *
FROM OPENROWSET(
    BULK 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/*.parquet'
);

BULK 入力ファイル形式のオプション

FORMAT = { 'CSV' |'PARQUET' |'JSONL' }

参照されるファイルの形式を指定します。 パス内のファイル拡張子が .csv.tsv.parquet.parq.jsonl.ldjson、または .ndjsonで終わる場合、 FORMAT オプションを指定する必要はありません。

Note

OPENROWSET関数は、改行で区切られた JSON 形式のみを読み取ることができます。 この機能は現在プレビュー段階です。 改行文字は JSON ドキュメント間の区切り文字として使用する必要があり、JSON ドキュメントの中央に配置することはできません。

For example:

SELECT *
FROM OPENROWSET(
    BULK 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.parquet'
);

ファイル パスが次のいずれかの拡張子で終わらない場合は、次のように FORMATを指定する必要があります。

SELECT TOP 10 *
FROM OPENROWSET(
      BULK 'abfss://nyctlc@azureopendatastorage.blob.core.windows.net/yellow/**',
      FORMAT='PARQUET'
)

ROWS_PER_BATCH = rows_per_batch

データ ファイル内にあるデータ行の概算数を指定します。 この値は推定値であり、実際の行数の近似値 (1 桁以内) である必要があります。 既定では、 ROWS_PER_BATCH はファイルの特性 (ファイルの数、ファイル サイズ、返されるデータ型のサイズ) に基づいて推定されます。 ROWS_PER_BATCH = 0の指定は、ROWS_PER_BATCHを省略する場合と同じです。

For example:

SELECT TOP 10 *
FROM OPENROWSET(
    BULK 'abfss://public@pandemicdatalake.dfs.core.windows.net/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.parquet',
    ROWS_PER_BATCH = 100000
);

テキスト/CSV エンコード オプション

DATAFILETYPE = { 'char' |'widechar' }

OPENROWSET(BULK)が 1 バイト (ASCII、UTF8) またはマルチバイト (UTF16) ファイルの内容を読み取る必要があることを指定します。

DATAFILETYPE value すべてのデータが示す形式
char (default) Character format.

詳細については、「 文字形式を使用してデータをインポートまたはエクスポートする」を参照してください。
widechar Unicode characters.

詳細については、「 Unicode 文字形式を使用したデータのインポートまたはエクスポート」を参照してください。

CODEPAGE = { 'ACP' |'OEM' |'RAW' |'code_page' }

データ ファイル内のデータのコード ページを指定します。 CODEPAGE は、文字値が 127 以上または 32 未満の charvarchar、または テキスト 列がデータに含まれている場合にのみ関連します。

CODEPAGE value Description
ACP charvarchar、またはテキスト データ型の列を ANSI/Microsoft Windows コード ページ (ISO 1252) から SQL Server コード ページに変換します。
OEM (既定値) charvarchar、またはテキスト データ型の列をシステム OEM コード ページから SQL Server コード ページに変換します。
RAW コード ページの変換は行われません。 これは最も高速なオプションです。
code_page データ ファイルの文字データのエンコードに使用されているソースのコード ページを示します (例 : 850)。

大事な SQL Server 2016 (13.x) より前のバージョンでは、コード ページ 65001 (UTF-8 エンコード) はサポートされていません。

テキスト/CSV の書式設定オプション

ROWTERMINATOR = 'row_terminator'

char および widechar データ ファイルに使用する行ターミネータを指定します。 既定の行ターミネータは、\r\n (改行文字) です。 詳細については、「 フィールドターミネータと行ターミネータを指定する」を参照してください。

FIELDTERMINATOR = 'field_terminator'

char および widechar データ ファイルに使用するフィールド ターミネータを指定します。 既定のフィールド ターミネータは , (コンマ) です。 詳細については、「 フィールドターミネータと行ターミネータの指定」を参照してください。

たとえば、タブ区切りのデータをファイルから読み取る場合は、次のようにします。

SELECT *
FROM OPENROWSET(
    BULK '{file path}',
    ROWTERMINATOR = '\t'
);

FIELDQUOTE = 'field_quote'

CSV ファイルの引用符文字として使用される文字を指定します。 指定しない場合、" 標準で定義されている引用符文字として引用符文字 () が使用されます。 FIELDTERMINATOR文字 (コンマなど) はフィールド引用符内に配置でき、FIELDQUOTE文字で囲まれたセルでは通常の文字と見なされます。

たとえば、次のコンマ区切り値 (CSV) データセットで FIELDQUOTE = '"' を使用し、アドレス フィールドにコンマを付けます。 アドレス フィールドの値は、 " (引用符) 文字内のコンマで複数の値に分割されず、1 つの値として保持されます。

SELECT *
FROM OPENROWSET(
    BULK '{file path}',
    FIELDQUOTE = '"',
    FIELDTERMINATOR = ','
);
Empire State Building,40.748817,-73.985428,"20 W 34th St, New York, NY 10118","\icons\sol.png"
Statue of Liberty,40.689247,-74.044502,"Liberty Island, New York, NY 10004","\icons\sol.png"

PARSER_VERSION = 'parser_version'

ファイルの読み取り時に使用するパーサーのバージョンを指定します。 現在サポートされている CSV パーサーのバージョンは 1.0 および 2.0 です。

  • PARSER_VERSION = '1.0'
  • PARSER_VERSION = '2.0'

CSV パーサー バージョン 1.0 が既定であり、機能が豊富です。 バージョン 2.0 はパフォーマンス重視で構築されており、すべてのオプションとエンコードがサポートされているわけではありません。

CSV パーサー バージョン 1.0 の詳細:

  • 次のオプションはサポートされていません。HEADER_ROW。
  • 既定のターミネータは、 \r\n\n\rです。
  • 行ターミネータとして \n (改行) を指定すると、自動的に \r (復帰) 文字がプレフィックスとして付けられます。その結果、行ターミネータが \r\nになります。

CSV パーサー バージョン 2.0 の詳細:

  • すべてのデータ型がサポートされているわけではありません。
  • 列の最大長は 8,000 文字です。
  • 行の最大サイズの上限は 8 MB です。
  • 次のオプションはサポートされていません: DATA_COMPRESSION
  • 引用符で囲まれた空の文字列 ("") は、空の文字列として解釈されます。
  • DATEFORMAT SET オプションは受け付けられません。
  • 日付データ型でサポートされている形式:YYYY-MM-DD
  • 時刻データ型でサポートされている形式:HH:MM:SS[.fractional seconds]
  • datetime2 データ型でサポートされている形式:YYYY-MM-DD HH:MM:SS[.fractional seconds]
  • 既定のターミネータは \r\n\nです。

ESCAPE_CHAR = 'char'

ファイル内でそれ自体とすべての区切り記号の値をエスケープするために使用するファイル内の文字を指定します。 エスケープ文字の後にそれ自体以外の値、またはいずれかの区切り記号の値が続く場合は、その値を読み取るときにエスケープ文字が削除されます。

ESCAPECHARが有効かどうかに関係なく、FIELDQUOTE パラメーターが適用されます。 引用文字をエスケープするために使用されることはありません。 引用文字は、別の引用文字でエスケープする必要があります。 引用符文字は、値が引用符文字でカプセル化されている場合にのみ、列値内に表示できます。

次の例では、コンマ (,) と円記号 (\) がエスケープされ、 \, および \\として表されます。

SELECT *
FROM OPENROWSET(
    BULK '{file path}',
    ESCAPECHAR = '\'
);
Place,Address,Icon
Empire State Building,20 W 34th St\, New York\, NY 10118,\\icons\\sol.png
Statue of Liberty,Liberty Island\, New York\, NY 10004,\\icons\\sol.png

HEADER_ROW = { TRUE |FALSE }

CSV ファイルにヘッダー行を含めるかどうかを指定します。 既定値は FALSE です。 PARSER_VERSION='2.0'でサポートされています。 TRUE場合、列名は引数に従って最初の行FIRSTROW読み取られます。 TRUEとスキーマがWITHを使用して指定されている場合、列名のバインドは序数位置ではなく列名によって行われます。

CSV ファイルに、他のデータ行と共に返してはならないヘッダー行を含めるかどうかを指定します。 既定値は FALSE です。 PARSER_VERSION='2.0'でサポートされています。 TRUE場合、列名は引数に従って最初の行FIRSTROW読み取られます。 TRUEとスキーマがWITHを使用して指定されている場合、列名のバインドは序数位置ではなく列名によって行われます。

SELECT *
FROM OPENROWSET(
    BULK '{file path}',
    HEADER_ROW = TRUE
);
Place,Latitude,Longitude,Address,Area,State,Zipcode
Empire State Building,40.748817,-73.985428,20 W 34th St,New York,NY,10118
Statue of Liberty,40.689247,-74.044502,Liberty Island,New York,NY,10004

FIRSTROW = first_row

読み込み開始行の行番号を指定します。 既定値は 1 です。 指定したデータ ファイルの最初の行を示します。 行番号は行ターミネータの数をカウントして決定されます。 FIRSTROW は 1 から始まります。

LASTROW = last_row

読み込み終了行の行番号を指定します。 既定値は 0 です。 指定したデータ ファイルの最後の行を示します。

Execution options

ROWS_PER_BATCH = rows_per_batch

データ ファイル内にあるデータ行の概算数を指定します。 この値は実際の行数と同じ次数にする必要があります。

既定では、 ROWS_PER_BATCH はファイルの特性 (ファイルの数、ファイル サイズ、返されるデータ型のサイズ) に基づいて推定されます。 ROWS_PER_BATCH = 0の指定は、ROWS_PER_BATCHを省略する場合と同じです。

WITH Schema

WITH スキーマは、OPENROWSET関数の結果セットを定義する列を指定します。 結果として返されるすべての列の列定義が含まれており、基になるファイル列を結果セット内の列にバインドするマッピング規則の概要を示します。

次に例を示します。

  • country_region列には varchar(50) 型があり、基になる列を同じ名前で参照しています
  • date列は、別の物理名で CSV/Parquet 列または JSONL プロパティを参照しています
  • cases列は、ファイル内の 3 番目の列を参照しています
  • fatal_cases列は、入れ子になった Parquet プロパティまたは JSONL サブオブジェクトを参照しています
SELECT *
FROM OPENROWSET(<...>) 
WITH (
        country_region varchar(50), --> country_region column has varchar(50) type and referencing the underlying column with the same name
        [date] DATE '$.updated',   --> date is referencing a CSV/Parquet column or JSONL property with a different physical name
        cases INT 3,             --> cases is referencing third column in the file
        fatal_cases INT '$.statistics.deaths'  --> fatal_cases is referencing a nested Parquet property or JSONL sub-object
     );

<column_name>

結果行セットで返される列の名前。 この列のデータは、 <column_path> または <column_ordinal>によってオーバーライドされない限り、同じ名前の基になるファイル列から読み取られます。 列の名前は、列名識別子の 規則に従う必要があります。

<column_type>

結果セット内の列の T-SQL 型。 基になるファイルの値は、 OPENROWSET 結果が返されるときに、この型に変換されます。 詳細については、「 Fabric Warehouse のデータ型」を参照してください。

<column_path>

Parquet などの複合型の入れ子になったフィールドを参照するために使用されるドット区切りのパス ( $.description.location.latなど)。

<column_ordinal>

WITH句の列にマップされる列の物理インデックスを表す数値。

Remarks

サポートされている機能を次の表にまとめます。

Feature Supported Not available
File formats Parquet、CSV、JSONL (プレビュー) Delta、Azure Cosmos DB、JSON、リレーショナル データベース
Authentication EntraID/SPN パススルー、パブリック ストレージ SAS/SAK、SPN、マネージド アクセス
Storage Azure Blob Storage、Azure Data Lake Storage、Fabric OneLake (プレビュー)
Options の完全/絶対 URI のみ OPENROWSET OPENROWSETの相対 URI パスDATA_SOURCE
Partitioning クエリで filepath() 関数を使用できます。

Examples

A. Azure Blob Storage から Parquet ファイルを読み取る

次の例では、Parquet ファイルから 100 行を読み取る方法を確認できます。

SELECT TOP 100 * 
FROM OPENROWSET(
    BULK 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.parquet'
);

B. カスタム CSV ファイルを読み取る

次の例では、行とフィールドを区切るヘッダー行と明示的に指定されたターミネータ文字を含む CSV ファイルから行を読み取る方法を確認できます。

SELECT *
FROM OPENROWSET(
BULK 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.csv',
 HEADER_ROW = TRUE,
 ROW_TERMINATOR = '\n',
 FIELD_TERMINATOR = ',');

C. ファイルの読み取り中にファイル列スキーマを指定する

次の例では、 OPENROWSET 関数の結果として返される行のスキーマを明示的に指定する方法を確認できます。

SELECT *
FROM OPENROWSET(
BULK 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.parquet') 
WITH (
        updated DATE
        ,confirmed INT
        ,deaths INT
        ,iso2 VARCHAR(8000)
        ,iso3 VARCHAR(8000)
        );

D. パーティション・データ・セットの読み取り

次の例では、 filepath() 関数を使用して、一致したファイル パスから URI の部分を読み取る方法を確認できます。

SELECT TOP 10 
  files.filepath(2) AS area
, files.*
FROM OPENROWSET(
BULK 'https://synapseaisolutionsa.blob.core.windows.net/public/NYC_Property_Sales_Dataset/*_*.csv',
 HEADER_ROW = TRUE) 
AS files
WHERE files.filepath(1) = '2009';

E. JSONL ファイルの読み取り中にファイル列スキーマを指定する

次の例では、 OPENROWSET 関数の結果として返される行のスキーマを明示的に指定する方法を確認できます。

SELECT TOP 10 *
FROM OPENROWSET(
BULK 'https://pandemicdatalake.dfs.core.windows.net/public/curated/covid-19/bing_covid-19_data/latest/bing_covid-19_data.jsonl') 
WITH (
        country_region varchar(50),
        date DATE '$.updated',
        cases INT '$.confirmed',
        fatal_cases INT '$.deaths'
     );

JSONL ファイルの場合、列名がプロパティ内の列の物理名と一致しない場合は、型定義の後の JSON パスで物理名を指定できます。 複数のプロパティを使用できます。 たとえば、parquet 複合型または JSON サブオブジェクトで入れ子になったプロパティを参照 $.location.latitude