SQL Server Express 2019 サンプルデータベースのインポートエラー原因

Question

前提・実現したいこと

SQL Server Express 2019に「AdventureWorks」サンプルデータベースをインポートすることです。

利用したインポートデータは以下です。
https://github.com/microsoft/sql-server-samples/tree/master/samples/databases/adventure-works/oltp-install-script
この中にあるinstawdb.sqlをSQL SQL Server Management Studioで開き、実行したところエラーが発生しインポートが失敗しました。

発生している問題・エラーメッセージ

*** Loading Data
Loading [Person].[Address]
メッセージ 4864、レベル 16、状態 1、行 1805
行 1499、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 1687、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 5167、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 6612、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 7020、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 7028、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 7295、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 7696、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 9639、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 11003、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4864、レベル 16、状態 1、行 1805
行 14590、列 6 (PostalCode) の一括読み込みデータ変換エラー (型の不一致または指定されたコードページでは無効な文字)。
メッセージ 4865、レベル 16、状態 1、行 1805
エラーの最大数 (10) を超えたので、一括読み込みできません。
メッセージ 7399、レベル 16、状態 1、行 1805
リンク サーバー "(null)" の OLE DB プロバイダー "BULK" により、エラーがレポートされました。プロバイダーからエラーに関する情報を取得できませんでした。
メッセージ 7330、レベル 16、状態 2、行 1805
リンク サーバー "(null)" の OLE DB プロバイダー "BULK" から行をフェッチできません。

該当のソースコード

instawdb.sqlの1805行目のSQLは以下です。

-- ******************************************************
-- Load data
-- ******************************************************
PRINT '';
PRINT '*** Loading Data';
GO

PRINT 'Loading [Person].[Address]';

BULK INSERT [Person].[Address] FROM '$(SqlSamplesSourceDataPath)Address.csv'
WITH (
    CHECK_CONSTRAINTS,
    CODEPAGE='ACP',
    DATAFILETYPE = 'char',
    FIELDTERMINATOR= '\t',
    ROWTERMINATOR = '\n',
    KEEPIDENTITY,
    TABLOCK
);

BULK INSERT先のテーブル宣言

CREATE TABLE [Person].[Address](
    [AddressID] [int] IDENTITY (1, 1) NOT FOR REPLICATION NOT NULL,
    [AddressLine1] [nvarchar](60) NOT NULL, 
    [AddressLine2] [nvarchar](60) NULL, 
    [City] [nvarchar](30) NOT NULL, 
    [StateProvinceID] [int] NOT NULL,
    [PostalCode] [nvarchar](15) NOT NULL, 
	[SpatialLocation] [geography] NULL,
    [rowguid] uniqueidentifier ROWGUIDCOL NOT NULL CONSTRAINT [DF_Address_rowguid] DEFAULT (NEWID()),
    [ModifiedDate] [datetime] NOT NULL CONSTRAINT [DF_Address_ModifiedDate] DEFAULT (GETDATE())
) ON [PRIMARY];
GO

エラーが発生している箇所のデータを抜粋します。
6カラム目のPostalCodeがおかしいようには見えません。

1499）11785	1234, rue Ste-Honor	Saint-Denis	179	93400	E6100000010CE9EC9DA1C96E48405277197595AA0240	{0334F558-C1E9-4E19-8AB0-17E90039B1D5}	2013-12-21 10:09:29.423000000
1687）11973	8937 Two Bay Road		North Sydney	50	2055	E6100000010CDECDBAF628EC40C0A74435A3DDED6240	{B8D24683-8D7B-418B-9FB9-6DA2C0074535}	2014-06-07 00:00:00

試したこと

1499行目を削除すると1499行目に関するエラーが消えるため、この行のデータに問題があると推定しています。

補足情報（FW/ツールのバージョンなど）

SQL Server Express 2019
Windows10 Professional
SQL Server Management Studio 18

Answer 1

原因はSQL Server2019からBULK INSERTのCODEPAGEにRAWしか指定できないためでした。
以下のように変更することで正常終了しました。

PRINT '*** Loading Data';
GO

PRINT 'Loading [Person].[Address]';

BULK INSERT [Person].[Address] FROM '$(SqlSamplesSourceDataPath)Address.csv'
WITH (
    CHECK_CONSTRAINTS,
    --CODEPAGE='ACP',
    CODEPAGE='RAW',
    DATAFILETYPE = 'char',
    FIELDTERMINATOR= '\t',
    ROWTERMINATOR = '\n',
    KEEPIDENTITY,
    TABLOCK
);

CODEPAGE='ACP'をコメントアウト（デフォルトはOEM）してもエラーが解消しなかったのも納得です。RAW以外を指定していたからですね。
ほかのBULK INSERTのCODEPAGEはACPのままでもエラーにならないのは不思議ですが。

元のファイルのエンコードはLatin1でした。UTF-8でもeの上に点のところが文字化けしていたので。

DBに取り込まれた後の表示を確認してみたのですが、文字化けしたままでした。
これを本来の形で表示するためには表示アプリ側でLatin1の文字コード処理をする必要があると思います。

Answer 2

issueが上がってるからこれと同じだと思うけど

Database sample install [AdventureWorks]: Bulk load data conversion error #765

たぶんエンコードの問題で、ちゃんと調べてないけど元csvファイルはおそらくiso-8859-1（Latin-1）かな？

日本語環境でSQL Serverをセットアップした場合の既定の照合順序はJapanese_CI_ASとかだったと思うので、SQL_Latin1_General_CP1_CI_AS（だったと思うけど英語環境での既定の照合順序のやつ）とかに変更すると通るのかも。

上のissueあげてるのも中華圏の人っぽいので、質問者と同じ原因だと思う。

Comments

[gentaro]

もしくはcsvファイルのエンコードを片っ端からUTF-8とかに変更して回るとか。

[S.Nakagawa255]

仰る通り、クエリ：SELECT CONVERT (VARCHAR(50), DATABASEPROPERTYEX('AdventureWorks','collation'));
で確認したら「Japanese_CI_AS」でした。
英語環境の照合順序は「SQL_Latin1_General_CP1_CI_AS」、さすがです！
https://docs.microsoft.com/ja-jp/sql/relational-databases/collations/collation-and-unicode-support?view=sql-server-ver15#server-level-collations

残念ながら照合順序を設定しても変わりませんでした。。。
これらを調べている過程で、SQL Server 2019はBULK INSERTのCODEPAGEに「RAW」しか使えないことが分かり解決しました。

ありがとうございました。

[gentaro]

なるほど。そこは気づきませんでした。
調査のきっかけになったなら良かったです。

Answer 3

目に見えない全角文字が入っていませんか？