※未解決のまま、諦めて別の方法で対応しました。
今後のノウハウのため、大容量HDDでデータストア作成が出来ましたらコメントをお願いします。(2019/3/21追記)
6TBのHDDが使用できる方法があればお教えください。
以下を実施しましたが、ESXiを使用するとNGでした。
・ESXiへデータストアの追加
・仮想マシンへRDMとしてHDDを追加
・ESXiを使用しないでのHDDアクセス
それぞれ状況を記載します。
ESXiへデータストアの追加
6TBHDDを追加し、データストアを作成したところ、以下のエラーメッセージが表示されました。
VMFS データストア data の作成に失敗しました - 操作に失敗しました。診断レポート: Unable to create Filesystem, please see VMkernel log for more details: Failed to create VMFS on device t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1
VMkernel
12018-08-01T19:36:34.152Z cpu0:65557)NMP: nmp_ThrottleLogForDevice:3617: Cmd 0x2a (0x4395009e8100, 66704) to dev "t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4" on path "vmhba0:C0:T4:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense d$ 22018-08-01T19:36:34.152Z cpu0:65557)ScsiDeviceIO: 2962: Cmd(0x4395009e8100) 0x2a, CmdSN 0x8d from world 66704 to dev "t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x4 0x44 0x0. 32018-08-01T19:36:34.229Z cpu3:66704 opID=7d5e820e)LVM: 10306: LVMProbeDevice failed on (3699956800, t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1): Device does not contain a logical volume 42018-08-01T19:36:34.229Z cpu3:66704 opID=7d5e820e)FSS: 2295: Failed to create FS on dev [t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1] fs [data] type [vmfs3] fbSize 1048576 => I/O error
原因としては以下と同じようです。
新しいデータストアの作成が次のエラーで失敗する: ホストの構成中にエラーが発生しました (2007328) | VMware KB
しかし、こちらの環境ではVMFS5でもVMFS6でも同様のエラーとなり、作成ができません。
仕方ないので、仮想マシンに直接パススルーして、使用することを考えました。
仮想マシンへRDMとしてHDDを追加
ESXiのコンソールから以下のコマンドを実行し、RDMを作成しました。
vmkfstools -z /vmfs/devices/disks/t10.ATA_ST6000DM0032D2CY186______________________________WCT0L7V4 /vmfs/volumes/datasotre1/VM1/WCT0L7V4.vmdk
仮想マシンにUbuntu18.4をインストールし、RDMで追加したHDDをマウント。
partedにてファイルシステム作成
Model: ATA ST6000DM003-2CY1 (scsi)
Disk /dev/sdb: 6001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags:Number Start End Size File system Name Flags
1 1049kB 6001GB 6001GB ext4 Linux filesystem
フォーマット
hoge@hoge:~$ sudo mkfs.ext4 /dev/sdb1
mke2fs 1.44.1 (24-Mar-2018)
Creating filesystem with 1465130385 4k blocks and 183144448 inodes
Filesystem UUID: 7bce076f-3948-43ee-a41f-09586a0bafc7
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000, 214990848, 512000000, 550731776, 644972544Allocating group tables: done
Writing inode tables: done
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information: 44713/44713
syslog
1Aug 1 10:50:36 hoge kernel: [23196.936162] sd 2:0:1:0: [sdb] tag#0 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE 2Aug 1 10:50:36 hoge kernel: [23196.936174] sd 2:0:1:0: [sdb] tag#0 Sense Key : Hardware Error [current] 3Aug 1 10:50:36 hoge kernel: [23196.936177] sd 2:0:1:0: [sdb] tag#0 Add. Sense: Internal target failure 4Aug 1 10:50:36 hoge kernel: [23196.936180] sd 2:0:1:0: [sdb] tag#0 CDB: Write(16) 8a 00 00 00 00 00 00 00 1e e0 00 00 00 80 00 00 5Aug 1 10:50:36 hoge kernel: [23196.936182] print_req_error: critical target error, dev sdb, sector 7904 6Aug 1 10:50:36 hoge kernel: [23196.936430] Buffer I/O error on dev sdb1, logical block 5856, lost async page write 7Aug 1 10:50:36 hoge kernel: [23196.936679] Buffer I/O error on dev sdb1, logical block 5857, lost async page write 8Aug 1 10:50:36 hoge kernel: [23196.936928] Buffer I/O error on dev sdb1, logical block 5858, lost async page write 9(以下省略)
このようになり、フォーマットというより書き込みに失敗する状態です。
ESXiを使用しないでのHDDアクセス
ではHDDに異常があるのかと思い、ESXiを使用せず、直接Ubuntu18.4をインストール。
先ほどと同じ手順で行ったところ、正常にフォーマットが完了。mountも問題なし。
データの読み書きも正常であるのでHDDは問題ありませんでした。
疑問
これらのことからESXiに何らかの設定不備等があるように思えます。
ちなみに別のサーバで使用しているESXi6.5についてはFC接続のRAIDカードをPCIパススルーして36TBは使用できています。
違いとしてはPCIパススルーではなく、マザーボードのSATAから直接HDD接続しているだけです。PCIeは埋まっているため、HBAカードを追加してPCIパススルーを使うという方法は使えません。
どなたかお教えください。よろしくお願いします。
環境
CPU:Core i5-7500
マザーボード:B250 Mining Expart
起動ドライブ:INTEL SSDSC2KW25
データドライブ:Seagate ST6000DM003-2CY1
8/3 17時追記
下記URLに物理セクタ、論理セクタの対応について記載されていました。
FAQ: Support statement for 512e and 4K Native drives for VMware vSphere and vSAN (2091600)
4Kセクタ対応はESXi6.7からとの記載がありましたので、ESXi6.7をインストールし直しました。
しかし、結果としては変わらず。また手動によるデータストア作成を試みました。
[root@localhost:~] partedUtil getptbl /dev/disks/t10.ATA_____ST6000DM0032D2CY186 __________________________________WCT0L7V4 gpt 729601 255 63 11721045168 [root@localhost:~] partedUtil setptbl /dev/disks/t10.ATA_____ST6000DM0032D2CY186_______________ ___________________WCT0L7V4 gpt "1 2048 11721041920 AA31E02A400F11DB9590000C2911D1B8 0" gpt 0 0 0 0 1 2048 11721041920 AA31E02A400F11DB9590000C2911D1B8 0 [root@localhost:~] vmkfstools -C vmfs6 -S data1 /dev/disks/t10.ATA_____ST6000DM0032D2CY186_____ _____________________________WCT0L7V4:1 create fs deviceName:'/dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1', fsShortName:'vmfs6', fsName:'data1' deviceFullPath:/dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1 deviceFile:t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1 ATS on device /dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1: not supported . Checking if remote hosts are using this device as a valid file system. This may take a few seconds... Creating vmfs6 file system on "t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1" with blockSize 1048576, unmapGranularity 1048576, unmapPriority default and volume label "data1". Failed to create VMFS on device t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1 Usage: vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/vml... or, vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/naa... or, vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/mpx.vmhbaA:T:L:P Error: Unable to access device, please check your connection to the device.
パーティションクリアの状態でディスク情報を取得してもセクタ数が正しくないように思えます。
このため、間違ったセクタサイズでフォーマットし、失敗しているのではないかと考えられます。