質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

89.21%

ESXi6.5にて大容量HDDが使用できない

受付中

回答 3

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 7,814

rin7n

score 6

※未解決のまま、諦めて別の方法で対応しました。
今後のノウハウのため、大容量HDDでデータストア作成が出来ましたらコメントをお願いします。(2019/3/21追記)


6TBのHDDが使用できる方法があればお教えください。

以下を実施しましたが、ESXiを使用するとNGでした。
・ESXiへデータストアの追加
・仮想マシンへRDMとしてHDDを追加
・ESXiを使用しないでのHDDアクセス

それぞれ状況を記載します。

ESXiへデータストアの追加

6TBHDDを追加し、データストアを作成したところ、以下のエラーメッセージが表示されました。

VMFS データストア data の作成に失敗しました - 操作に失敗しました。診断レポート: Unable to create Filesystem, please see VMkernel log for more details: Failed to create VMFS on device t10.ATA_ST6000DM0032D2CY186______________________________WCT0L7V4:1

2018-08-01T19:36:34.152Z cpu0:65557)NMP: nmp_ThrottleLogForDevice:3617: Cmd 0x2a (0x4395009e8100, 66704) to dev "t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4" on path "vmhba0:C0:T4:L0" Failed: H:0x0 D:0x2 P:0x0 Valid sense d$
2018-08-01T19:36:34.152Z cpu0:65557)ScsiDeviceIO: 2962: Cmd(0x4395009e8100) 0x2a, CmdSN 0x8d from world 66704 to dev "t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0x4 0x44 0x0.
2018-08-01T19:36:34.229Z cpu3:66704 opID=7d5e820e)LVM: 10306: LVMProbeDevice failed on (3699956800, t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1): Device does not contain a logical volume
2018-08-01T19:36:34.229Z cpu3:66704 opID=7d5e820e)FSS: 2295: Failed to create FS on dev [t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1] fs [data] type [vmfs3] fbSize 1048576 => I/O error


原因としては以下と同じようです。
新しいデータストアの作成が次のエラーで失敗する: ホストの構成中にエラーが発生しました (2007328) | VMware KB
しかし、こちらの環境ではVMFS5でもVMFS6でも同様のエラーとなり、作成ができません。

仕方ないので、仮想マシンに直接パススルーして、使用することを考えました。

仮想マシンへRDMとしてHDDを追加

ESXiのコンソールから以下のコマンドを実行し、RDMを作成しました。

vmkfstools -z /vmfs/devices/disks/t10.ATA_ST6000DM0032D2CY186__________________________WCT0L7V4 /vmfs/volumes/datasotre1/VM1/WCT0L7V4.vmdk

仮想マシンにUbuntu18.4をインストールし、RDMで追加したHDDをマウント。
partedにてファイルシステム作成

Model: ATA ST6000DM003-2CY1 (scsi)
Disk /dev/sdb: 6001GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start   End     Size    File system  Name              Flags
 1      1049kB  6001GB  6001GB  ext4         Linux filesystem

フォーマット

hoge@hoge:~$ sudo mkfs.ext4 /dev/sdb1
mke2fs 1.44.1 (24-Mar-2018)
Creating filesystem with 1465130385 4k blocks and 183144448 inodes
Filesystem UUID: 7bce076f-3948-43ee-a41f-09586a0bafc7
Superblock backups stored on blocks: 
    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
    4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
    102400000, 214990848, 512000000, 550731776, 644972544

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information:   44713/44713

Aug  1 10:50:36 hoge kernel: [23196.936162] sd 2:0:1:0: [sdb] tag#0 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
Aug  1 10:50:36 hoge kernel: [23196.936174] sd 2:0:1:0: [sdb] tag#0 Sense Key : Hardware Error [current] 
Aug  1 10:50:36 hoge kernel: [23196.936177] sd 2:0:1:0: [sdb] tag#0 Add. Sense: Internal target failure
Aug  1 10:50:36 hoge kernel: [23196.936180] sd 2:0:1:0: [sdb] tag#0 CDB: Write(16) 8a 00 00 00 00 00 00 00 1e e0 00 00 00 80 00 00
Aug  1 10:50:36 hoge kernel: [23196.936182] print_req_error: critical target error, dev sdb, sector 7904
Aug  1 10:50:36 hoge kernel: [23196.936430] Buffer I/O error on dev sdb1, logical block 5856, lost async page write
Aug  1 10:50:36 hoge kernel: [23196.936679] Buffer I/O error on dev sdb1, logical block 5857, lost async page write
Aug  1 10:50:36 hoge kernel: [23196.936928] Buffer I/O error on dev sdb1, logical block 5858, lost async page write
(以下省略)

このようになり、フォーマットというより書き込みに失敗する状態です。

ESXiを使用しないでのHDDアクセス

ではHDDに異常があるのかと思い、ESXiを使用せず、直接Ubuntu18.4をインストール。
先ほどと同じ手順で行ったところ、正常にフォーマットが完了。mountも問題なし。
データの読み書きも正常であるのでHDDは問題ありませんでした。

疑問

これらのことからESXiに何らかの設定不備等があるように思えます。
ちなみに別のサーバで使用しているESXi6.5についてはFC接続のRAIDカードをPCIパススルーして36TBは使用できています。

違いとしてはPCIパススルーではなく、マザーボードのSATAから直接HDD接続しているだけです。PCIeは埋まっているため、HBAカードを追加してPCIパススルーを使うという方法は使えません。
どなたかお教えください。よろしくお願いします。

環境

CPU:Core i5-7500
マザーボード:B250 Mining Expart
起動ドライブ:INTEL SSDSC2KW25
データドライブ:Seagate ST6000DM003-2CY1

8/3 17時追記

下記URLに物理セクタ、論理セクタの対応について記載されていました。
FAQ: Support statement for 512e and 4K Native drives for VMware vSphere and vSAN (2091600)

4Kセクタ対応はESXi6.7からとの記載がありましたので、ESXi6.7をインストールし直しました。
しかし、結果としては変わらず。また手動によるデータストア作成を試みました。

[root@localhost:~] partedUtil getptbl /dev/disks/t10.ATA_____ST6000DM0032D2CY186
__________________________________WCT0L7V4
gpt
729601 255 63 11721045168
[root@localhost:~] partedUtil setptbl /dev/disks/t10.ATA_____ST6000DM0032D2CY186_______________
___________________WCT0L7V4 gpt "1 2048 11721041920 AA31E02A400F11DB9590000C2911D1B8 0"
gpt
0 0 0 0
1 2048 11721041920 AA31E02A400F11DB9590000C2911D1B8 0
[root@localhost:~] vmkfstools -C vmfs6 -S data1 /dev/disks/t10.ATA_____ST6000DM0032D2CY186_____
_____________________________WCT0L7V4:1
create fs deviceName:'/dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1', fsShortName:'vmfs6', fsName:'data1'
deviceFullPath:/dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1 deviceFile:t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1
ATS on device /dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1: not supported
.
Checking if remote hosts are using this device as a valid file system. This may take a few seconds...
Creating vmfs6 file system on "t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1" with blockSize 1048576, unmapGranularity 1048576, unmapPriority default and volume label "data1".
Failed to create VMFS on device t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1
Usage: vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/vml... or,
vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/naa... or,
vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/mpx.vmhbaA:T:L:P
Error: Unable to access device, please check your connection to the device.


パーティションクリアの状態でディスク情報を取得してもセクタ数が正しくないように思えます。
このため、間違ったセクタサイズでフォーマットし、失敗しているのではないかと考えられます。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • over

    2018/08/03 09:01

    vmfs3 でフォーマットしているように見受けられますが、その場合、それより上位のファイルシステムタイプは選択できないのでしょうか?vmfs3は2TBの制限があるような・・・

    キャンセル

  • rin7n

    2018/08/03 17:08 編集

    ご回答ありがとうございます。確かにログ上はvmfs3となっております。
    ESXi5ではデータストア作成時にVMFS5またはVMFS6の選択しかありません。
    また、別件の回答にも記載いたしましたが、コマンド入力をしてVMFS6を指定して実施しました。

    しかし同様のエラーとなるため、VMFSのバージョンではなく他の設定方法に問題があるのかと思っております。

    キャンセル

  • over

    2018/08/03 17:19

    そうですか・・・。であるとお力になれそうにありません。すいません。

    キャンセル

回答 3

+1

ESXi6.7でSATAHDD2TBがDatastoreにできずここにたどり着きました。
解決しているかもしれませんが、こちらに解消したという書き込みがありました。

https://communities.vmware.com/thread/563833
esxcli system module set --enabled=false --module=vmw_ahci

NativeAHCIドライバを無効にして再起動、らしいです。

2TBHDDにWebGUIからDatastoreが作成できました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2019/03/21 21:00

    回答ありがとうございます。
    現在、PCIeのRAIDカードでPCIパススルーする方法を取り、ファイルサーバのVMを立ち上げて回避しています(PCIeが1スロット潰れるわエンクロージャで場所とるわで、最善ではないですが……)

    上記の方法で解決するかは確認できませんが、2TBのHDDではデータストアの作成ができていました。
    もし、2TBを超えるHDDでデータストアの作成が出来れば可能性はありそうです。

    キャンセル

0

下記FAQにある制限に相当すると思われます。

FAQ: Support statement for 512e and 4K Native drives for VMware vSphere and vSAN (2091600)
上記の日本語訳だが、少し古い内容

FC接続などではなくSATAやSAS等の直接接続の場合、ESXi 6.5までは4KN HDD(つまりは2TBを超えるHDD)はサポートしておらず、ESXi 6.7からサポートしたと書いてあります。ESXi 6.7へアップデートしてみてください。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/08/02 23:22 編集

    回答いただきありがとうございます。
    確かに6.7から4KNのHDDに対応したと記載があり、VMFS6が必須とあります。
    併せて4KNのRDMは対応していないという記載もありました。

    そこでESXi 6.7をインストールいたしました。
    アップデートの場合だと古いドライバが悪さをすると思い、新規インストールを行いました。

    結果としては6.5と全く同じエラーが発生し、データストアの作成に失敗しました。
    RDMについては未サポートと明記されていますが、ダメ元で試しましたがやはり同じエラーが発生します。

    ちなみにデータストアの作成は、必ず「パーティションテーブルをクリア」を実行してから新規作成しています。

    上記でダメだったのでESXiのコンソールから直接データストア作成のコマンドを実行しましたが、やはりエラーが発生しています。

    以下、実行ログ
    [root@localhost:~] partedUtil setptbl /dev/disks/t10.ATA_____ST6000DM0032D2CY186_______________
    ___________________WCT0L7V4 gpt "1 2048 11721041920 AA31E02A400F11DB9590000C2911D1B8 0"
    gpt
    0 0 0 0
    1 2048 11721041920 AA31E02A400F11DB9590000C2911D1B8 0
    [root@localhost:~] vmkfstools -C vmfs6 -S data1 /dev/disks/t10.ATA_____ST6000DM0032D2CY186_____
    _____________________________WCT0L7V4:1
    create fs deviceName:'/dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1', fsShortName:'vmfs6', fsName:'data1'
    deviceFullPath:/dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1 deviceFile:t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1
    ATS on device /dev/disks/t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1: not supported
    .
    Checking if remote hosts are using this device as a valid file system. This may take a few seconds...
    Creating vmfs6 file system on "t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1" with blockSize 1048576, unmapGranularity 1048576, unmapPriority default and volume label "data1".
    Failed to create VMFS on device t10.ATA_____ST6000DM0032D2CY186__________________________________WCT0L7V4:1
    Usage: vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/vml... or,
    vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/naa... or,
    vmkfstools -C [vmfs5|vmfs6|vfat] /vmfs/devices/disks/mpx.vmhbaA:T:L:P
    Error: Unable to access device, please check your connection to the device.

    すみませんが引き続き、ご回答をよろしくお願い致します。

    キャンセル

  • 2018/08/02 23:44

    うーん、こうなるとわかりませんね。あと考えられるのはマザボの不具合ぐらいでしょうか。新しいファームウェアが出ていないか見てみてください。ESXiへ直接接続で大容量のHDDを詰んでいる事例もみつけられなかったので、6.7でも駄目なのかも知れません。もし、6TBぐらいのHDDが手に入ったら、私も試そうとは思います。

    キャンセル

0

コントローラは何を使っていますか?

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 89.21%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる