楽天ひかりでルーター２つ使用してDS-LiteとPPPoEを併用する設定をしたがアクセスできたりできなかったりする

Question

Raspberry Pi4をファイルサーバーとして使用しようと設定を頑張っております。
ローカル環境のファイルサーバーとしては使えるようになったのですが、外部からアクセスできたら便利だなと思いVPNの設定をしようとしております。

色々と調べたところ楽天ひかりのDS-Lite方式ではポート転送ができないので、DS-LiteとPPPoEを併用しないといけないということがわかり、ルーターを二つ使用し以下のような構成にしました。

以下のサイトを参考に設定をしました。

v6プラスとIPv4(PPPoE)を併用する（その1）

楽天ひかりのIPv6を使いながら、ポート転送をする

使用機器

IPv6ルーター
バッファロー
WSR-3200AX4S-WH
192.168.11.1（固定）
PPPoEパススルーON

PPPoEルーター
バッファロー
WSR-1166DHP3-WH
192.168.11.11（固定）
楽天ひかりのPPPoE設定済み
SSH22のポート転送設定

v6プラスとIPv4(PPPoE)を併用する（その1）

http://dotsukareta.blogspot.com/2017/04/v6ipv4pppoe.html

※補足：Buffalo製ルーターを2台目として追加する場合

　Buffalo製のルーターはWAN側とLAN側のMACアドレスが共通のモデルが多いため、PPPoE接続用に2台目のルータとして追加しても、うまく動作しない場合があります。
この問題は、追加するBuffalo製ルーターのWAN側MACアドレスを変更することで回避できます。

こちらにかいてある通りWAN側のMACアドレスを変更しております。

RaspberryPi4
192.168.11.10（固定）
デフォルトゲートウェイを192.168.11.11に設定

pi@raspberrypi:~ $ cat /etc/debian_version 
10.9
pi@raspberrypi:~ $ lsb_release -a
No LSB modules are available.
Distributor ID:	Raspbian
Description:	Raspbian GNU/Linux 10 (buster)
Release:	10
Codename:	buster

クライアント
MacBook Pro (13-inch, 2018, Four Thunderbolt 3 Ports)
iphone12miniなど

困っていること

以上のような設定をしてローカルでSSHで接続し操作しようとすると、接続できる時はできるのですが、
接続できなかったり（下記のところで止まりタイムアウトになる）

ssh user@192.168.11.10 -vvv          
OpenSSH_8.1p1, LibreSSL 2.7.3
debug1: Reading configuration data /Users/{user}/.ssh/config
debug1: /Users/{user}/.ssh/config line 1: Applying options for *
debug1: /Users/{user}/.ssh/config line 92: Applying options for raspberrypi
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 47: Applying options for *
debug2: resolve_canonicalize: hostname 192.168.11.10 is address
debug2: ssh_connect_direct
debug1: Connecting to 192.168.11.10 [192.168.11.10] port 22.
debug1: connect to address 192.168.11.10 port 22: Operation timed out
ssh: connect to host 192.168.11.10 port 22: Operation timed out

途中で固まっってしまって client_loop: send disconnect: Broken pipeになってしまったりします。

また不思議なことに以下のようにraspberrypi.localを指定してしてあげると、接続に少し時間はかかりますが、以下のようにしばらく問題なくSSH接続ができるようになります。

一度raspberrypi.localでSSH接続した後はuser@192.168.11.10のようにipを指定した場合でもSSH接続できるようになります。

色々と調べましたが、ネットワークの知識が乏しくお手上げ状態です。
問題解決の糸口だけでもわかればと思っております。
もし何かアドバイスなどありましたら教えていただけるととても助かります。
何卒よろしくお願いします。

Comments

[mather]

ルーター同士が2本のケーブルで繋がってるのはなぜですか…？

[bws]

ありがとうございます。
下記リンクを参考に設定してみました。

http://dotsukareta.blogspot.com/2017/04/v6ipv4pppoe.html
[応用編]ネットワークを混ぜてみる
今回追加したルーターのLANポートと、v6プラス用のLANポートを接続すれば、同じネットワーク上でどちらの接続先も利用できるようになります。

[mather]

ふむ…。ものは試しで、LAN側同士をつなぐ1本を外してみてはどうでしょうか？

[bws]

ありがとうございます。
LANとLANで繋がっているケーブルを外してみたところ、接続できなくなりました。
２台目のルーターのipを192.168.11.11で固定しているのと、デフォルトゲートウェイも192.168.11.11で設定していたりと大幅な設定変更が必要な感じがしております。

[Crimson_Tide]

ローカルからの接続とはLAN内のPCからということであっていますか？
合っている前提で、接続不可時にPCでarp -a と 192.168.11.10へのtraceroute(windowsだとtracert 192.168.11.10)の実行結果、raspberrypi.localで指定し接続できた後のarp -a と192.168.11.10へのtracerouteの実行結果をそれぞれ教えていただけますか。

[Crimson_Tide]

PPPoEルーターのデフォルトゲートウェイを自身のIPアドレスに設定しているのは何故でしょうか？
本件で問題になっているローカルでの接続においては関係ないように思われますが、外部から接続する際にはPPPoEでプロバイダーから付与されたゲートウェイに指定しないと外部と通信できないのではないかと想像します。

[bws]

ありがとうございます。仰る通りLAN内のPCからの接続です。
192.168.11.10 からでは接続不可、raspberrypi.localからではSSH接続可能でした。（すぐに固まりタイムアウトになりますが）

【クライアントPCから】macbookpro
接続できる時の「arp -a」
? (192.168.11.1) at c4:3c:ea:6c:dd:b0 on en0 ifscope [ethernet]
? (192.168.11.4) at c8:6c:3d:11:3f:a1 on en0 ifscope [ethernet]
? (192.168.11.7) at e4:5f:1:46:f4:b0 on en0 ifscope [ethernet]
? (192.168.11.9) at ce:fc:20:ba:30:29 on en0 ifscope [ethernet]
? (192.168.11.10) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
? (192.168.11.12) at 8e:1b:50:60:bb:b on en0 ifscope [ethernet]
? (192.168.11.14) at 2a:98:6:f1:1c:32 on en0 ifscope [ethernet]
? (192.168.11.15) at 3c:22:fb:6:f8:9d on en0 ifscope [ethernet]
? (192.168.11.50) at dc:f5:5:85:9a:46 on en0 ifscope [ethernet]
? (192.168.11.255) at ff:ff:ff:ff:ff:ff on en0 ifscope [ethernet]
? (224.0.0.251) at 1:0:5e:0:0:fb on en0 ifscope permanent [ethernet]
? (239.255.255.250) at 1:0:5e:7f:ff:fa on en0 ifscope permanent [ethernet]
broadcasthost (255.255.255.255) at ff:ff:ff:ff:ff:ff on en0 ifscope [ethernet]

接続できない時の「arp -a」
? (192.168.11.1) at c4:3c:ea:6c:dd:b0 on en0 ifscope [ethernet]
? (192.168.11.4) at c8:6c:3d:11:3f:a1 on en0 ifscope [ethernet]
? (192.168.11.7) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
? (192.168.11.9) at ce:fc:20:ba:30:29 on en0 ifscope [ethernet]
? (192.168.11.10) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
? (192.168.11.11) at (incomplete) on en0 ifscope [ethernet]
? (192.168.11.12) at 8e:1b:50:60:bb:b on en0 ifscope [ethernet]
? (192.168.11.14) at 2a:98:6:f1:1c:32 on en0 ifscope [ethernet]
? (192.168.11.15) at 3c:22:fb:6:f8:9d on en0 ifscope [ethernet]
? (192.168.11.50) at dc:f5:5:85:9a:46 on en0 ifscope [ethernet]
? (192.168.11.255) at ff:ff:ff:ff:ff:ff on en0 ifscope [ethernet]
? (224.0.0.251) at 1:0:5e:0:0:fb on en0 ifscope permanent [ethernet]
? (239.255.255.250) at 1:0:5e:7f:ff:fa on en0 ifscope permanent [ethernet]
broadcasthost (255.255.255.255) at ff:ff:ff:ff:ff:ff on en0 ifscope [ethernet]

arp -aをしたときにルーター(192.168.11.11)が存在しない時は成功して、存在している時は失敗しているようです。

tracerouteは接続できる出来に関係なく以下のような結果でした
traceroute 192.168.11.10
traceroute to 192.168.11.10 (192.168.11.10), 64 hops max, 52 byte packets
1 * * *
2 * * *
3 * * *
4 * * *
5 * * *
6 * * *
7 * * *
8 * * *
9 * * *
10 * * *
11 * * *

[bws]

ちなみにクライアントのipアドレスは「192.168.11.5」です。

すみません、タイミング悪くSSH接続できなくなってしまったので、raspberrypi本体から直接コマンドを打ち込んだ結果を書かせていただきます。

arp -a
? (192.168.11.11) at <incomplete> on eth0
? (192.168.11.15) at 3c:22:fb:6:f8:9d [ether] on eth0
? (192.168.11.5) at f0:10:90:07:65:ac on [ether] on wlan0
? (192.168.11.15) at <incomplete> on wlan0
? (192.168.11.5) at f0:10:90:07:65:ac on [ether] on eth0

traceroute 192.168.11.10
traceroute to 192.168.11.10 (192.168.11.10), 30 hops max, 60 byte packets
1 192.168.11.10(192.168.11.10) 3.011 mx 2.8039 ms 2.701 ms

[bws]

申し訳ありませんでした、デフォルトゲートウェイの設定はPPPoEルーターではなくraspberrypiの設定でした。修正させていただきました。

[Crimson_Tide]

? (192.168.11.7) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
? (192.168.11.10) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
接続できない時のarpに11.10と同じMACアドレスのデバイスがありますね。
接続できるときは別のMACアドレスになっているも解せません。
(192.168.11.7)は何者ですか？

[bws]

ありがとうございます。macアドレスが重複していることに気が付きませんでした。

接続できるときの
(192.168.11.7) at e4:5f:1:46:f4:b0 on en0 ifscope [ethernet]
「e4:5f:1:46:f4:b0」がraspberrypiのwlan0のmacアドレスでした。

? (192.168.11.7) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
? (192.168.11.10) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
「e4:5f:1:46:f4:af」はraspberrypiのeth0のmacアドレスでした。

[thkana]

「プログラミングに関係のない質問」ですね。低評価はしませんが。

[Crimson_Tide]

NetworkManagerをインストールされていますか？
インストールされているとデフォルトでプライバシー保護のため、リブートするたびに無線LANのMACアドレスが変更されるようです。
試しに以下リンクを参考に無線LANのMACアドレスを固定して再起動し動作確認してみていただけますか。
https://akkiesoft.hatenablog.jp/entry/20170830/1504020362
https://shonen.hateblo.jp/entry/2019/11/08/015327
また、
ss -tn | grep :22 コマンドと
ss -tln4 | grep :22 コマンドを
接続不可時 raspberrypi.local接続時 user@192.168.11.10 接続時でそれぞれ試してもらえるでしょうか
(参考)http://devlife.blog.jp/archives/54778281.html

[bws]

ありがとうございます。
NetworkManagerはインストールされていませんでした。
どちらで接続した場合も以下のようになりました。（クライアントのipが192.168.11.22に変わっています）

接続の状況ですがどんどん変わるので、それぞれで確認は出来ませんでしたが接続不可時、不安定時は以下のように
ss -tn | grep :22
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55835
ss -tln4 | grep :22
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*

接続が安定している時は以下のようになりました。
ss -tln4 | grep :22
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
ss -tn | grep :22
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55868
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55835

[bws]

安定している時は以下のように「:55835」→「:55981」と変化しました。

raspberrypi.localでログインした場合
ss -tn | grep :22
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55868
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55835

192.168.11.10でログインした場合
ss -tn | grep :22
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55835
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55981

[bws]

接続できなくなって、再度接続できるようになるとどんどん増えていくみたいです。
ss -tn | grep :22
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55835
ESTAB 0 0 192.168.11.10:22 192.168.11.22:56082
ESTAB 0 0 192.168.11.10:22 192.168.11.22:55981

[Crimson_Tide]

※回答しやすいように番号を付与しました

１) 大前提ですが、IPv6ルーター配下にPCとRaspberryPiを繋げたときはIPアドレスで問題なく接続できますか？
色々試して頂いて申し訳ないですが、切り分けとして以下を試していただけますか
2) PPPoEルーターのWANケーブルを抜いた場合
3) 無線LANを無効にした場合(WiFIルーター(IPv6ルーター？？)の無線を無効にするか、Raspberry Piの無線を無効にするかですが、前者のほうが楽かと思います)
で現象が変わるか確認してみて頂けますか。
4) DHCPサーバー(IPv6ルーター？)の設定で192.168.11.10は払い出ししないように設定されていますか？
5) PCからRaspberryPiに対してpingは返ってきますか？(icmpをフィルタリングなどで拒否していないか)
6) RaspberryPiの無線LANは固定ですか？DHCPで割り当てでしょうか？
7) 繋がらないとき、繋がっているときRaspberryPi上でifconfigを実行してwlan0 の HWaddr(MACアドレス) 部分を確認してください。 またそれぞれの時でPCから再度arp -a を実行して、wlan0とeth0のMACアドレスを確認してください。(先の検証では繋がらないとき MACアドレスが重複していた現象をRaspberryPi側、PC側双方で確認するためです)

[bws]

とんでもありません。ありがとうございます。

あれから再度RaspberryPiの再インストール、二つのルーターの初期化をして再設定しなおしましたが同じ状況になりました。
ただraspberrypiのwifiを最初からOFFにしているためかmacアドレスが重複することがなくなったのと、接続できることが本当に稀になりました。基本はssh: Operation timed outになってしまいます。

１) 大前提ですが、IPv6ルーター配下にPCとRaspberryPiを繋げたときはIPアドレスで問題なく接続できますか？
IPv6ルーター配下にRaspberryPiを繋げた場合は全く問題なくSSH接続できます。速度もものすごく早く、固まることもありません。

2) PPPoEルーターのWANケーブルを抜いた場合
PPPoEルーターのWAN側のケーブルを抜いても問題なくSSH接続できました。

3) 無線LANを無効にした場合(WiFIルーター(IPv6ルーター？？)の無線を無効にするか、Raspberry Piの無線を無効にするかですが、前者のほうが楽かと思います)
で現象が変わるか確認してみて頂けますか。
再設定した時に、RaspberryPiの無線を無効にしましたが現象は変わりませんでした。

4 ) DHCPサーバー(IPv6ルーター？)の設定で192.168.11.10は払い出ししないように設定されていますか？
最初は設定してなかったのですが、これが原因かと思いIPv6ルーターでipとraspberryPiのmacアドレスを設定して払出されないように設定しましたが変わりませんでした。

5　) PCからRaspberryPiに対してpingは返ってきますか？(icmpをフィルタリングなどで拒否していないか)
SSHで接続できる時だけpingが返ってきます。

6　) RaspberryPiの無線LANは固定ですか？DHCPで割り当てでしょうか？
RaspberryPiの無線LANはDHCPで割り当てられていましたが、再セットアップした際に無効にしてあります。

7) 繋がらないとき、繋がっているときRaspberryPi上でifconfigを実行してwlan0 の HWaddr(MACアドレス) 部分を確認してください。 またそれぞれの時でPCから再度arp -a を実行して、wlan0とeth0のMACアドレスを確認してください。(先の検証では繋がらないとき MACアドレスが重複していた現象をRaspberryPi側、PC側双方で確認するためです)

繋がっている時
wlan0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
ether e4:5f:01:46:f4:b0 txqueuelen 1000 (イーサネット)
arp -a
? (192.168.11.1) at <不完全> on eth0
? (192.168.11.2) at dc:f5:05:85:9a:46 [ether] on eth0
? (192.168.11.22) at f0:18:98:07:65:ac [ether] on eth0
? (192.168.11.11) at 60:84:bd:ea:d4:70 [ether] on eth0

繋がっていない時
wlan0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
ether e4:5f:01:46:f4:b0 txqueuelen 1000 (イーサネット)

arp -a
? (192.168.11.1) at c4:3c:ea:6c:dd:b0 [ether] on eth0
? (192.168.11.2) at dc:f5:5:85:9a:46 [ether] on eth0
? (192.168.11.22) at f0:18:98:07:65:ac [ether] on eth0
? (192.168.11.11) at 60:84:bd:ea:d4:70 [ether] on eth0

[Crimson_Tide]

> 2) PPPoEルーターのWANケーブルを抜いた場合
> PPPoEルーターのWAN側のケーブルを抜いても問題なくSSH接続できました。

これは、WAN側のケーブルを抜けば、繋がらないことは一切なく、またraspberrypi.localで一度接続をする作業をしていなくてもuser@192.168.11.10で常に接続可能だったということでしょうか。
この状態で、MACからping 、traceroute、 arp -a を実行してみていただけますか。

それと別途スイッチングハブをお持ちではないでしょうか？

[bws]

ありがとうございます。
WAN側を抜くと嘘みたいに改善します。
raspberrypi.localをしなくてもuser@192.168.11.10で常に接続可能です。
すみません、スイッチングハブは持っていません。ルーターの前にスイッチングハブを繋ぐ方法もあるみたいなので試しては見たいのですが・・・

ping 192.168.11.10
PING 192.168.11.10 (192.168.11.10): 56 data bytes
64 bytes from 192.168.11.10: icmp_seq=0 ttl=64 time=1.638 ms
64 bytes from 192.168.11.10: icmp_seq=1 ttl=64 time=7.942 ms
64 bytes from 192.168.11.10: icmp_seq=2 ttl=64 time=2.158 ms
・・・

traceroute 192.168.11.10
traceroute to 192.168.11.10 (192.168.11.10), 64 hops max, 52 byte packets
1 192.168.11.10 (192.168.11.10) 8.340 ms 1.435 ms 1.595 ms

arp -a
? (192.168.11.1) at c4:3c:ea:6c:dd:b0 on en0 ifscope [ethernet]
? (192.168.11.10) at e4:5f:1:46:f4:af on en0 ifscope [ethernet]
? (192.168.11.11) at 60:84:bd:ea:d4:70 on en0 ifscope [ethernet]
? (192.168.11.23) at c8:6c:3d:11:3f:a1 on en0 ifscope [ethernet]
? (192.168.11.26) at 8e:1b:50:60:bb:b on en0 ifscope [ethernet]
? (192.168.11.28) at ce:fc:20:ba:30:29 on en0 ifscope [ethernet]
? (192.168.11.30) at 2a:98:6:f1:1c:32 on en0 ifscope [ethernet]
? (192.168.11.31) at a2:43:49:2e:ac:49 on en0 ifscope [ethernet]
? (192.168.11.255) at ff:ff:ff:ff:ff:ff on en0 ifscope [ethernet]
? (224.0.0.251) at 1:0:5e:0:0:fb on en0 ifscope permanent [ethernet]
? (239.255.255.250) at 1:0:5e:7f:ff:fa on en0 ifscope permanent [ethernet]
broadcasthost (255.255.255.255) at ff:ff:ff:ff:ff:ff on en0 ifscope [ethernet]

[Crimson_Tide]

そうですねモデム配下にスイッチをかませられたらと思ったのですが・・・
８）PPPoEルーターのINTERNET側に設定したMACアドレスを教えてください。
９）PPPoEルーターのINTERNET側IPアドレスが192.168.11.xxになって"いない"ことを確認してください。
もし192.168.11.xxになっている場合はIPアドレスを教えてください。
１０）現状PPPoEの接続は確立されていますか？

１１）参考にされているサイトに記載のある
・追加ルーターのIPv6パススルーはOFFにすること（IPv6をブリッジしない）
は実施済みでしょうか

[Crimson_Tide]

12)raspberrypiを IPv6ルーター配下に常時設置することは可能ですか？例えばIPv6ルーターのLANの口は現状他の機器で埋まっているから不可能などといったことがあるでしょうか

[bws]

ありがとうございます。
先ほどスイッチングハブを購入したので、届いたら試してみたいと思います。
以下確認してみました。

８）PPPoEルーターのINTERNET側に設定したMACアドレスを教えてください。
60:84:BD:EA:D4:71

９）PPPoEルーターのINTERNET側IPアドレスが192.168.11.xxになって"いない"ことを確認してください。
もし192.168.11.xxになっている場合はIPアドレスを教えてください。
グローバルipになっていました。

１０）現状PPPoEの接続は確立されていますか？
PPPoEのルーターに接続してもインターネットアクセスが可能です。

１１）参考にされているサイトに記載のある
・追加ルーターのIPv6パススルーはOFFにすること（IPv6をブリッジしない）
は実施済みでしょうか
PPPoE接続設定をするとIPv6の設定項目が消えるようになっているのでおそらくOFFになっていると考えられます。

12)raspberrypiを IPv6ルーター配下に常時設置することは可能ですか？例えばIPv6ルーターのLANの口は現状他の機器で埋まっているから不可能などといったことがあるでしょうか
ポートは余っているのでIPv6ルーター配下でも可能です。

[Crimson_Tide]

確認ありがとうございます。
12) の方法で運用可能ではないかと推測します。
raspberrypiを IPv6ルーター配下に設置し、raspberrypiから192.168.11.11にpingが通るか確認してください。
本来の運用目的である外からのSSH接続が可能か確認してみてください。

[Crimson_Tide]

念のためですが、DHCPサーバー(IPv6ルーター？)で60:84:BD:EA:D4:71に対してIPアドレスをリースして"いない"ことを確認してください。

[bws]

色々とありがとうございました。
IPv6ルーター配下に設置して、外側からSSH接続しようとしたのですが、最初の一回目だけアクセスできそれ以降はタイムアウトになってしまってアクセスできませんでした。

先ほど購入したスイッチングハブをルーター前に接続したところ、無事にローカルからも外側からもSSH接続することができました。色々とアドバイスをいただいて本当にありがとうございました。
もしお手間でなければ簡単に回答していただければベストアンサーにさせていただきますのでよろしくお願いいたします。

[Crimson_Tide]

解決できる回答を提示できませんでしたので、回答は控えます。
是非自己解決としてください。
原因が特定できればよかったのですが、色々試して頂いたにも関わらず解決に至らず申し訳ないです。

Answer 1

ルーターの前にスイッチングハブを追加する方式に変更することで解決しました。

【参考記事】
IPv6とIPv4を共存させ同時接続する方法
https://www.archlinux.site/2018/12/ipv6ipv4.html