DN42とは

ルータの実験等のために作られた仮想NW(オーバレイネットワーク)のこと

公式ホーム

wiki紹介

公式

github

まあ正直、FRRとかって実際のインターネットではなかなか触る機会ないよね。 なんで、wireguardとかopenvpnとかで仮想ネットワーク作ってそこでFRRとか動かそうよって話だよな。 と言うことで勉強のためにDN42に参加しよう。実際にASも取得して見ちゃおうよ。楽しそうね。

色々メモ

コレをみると、どうやらDN42のNWレンジが決まっていそうだぞ。

full dn42 ranges (172.20.0.0/14, fd00::/8)

172.20.0.14ということは、ホスト部が32-14=18bitなので、2^18つまり、262144このIPがこのネットワークには存在していそうだ。 すでにどこまで割り当てられているのだろう。調べたい。

それっぽい

dn42 is a large, dynamic VPN that employs Internet technologies (BGP, whois database, DNS, etc.). Participants connect to each other using network tunnels (GRE, OpenVPN, WireGuard, Tinc, IPsec) and exchange routes using the Border Gateway Protocol. Network addresses are assigned in the 172.20.0.0/14 range with private AS numbers (see registry), as well as IPv6 addresses from the ULA range (fd00::/8) - see FAQ.

コミュニティー用のチャットルームみたいなのがある

Hackint

早速設定する。

wireguardで行こう。 そしてgetting startedに書いてある通りに進めよう。 githubがあると言っているが、どうやら専用のがあるっぽい ここで登録 結構本格的やな。普通にgithub自前で運用してるっぽいな これ

まず自前でgitとかめっちゃ持ちたいので、これ裏でどうやって動かしているのかとかはめっちゃ気になる。 giteaなるものがあるのか。素晴らしいな、今の世界は。

ところで、これのログインパスワードとかは万一のことも考えて、vaultwardenに自動生成させたものを使っている。 あと、PRは毎回鍵で署名する必要があるらしい。

ところで主催者はこの人。

参加PRを出して見た

PR こんな感じ

inetnum:            172.22.106.160 - 172.22.106.191
cidr:               172.22.106.160/27
netname:            INGENBOY-NETWORK
admin-c:            INGENBOY-DN42
tech-c:             INGENBOY-DN42
mnt-by:             INGENBOY-MNT
status:             ASSIGNED
source:             DN42

この後の流れを軽く抑えておく

wireguardのインストール

sudo apt install wireguard-tools

FRRのインストール

sudo apt install frr

ピアリング

Wireguardを使ったピアリングはこれを参考にして。 ピアリング相手はこれで見つけると良さそう。

FRRで広告を始める前に

https://www.dn42.dev/howto/networksettings ここに書いてある設定は守ったほうが良さそう。 rp_filter 最近よくみるやつだな、、、

FRRの設定

これを参考にすると良さそう https://www.dn42.dev/howto/frr

Peering候補

https://natlan.io/peering これのTokyoとかいいんじゃない?かなり。

root@x162-43-53-234:~/MyFreshWebsite# dig +short        tyo1.edge.ngworks.org
156.246.94.197

なんか繋がらんなと思って、 https://peering.natlan.io/ みたら、Tokyoは厳しいっぽいな。

この人もえぐいな笑 https://dn42.routedbits.com/

大阪にもあるしこれがいいのではないか。近いほうが絶対いいよね。

martin-ray@Rays-MacBook-Pro ~ % ping router.osa1.routedbits.com
PING router.osa1.routedbits.com (172.233.64.128): 56 data bytes
64 bytes from 172.233.64.128: icmp_seq=0 ttl=54 time=6.031 ms
64 bytes from 172.233.64.128: icmp_seq=1 ttl=54 time=12.003 ms
^C
--- router.osa1.routedbits.com ping statistics ---
2 packets transmitted, 2 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 6.031/9.017/12.003/2.986 ms

DN42ネットワークに接続する方法

WGで、DN42にジョインしているrouterに接続して、そのルータが動いているノードをexit nodeにして、って感じかな。それが良さそう。 snatで、172.22.0.0/24 ?はDN42に流す感じでOK。

PRがマージされたので実際に設定してく

WGガイインストールされていることを確認

root@x162-43-29-213:~# wg version
wireguard-tools v1.0.20210914 - https://git.zx2c4.com/wireguard-tools/

鍵を生成

install -d -m 700 /etc/wireguard
cd /etc/wireguard
umask 077
wg genkey | tee server.key | wg pubkey > server.pub

一旦やったのでいかにペタリ

この手順は、動作確認できたIPv4構成を再現するものです。WireGuard上でIPv4のBGPセッションを張り、Tailscale端末からの通信をSNATしてDN42へ転送します。IPv6の経路交換は含めません。

以下のサーバー側コマンドは、DN42ルーターVPSでrootとして実行します。

1. 構成と前提

項目値
自分のASNAS4242422139
自分のIPv4プレフィックス172.22.106.160/27
ルーターのDN42 IPv4172.22.106.161
公開IP162.43.29.213
公開ホスト名dn42.ingenboy.com
自分のWireGuard待受ポートUDP 51821
WireGuardインターフェースwg-rb-osa
相手RoutedBits Osaka
相手ASNAS4242420207
相手DN42 IPv4172.20.19.78
相手WireGuard接続先router.osa1.routedbits.com:52139
相手WireGuard公開鍵96PwUEGi/ijdmKO+IjuZ+J6DeykuTRukZD5atajfeH4=
Tailscaleインターフェースtailscale0
このVPSのTailscale IP100.64.0.5
SNAT対象の送信元100.64.0.0/24
SNAT対象の宛先172.20.0.0/14

前提:

  • DN42レジストリにASN・IPv4・routeオブジェクトが登録されている。
  • RoutedBits側に、自分の公開鍵・公開接続先・トンネルIPv4が登録されている。
  • dn42.ingenboy.com のAレコードが 162.43.29.213 を指している。
  • このVPSは既存のHeadscaleに接続済みで、tailscale0 がある。
  • 接続元端末のDN42宛て通信が、このVPSに届く経路があること。 Exit NodeとしてこのVPSを選択するか、DN42用サブネット経路を広告・承認して利用する。SNATだけでは接続元端末の経路は作られない。
  • ほかの既存FRR設定がない新規構築を想定する。既存ルーターへ適用する場合は設定を統合する。
Tailscale端末(100.64.0.x)
        |
     tailscale0
        |
   DN42ルーターVPS
   SNAT → 172.22.106.161
        |
     wg-rb-osa
        |
 RoutedBits(172.20.19.78)
        |
     DN42 IPv4

2. FRRとWireGuardをインストール

Ubuntu 22.04で利用した手順。FRR公式リポジトリを追加します。

apt update
apt install ca-certificates curl lsb-release wireguard-tools

curl -fsSL https://deb.frrouting.org/frr/keys.gpg \
  -o /usr/share/keyrings/frrouting.gpg

echo "deb [signed-by=/usr/share/keyrings/frrouting.gpg] https://deb.frrouting.org/frr $(lsb_release -sc) frr-stable" \
  > /etc/apt/sources.list.d/frr.list

apt update
apt install frr frr-pythontools

今回の動作確認バージョンは FRR 10.7.1 / Linux 5.15。frr-stable は更新されるため、将来も同じバージョンになるとは限りません。

3. WireGuard設定

install -d -m 700 /etc/wireguard
touch /etc/wireguard/wg-rb-osa.conf
chmod 600 /etc/wireguard/wg-rb-osa.conf
nano /etc/wireguard/wg-rb-osa.conf

次を記入します。秘密鍵は、RoutedBitsに登録した自分の公開鍵と対になるものをサーバー内で入力してください。

[Interface]
PrivateKey = <自分のWireGuard秘密鍵>
ListenPort = 51821
Address = fe80::2139:1/64
MTU = 1420
Table = off
PostUp = ip address add 172.22.106.161/32 peer 172.20.19.78/32 dev %i

[Peer]
PublicKey = 96PwUEGi/ijdmKO+IjuZ+J6DeykuTRukZD5atajfeH4=
Endpoint = router.osa1.routedbits.com:52139
AllowedIPs = 172.20.0.0/14, fd00::/8, fe80::/10
PersistentKeepalive = 25
  • Table = off:WireGuardによる自動経路追加を止め、DN42の経路をFRRに任せる。
  • PostUp:IPv4をポイントツーポイントで設定し、相手への直結経路を作る。
  • 172.22.106.161 はWireGuard側に割り当てる。同じIPを lo に追加しない。
  • wg-quick がインターフェースを作るため、手動の ip link add は不要。

VPS側・クラウド側ファイアウォールでUDP 51821を許可してください。

UFWが有効な場合は、次を追加します。

ufw allow 51821/udp
ufw allow in on wg-rb-osa \
  from 172.20.19.78 to 172.22.106.161 port 179 proto tcp
ufw route allow in on tailscale0 out on wg-rb-osa \
  from 100.64.0.0/24 to 172.20.0.0/14

返信は通常の接続追跡によるESTABLISHED/RELATED許可を利用します。独自のファイアウォールを使っている場合も、同等の転送・返信許可が必要です。

起動します。

systemctl enable --now wg-quick@wg-rb-osa
wg show wg-rb-osa
ip -4 addr show dev wg-rb-osa
ping -I 172.22.106.161 -c 3 -W 2 172.20.19.78

inet 172.22.106.161 peer 172.20.19.78/32 が表示され、pingが返ることを確認します。

4. IPv4転送を永続化

cat >/etc/sysctl.d/91-dn42-routing.conf <<'EOF'
net.ipv4.ip_forward = 1
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
EOF

sysctl -p /etc/sysctl.d/91-dn42-routing.conf

5. FRRのIPv4 BGP設定

sed -i 's/^bgpd=no/bgpd=yes/' /etc/frr/daemons
vim /etc/frr/frr.conf

新規構築では、次を記入します。

frr defaults traditional
hostname ingenboy-dn42
log syslog informational
service integrated-vtysh-config
!
ip route 172.22.106.160/27 Null0
!
ip prefix-list DN42-IN4 seq 1 deny 172.22.166.0/24 le 32
ip prefix-list DN42-IN4 seq 10 permit 172.20.0.0/24 ge 28 le 32
ip prefix-list DN42-IN4 seq 20 permit 172.21.0.0/24 ge 28 le 32
ip prefix-list DN42-IN4 seq 30 permit 172.22.0.0/24 ge 28 le 32
ip prefix-list DN42-IN4 seq 40 permit 172.23.0.0/24 ge 28 le 32
ip prefix-list DN42-IN4 seq 50 permit 172.20.0.0/14 ge 21 le 29
!
ip prefix-list OWN4 seq 10 permit 172.22.106.160/27
!
route-map DN42-IN4 permit 10
 match ip address prefix-list DN42-IN4
exit
!
route-map DN42-OUT4 permit 10
 match ip address prefix-list OWN4
exit
!
router bgp 4242422139
 bgp router-id 172.22.106.161
 no bgp default ipv4-unicast
 neighbor 172.20.19.78 remote-as 4242420207
 neighbor 172.20.19.78 description RoutedBits-Osaka
 neighbor 172.20.19.78 update-source 172.22.106.161
 !
 address-family ipv4 unicast
  network 172.22.106.160/27
  neighbor 172.20.19.78 activate
  neighbor 172.20.19.78 route-map DN42-IN4 in
  neighbor 172.20.19.78 route-map DN42-OUT4 out
 exit-address-family
exit

これは今回確認したDN42本体のIPv4範囲向けの受信フィルターです。相互接続ネットワークの追加範囲と、自分側でのROA検証は含めません。広告は自分の /27 だけに限定します。

FRRがWireGuardの起動後に開始するよう、起動順序も保存します。

install -d /etc/systemd/system/frr.service.d
cat >/etc/systemd/system/frr.service.d/10-dn42.conf <<'EOF'
[Unit]
Wants=wg-quick@wg-rb-osa.service
After=wg-quick@wg-rb-osa.service
EOF

systemctl daemon-reload
systemctl enable frr
systemctl restart frr

確認します。

vtysh -c 'show ip route 172.20.19.78'
vtysh -c 'show bgp ipv4 unicast summary'
vtysh -c 'show bgp ipv4 unicast neighbors 172.20.19.78 advertised-routes'
ip route get 172.20.0.53 from 172.22.106.161
ping -I 172.22.106.161 -c 3 -W 2 172.20.0.53

成功の目安:

  • 相手 172.20.19.78 がFRR上で直結経路として見える。
  • BGP summaryの State/PfxRcd が数値で、接続時間が増え続ける。
  • 広告経路が 172.22.106.160/27 の1件。
  • DNSサーバーへの経路が wg-rb-osa を向き、pingが返る。

6. Tailscale → DN42のSNATを永続化

変換する通信は次のものだけです。

送信元 100.64.0.0/24
宛先   172.20.0.0/14
出力   wg-rb-osa
変換後 172.22.106.161

今回成功したルールは次です。

iptables -t nat -I POSTROUTING 1 \
  -s 100.64.0.0/24 \
  -d 172.20.0.0/14 \
  -o wg-rb-osa \
  -j SNAT --to-source 172.22.106.161

以下のスクリプトとsystemdサービスで、このルールだけを永続化します。既に同じルールを手動追加していても重複追加しません。DockerやTailscaleが動的生成したルール全体を保存する必要はありません。

cat >/usr/local/sbin/dn42-tailscale-snat <<'EOF'
#!/bin/sh
set -eu

set -- -s 100.64.0.0/24 -d 172.20.0.0/14 -o wg-rb-osa \
  -j SNAT --to-source 172.22.106.161

if ! iptables -w -t nat -C POSTROUTING "$@" 2>/dev/null; then
    iptables -w -t nat -I POSTROUTING 1 "$@"
fi
EOF

chmod 700 /usr/local/sbin/dn42-tailscale-snat

cat >/etc/systemd/system/dn42-tailscale-snat.service <<'EOF'
[Unit]
Description=SNAT Tailscale IPv4 clients to DN42
Wants=tailscaled.service wg-quick@wg-rb-osa.service
After=tailscaled.service wg-quick@wg-rb-osa.service frr.service

[Service]
Type=oneshot
ExecStart=/usr/local/sbin/dn42-tailscale-snat
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable --now dn42-tailscale-snat.service

Tailscaleの標準SNATより先にこの明示的なルールへ一致するよう、POSTROUTINGの先頭へ追加しています。既存の標準SNATを無効化する必要はありません。

確認:

systemctl status dn42-tailscale-snat.service --no-pager
iptables -t nat -nvL POSTROUTING --line-numbers

ファイアウォールの再読み込みなどでこのルールを消した場合は、次で再適用します。

systemctl restart dn42-tailscale-snat.service

7. 接続元端末の経路

既にTailscale端末からDN42へ通信できているなら、その端末の現在の経路設定を維持します。

新しい端末を追加する場合は、次のどちらかを利用します。

A. このVPSをExit Nodeとして利用

HeadscaleでこのVPSのExit Node経路が承認済みなら、接続元端末で選択します。

sudo tailscale set --exit-node=100.64.0.5

この方式はDN42以外のインターネット通信もExit Nodeへ送ります。

B. DN42宛てだけこのVPS経由にする

DN42ルーターVPSで広告します。ほかにも広告中のサブネットがある場合は、その範囲もカンマ区切りで含めてください。

tailscale set --advertise-routes=172.20.0.0/14

Headscaleサーバー側で承認します。以下のID 5 は今回の登録済みノードIDです。新規登録し直した場合は list-routes で確認してください。既存のExit Node承認も残します。

docker exec headscale headscale nodes approve-routes \
  --identifier 5 \
  --routes '0.0.0.0/0,::/0,172.20.0.0/14'

docker exec headscale headscale nodes list-routes

接続元Linux端末で経路を受け入れます。

sudo tailscale set --accept-routes=true

Headscaleのアクセス制御を設定している場合は、対象端末からDN42宛ての通信も許可します。100.64.0.0/24 外のTailscaleアドレスは、今回の明示的なSNATルールの対象ではありません。

8. 最終確認

別のTailscale端末で実行します。

ping -c 3 172.20.0.53
dig @172.20.0.53 wiki.dn42 A
curl --resolve wiki.dn42:80:172.23.0.80 -I http://wiki.dn42/

今回確認できた結果:

  • 172.20.0.53 からping応答。
  • wiki.dn42 のAレコードとして 172.23.0.80 が返る。
  • HTTPで 308 Permanent Redirect が返る。

DNSレコードやサービスの応答は将来変更される可能性があります。

VPSでSNAT後の通信を観察する場合:

tcpdump -ni wg-rb-osa 'icmp and host 172.20.0.53'

接続元端末からpingした際、送信元が 172.22.106.161 と表示されればSNAT成功です。dig @172.20.0.53 は明示的なDNS問い合わせで、端末の通常のDNS設定を変更するものではありません。

参考