May. 2016No.72

SINET5始動全国100ギガで新たな可能性を拓く

Article

SINET5とは - 解説

国立情報学研究所 学術ネットワーク研究開発センター 特任教授

国立情報学研究所 アーキテクチャ科学研究系 准教授

国立情報学研究所 学術基盤 推進部 特任教授

img72-4.PNG

【構築】ネットワークサービス機能を有機的につなぐ
img72-4-2.PNG

 SINET5はさまざまなネットワークサービス機能を有機的に結合させたネットワークアーキテクチャになっています。

 高速にデータ転送を行う伝送レイヤでは、全国の各データセンタ(DC)間にラダー(梯子)状に張り巡らせた100Gbpsの光ファイバ網上で、各DCにMPLS-TP[1]装置を設置することで、任意の2ノード間の伝播遅延が最小となる論理(MPLS-TP)パスを実現しました。また、現用の論理パスの障害時には、すぐに迂回可能な予備の論理(MPLS-TP)パスを構成し、フルメッシュによる堅固な伝送レイヤを構成しています。

 IP プロトコルによる情報転送を行うルータ装置は、各ノードのMPLS-TP 装置と接続され、さまざまなルーティングプロトコルを用いて、複数の多様な論理ネットワークを構成しています。MPLS-TP 装置とルータ装置間の接続では、構築前に、MPLS-TP 装置で構成される伝送ネットワークとその上でルータ装置によって構成される論理ネットワークの相互接続性の検証実験を重ねました。両装置間を2本の100Gbpsリンクで接続した冗長構成とし、ECMP[2]による負荷分散やVPN[3]サービスを提供するために、ルータ装置間で構成された論理ネットワーク上においても冗長論理パスを構成しています。伝送レイヤと論理レイヤで連携しながら、障害時の対応ができる冗長構成となっています。

 また、ルータ装置の多機能性を用いて、SINET5上にオーバーレイ状にプライベート網を構成できる従来のL2VPNとL3VPN、必要に応じてL2VPNを構築するL2ODのサービスに加え、SINET5をあたかもキャンパス間を結ぶスイッチのごとく物理的に離れたキャンパス間で複数のVLANトラフィックを転送できる「仮想大学LAN」サービスも実現できるようにしました。

 さらに、SINET5を安定して動作させるために、ネットワークの状況を把握するための機能も備えています。SINET5上には、ネットワークの状況を示すデータを扱うサーバセグメントが複数用意され、各ネットワーク機器からSNMP[4]プロトコルを用いて、ルータ機器の各種性能データを把握することができます。また、コアネットワークに流入するトラフィックは、インタフェースにおいてトラフィックフロー情報を取得することで、ノード間交流などを把握することが可能です。トラフィック情報を取得するためのネットワークタップ装置が備えられ、分析装置の処理容量に合わせてトラフィックを制御するトラフィックステアリング機能を持つスイッチを配備したモニタリングセグメントも接続されています。各装置からのログ情報とこれらの測定分析結果をもとに、ネットワークの日々安定した運用につなげる仕組み、環境を用意しています。

 今後は、トラフィック増や伝送容量の増量要求に対するトラフィックエンジニアリング、伝送レイヤの400Gへのアップグレードへの対応、監視運用のインテリジェント化のための対応を行うとともに、VXLAN[5]、SDN[6]などの新機能を用いたネットワークサービス開発を引き続き行っていきます。

【移行】SINET4からSINET5へ
img72-4-3.PNG

 SINET5では、低遅延・大容量化を実現するためにアーキテクチャを一新し、新たなネットワークを構築しました。そのためSINET4を利用していただいている加入機関がSINET5も利用されるためには、SINET4に接続している回線をSINET5に接続変更(=移行)していただく必要があります。

 SINETは利用機関のライフラインになっているため、移行にあたっては通信が不通となる時間を可能な限り短くする必要があります。また、SINET4とSINET5が並存する期間は、SINET4に残っている加入機関とSINET5への移行が完了した加入機関との間の通信もできるようにしておく必要があります。さらにSINETへの接続拠点(ノード)は各都道府県にあり、日本全国で50拠点におよぶため、地理的にも広範囲にわたって移行作業を進める必要があります。これらの要件を踏まえながらネットワーク方式や移行手順などの検討と準備を進め、平成28年1月下旬から3月末までの約2カ月間で全加入機関約850件の移行を実施しました。

 移行にあたっては、物理と論理の両側面を連携させて変更します。物理変更は日本全国の拠点における作業です。多数の装置に対して装置間に間違いなく配線を行わなくてはなりません。論理変更は遠隔で集約実施しますが、多数のパラメータを加入機関ごとに間違えないよう設定する必要があります。両者の整合性がとれて初めて、移行が完了します。この物理・論理の切り替え手順を改善しながら作業を進めることで、最終的に通信不可時間を数分にまで短縮しました。各加入機関と個別に移行対応することは日程調整などを含めて負担が大きいため、加入機関の作業をSINET側で代行し、複数の加入機関をまとめてSINET側で切り替える手法を併用し、短期間での多数の機関の移行に対応しました。

 また、今回の移行に合わせ、接続回線の大容量化(100Gbps)や、別の拠点への回線引き直しを経済的に行いたいとの要望に応えるために、複数の加入機関を取りまとめて共同調達を行うスキームも採用しました。アクセス回線として帯域(1Gbps~100Gbps)が完全に確保された回線の共同調達をダークファイバの活用で実施し、平成28年度開始分は73機関・88回線を調達しました。

 移行にあたっては、通信再開までに時間を要したり複数回にわけて移行作業を行ったりなど加入機関にご迷惑をおかけする場面もありましたが、加入機関のご協力をいただき、無事完了することができました。

【国際】国際ネットワークが拓く 最先端大型研究
img72-4-4.PNG

 研究教育においてはネットワークを用いた他機関との連携が必要不可欠となっており、国内のみならず海外との連携も非常に重要です。近年では高エネルギー物理学や天文学をはじめとして、最先端大型研究の国際連携が進んでいます。各国の予算を集約した大型の研究施設を関係者が属する研究機関と大容量のネットワークで結んで遠隔地から設備を利用したり、観測装置などから得られた大量のデータを世界各地のコンピュータの連携により高速に解析を進めたりするという手法が一般的になってきています。教育においても、OCW[7]やMOOC[8]といった活動をはじめとして国を越えたオンライン化が進んでおり、このような学術国際連携を支援することもSINETの重要な役割です。

 SINET4では、海外の学術機関との通信のために、米国に計30Gbps(ロサンゼルス、ワシントンDC、ニューヨークにそれぞれ10Gbps)、シンガポールに10Gbpsの帯域の回線で接続していました。欧州にも欧州原子核研究機構(CERN)をはじめとする多くの研究機関があり、日本との間で通信が行われていましたが、従来は米国を経由した通信となっており、地球を半周以上してつながっていました。一般に幅広く利用されるTCPと呼ばれる伝送方式では、時間あたりのデータの伝送量は回線の帯域とともに到達までにかかる時間、すなわち距離にも大きく依存するため、できるだけ通信回線の経路を短くすることが有利に働きます。

 SINET5では、初の試みとして、米国を経由せずに欧州に直接つながる回線をGÉANT[9]の協力の下で整備しました。米国向け回線と同様、複数経路による冗長構成をとり、計20Gbpsの回線をできるだけ敷設経路が異なる2本の10Gbps回線で構成することで、事故などで同時に切れる可能性を低くしています。今回の欧州回線の新設により、パケットの往復にかかる時間を示すRTTが約250msから約170msと30%以上も短縮され、実験データの伝送にかかる時間が大幅に短縮されたという報告もすでに届いています。

 米国向けについては、これまでの30Gbpsの帯域に限界が見えてきており、国際回線の100Gbps 化が世界各地で始まっていることから、ロサンゼルスまでの回線を100Gbpsに更新し、ワシントンDCまでの回線を廃止しました。ニューヨーク回線は10Gbpsのまま維持し、米国まで計110Gbpsで結んでいます。SINET5運用開始後も大規模な国際共同研究の進展が予測されているため、利用状況を見ながら増速に向けて検討を進める予定です。

img72-4-5.PNG
学術情報ネットワークを構築・運用するNIIのSINET チーム。最前列中央3人が山田博司特任教授、栗本崇准教授、中村素典特任教授(左から)

[1]MPLS-TP :Multi Protocol Label Switching - Transport Profile

[2]ECMP:Equal Cost Multi Path

[3]VPN: Virtual Private Network

[4]SNMP: Simple Network Management Protocol

[5]VXLAN: Virtual eXtensible Local Area Network

[6]SDN:Software Defined Network

[7]OCW:Open CourseWare

[8]MOOC:Massive Open Online Course

[9]GÉANT:EU 諸国を結ぶ欧州の学術ネットワークを運用する組織

第72号の記事一覧