2017年6月22日

6月7日〜9日の3日間、幕張メッセにてネットワークコンピューティング技術に関する展示会の Interop Tokyo 2017 が開催されました。今年のInteropは加藤がネットワーク構築メンバー (後述: NOC) として2度目の参加をしましたので、Interopの概要と担当した個所をこの場を借りて解説をしたいと思います。

Interop とは

Interopは毎年6月の上旬に行われる世界最大級のネットワーク技術の展示会です。1986年 TCP/IP Vendors Workshop が始まりで、日本では1994年に初めて開催されました。毎年6月に幕張メッセのホール複数使って色々な企業様のブース展示が行われます。そこでは新製品や、注目されている技術、製品の担当者からの直接の話など色々な情報を直に得ることができます。

Interop は InterOperability (相互接続性) という言葉が由来で、ネットワーク製品の展示だけではなく、会場のネットワークを組む際に異なるベンダの機器の相互接続性を試す側面もあります。RFC (Request For Comment) などの標準技術の文書は解釈の幅があり、製品によって実装が異なる場合があります。相互接続性を試すことは重要です。このInteropにて相互接続性や新機能などを試すネットワークプロジェクトをShowNetと呼びます。

Inereop の中の ShowNet

ShowNetは産官学の各方面のエンジニアが集まり一つのネットワークを構築するライブデモンストレーションプロジェクトです。ShowNetでは毎年テーマを決めて、2年後、4年後に浸透する技術や設計を先駆けて挑戦しています。ShowNetは世界初の実稼働製品や最新技術、新しい発想を駆使して出展社ブースや来場者にネットワークを提供し、Interopを支えています。ShowNetのネットワークや機器は動態展示が基本であり、全て役割を持って稼働しています。

“I know it works, because I saw it at Interop.”
「Interopで見たから動きますよ。」

日本で開催されたInteropで掲げられていたスローガンですが、この精神を元にチャレンジングかつ、安定した会場ネットワークを構築していくのがShowNetです。

ShowNetは色々な立場の方々との共同で構築されます。

  • コントリビュータ(機器、サービス提供していただく企業様)
  • NOC (Network Operation Center) チーム
  • STM (Shownet Team Member)
  • Interop運営事務局

ShowNetの設計は毎年11月頃からNOC内にてキックオフミーティングから始まります。そこからコントリビュータ様を交えた都度の全体ミーティングや分科会を開き、設計を行います。そして、5月末に幕張メッセにて構築期間 (通称: HotStage) を迎え、STMと共に展示会を迎えます。今年は総勢441+α人でShowNetの構築をしました。

今年の見どころ

今年のテーマは

Inherit the Intention(意思を受け継ぐ) であり、各担当ではこれまで培ったShowNetの技術を踏まえて、以下の項を見どころに今年のShowNetを構築しました。

  • External
    • 帯域かつ高度なネットワークを制御するコアネットワークと対外接続
  • L2/L3
    • サービスチェインを効果的に提供するバックボーン
  • セキュリティ
    • ダイナミックセキュリティサービスと次世代エンドポイントのオーケストレーション
  • ワイヤレス
    • Simple & Tough を実践する無線LAN
  • サーバ・データセンタ
    • 次世代サーバ仮想化基盤とデータセンタファブリック
  • ファシリティ
    • アグリゲーション&クイック・デプロイ・ファシリティ
  • モニタリング
    • 統合監視とテレメトリによる効率的なモニタリング
  • テスタ
    • 多彩なシナリオを検証するテスタ
  • PTP (Precision Time Protocol)
    • ShowNet PTP相互接続検証 Phase3
  • マルチクラウド
    地域BWA (Broadband Wireless Access) を活用したIoT向けモバイルアクセスとクラウド連携

加藤は今年、データセンタを担当させていただきました。

以降はデータセンタの内容を解説します。

データセンタネットワーク検証

昨今、データセンタネットワーク技術を追うと必ずFacebook/Microsoftなどの大きいコンテンツを持つ企業のデータセンタネットワークの記事を目にします。CLOSネットワーク、IPファブリックネットワークと呼ばれる技術です。ShowNetでも2013年のデータセンタ個所にて同様のIPファブリックの構成を組んでいました。今年は2013年の構成を継承 (Inherit) して、新しいデータセンタネットワークへの構築と実験を試みました。

DAC/AOCの積極利用

まずは、IPファブリックを設計する際に論理だけではなく物理の収容を考えました。今回のデータセンタファブリックは全て1ラック内で収める設計のため、あまりケーブルの長さは必要がありません。そのため、今回はスイッチ間の接続は DAC (Direct Attach Cable)と、AOC (Active Optical Cable) の積極利用をしました。いずれもスイッチに挿すトランシーバ込みのケーブルで、スイッチで個別にSR4、LR4のトランシーバやファイバの数を最小に All 100GbE のファブリック用の配線ができました。

IPファブリックとユーザ収容

IPファブリックを組むことで柔軟にデータセンタ内のバックプレーンを増強することができます。シャーシ型のL2装置は筐体のバックプレーンが最初から太い反面、スケールアウトがしづらい造りになります。小さいスイッチによるSpine-Leaf構成のIPファブリックを組むことで収容数を増やす場合はLeafの増強、総帯域を増やす場合はSpine側を増強することで対応ができるようになり、スケールアウトできるネットワークが組めます。

All 100GbE IPファブリックの図
All 100GbE IPファブリックの図

今回のIPファブリックでは100GbE対応のL3スイッチのSpine-Leaf構成にてファブリックを作り、BGP+ECMP (Equal Cost Multi Path) にての負荷分散を実施しました。Spineは2系あるのため、Leafスイッチからの Uplink は100GbEx2のおよそ200Gbpsを捌ける形で構築しました。またそれぞれのスイッチの選定は25GbEをベースとした10/25/40/100GbEマルチレートのスイッチおよびホワイトボックススイッチの積極導入と、それに伴う多種のネットワークOSによってファブリックを構築しました。

多種スイッチOSによるIPファブリック
多種スイッチOSによるIPファブリック
IPファブリック ユーザ収容設計
IPファブリック ユーザ収容設計

IPファブリックを使うユーザ側の収容はデータセンタの利用者の使い方を想定して

  • Leaf MLAG + ToR MLAG の構成
  • Leaf MLAG + ToR LAG の構成
  • サーバ直収
  • ToR スイッチのみの構成

の4シナリオにてIPの終端とサーバおよびToRスイッチの構成を作りました。展示期間中はShowNet内一部のサービス (地域BWA, VPNサービス、試験ネットワーク等) をのせてサービス提供しました。

RFC5549相互接続検証

RFC5549 (Extended Nexthop) はBGPにて経路交換時の IPv4 NextHop 情報をIPv6に乗せ、IPv4の通信をIPv6越しに行う技術になります。この技術によりIPファブリックを組む際のIPv4アドレスの使用を減らす他、今後、IPv6 Neighbor Discoveryを用いたファブリックの自動アドレス設定にまで応用が利く技術となります。

RFC5549検証内容
RFC5549検証内容

今回はIPファブリック内3機種にて手動設定のIPv6 Link-Localアドレスによる相互接続を行ないました。HotStageでは初めにサービス用のIPv4, IPv6デュアルのIPファブリックを構成した後、経路交換用のIPv4インターフェイスを消しIPv6のみの接続状態で検証を行いました。結果は各スイッチにてのRFC5549の動作は確認できた為、最初に作ったファブリックに組み込んでのサービスインが出来ました。

RFC5549 経路、Traceroute
RFC5549 経路、Traceroute

展示会中はRFC5549検証を行ったルータ群にはSTM用実験ネットワークへのネットワーク収容し、インターネット接続を提供していました。

ShowNetデータセンタ設計をして

今回はIPファブリックによる硬めのInterop用のデータセンタネットワークを作り、その上で、有効と考えている技術の検証を進めることができました。また、ShowNetの場では、いろいろな企業様の製品で構成する為、技術単体だけではなく相互接続性も確認できる良い機会となりました。多種スイッチによるIPファブリック+RFC5549の構成、「Interopで見たから動きますよ。」と言っていただけると嬉しいかもしれません。

本ブログの情報につきましては、自社の検証に基づいた結果からの情報提供であり、
品質保証を目的としたものではございません。