2019年11月26日

Goedemiddag (蘭:こんにちは) Cloud&SDN研究所の加藤です。2019年11月13日、14日に蘭アムステルダムにて開催された TIP (Telecom Infra Project) Summit ’19 に参加してきました。所属が”Cloud&SDN”といった高いレイヤの研究所名ではありますが、最近はデータセンタ間接続のための技術調査・開発を行うなどの低いレイヤへも活動を広げています。3月の当社Blogの OFC Report もこの活動の一環です。今回参加したTIP SummitはOFCのような光技術だけではなく、Telecom向け総合的な技術の会合になります。そのため同会はコア部分の伝送技術はもちろんのこと、エッジよりの無線基地局の展開や、電波の吹き方など多岐にわたって展示や発表、ミーティングが開かれます。今回は、TIPのプロジェクトの概要と、伝送技術に注力して報告いたします。

I am sterdam (ISO1600 18.3mm F/5.6 1/8s)

 TIP Summit ’19

 TIP とは

TIP は Facebook 主体で発足されたグループで、Telecom 向けの技術などを各ワークグループに分かれてオープンな技術提案と実証実験を行う集まりです。現在、11月の時点で
エッジ向けのアクセス系
  • CrowdCell
  • OpenCellar
  • OpenRAN
  • vRAN FrontHaul
  • Wi-Fi
トランスポート系
  • mmWave Networks
  • Non-Terrestrial Connectivity Solutions
  • Open Box Microwave
  • Open Optical & Packet Transport (OOPT)
コア系
  • Edge Application Developer,
  • End to End Network Slicing (E2E-NS)
といったグループがあります。ワークグループはモバイル網のアンテナからネットワークスライシングまで多岐にわたり存在します。当社はデータセンタ間接続の接続に近い位置づけのOOPTワークグループに参加しています。

Keynote

今年のテーマは、”Together We Build” (いっしょにつくる) 。

Together We Build (ISO800 18.3mm F/5.6 1/250s)
会合は2日間行われ、それぞれにもサブテーマが設けられていました。
  • 1日目: “Community Delivering Impact” (TIPがもたらすもの)
  • 2日目: “Solutions for Connectivity Challenges” (接続性問題へのTIPの解決策)

それぞれの午前で Keynote、午後で各分科会のミーティングや BoF (Birds of Feather) が開かれました。Keynote全体は一言でまとめる「積極的にエコシステムを作って回そう」という趣旨の内容でした。TIP の面白いところは、どのプロジェクトも取り組みとして、意見交換をした上でとにかく「実証試験 (Field Trial) する」ことでした。TIPのプロジェクトは大体以下の流れで進みます。

  1. Ideate Use Cases (ユースケースの意見出し)
  2. Lab Trials (ラボ検証)
  3. Field Trials (フィールド検証)
    1. Development (とりあえず作る)
    2. General Availability (冗長など考える)
    3. Scalability (スケールを考える)
    4. End to End (端から端まで考える)
  4. Market Trials (市場検証)
  5. Commercial Deployment (実地展開)

これらのフローを経てプロジェクト完遂（および継続）となります。今回の会合の最初のKeynoteで「まずは行動すること」という理念の話の後、各プロジェクトが実際にどれだけのデプロイをしたのかという報告がありました。Keynote中では、これを “Drive Innovation” と呼んでいました。

身近な話では、国内のRakuten Mobileの事例がありました。無線基地局の展開の工夫や実際のちょっとした悩みをFacebookの方とパネル形式で語られ、今後も、経験談や5Gに向けての取り組みをコントリビューションしていきたいとのことでした。

Rakuten Site Deployment (ISO3200 F/5 1/200s)

TIPのエコシステムを回すにあたり、ビジネスや運用に対する「新しいモデル」、モデルに対するDisaggregationなどのアーキテクチャや、CI/CD採用といった、「新しい方法論」、そして、方法論を実現する為の「新しい技術」を考える必要があります。そのためTIP Summitでは “Deep Change mindset”、つまりは考え方を大きく改める必要がある、と繰り返し言われました。

例えば「方法論」で伝送の世界で行いたいことの一つであるCI/CD (Continuous Integration & Delivery) について、アプリケーションの世界では当たり前ですが、伝送の世界ではまだ一般的ではありません。そこで、伝送のCI/CDに足りないところを補う為のツールとして伝送用設計・テストのOSSツール「GNPy」を作り、伝送界隈のCI/CDの実現の第一歩を作っていたりします。この開発もVendor (もしくは Technology Partner) と Operatorや、IntegratorとOrchestratorとの相互意見交換によってできた取り組みとなります。

Integrators & Orchestrators (ISO3200 F/4 1/200s)

“Open” という言葉

各プロジェクトに目立つ「Open」の文字、これは各会社でそれぞれが共通に動ける仕様を作る事、各会社で歩み寄りエコシステムを回せるようにしよう、というのが「Open」に込められた意味となります。構成するパーツにOSS (Open Source Software) のものを使うこともあってか、「自由に作れる」ことは正しくとも、「Openなので無料にできる」という誤解が「Open」がつくワークグループBoF内であり、少々物議を醸し出していました。Openに向けての取り組みは必ずしもOSSのものを使うことが正しいことではなく、事業的にライバル関係の面々であっても意見を出し合って仕様を揉んでいく (=クローズドな形にしない) 事が大切であり、このようにワークグループを進める事がTIPの求めるOpenのようです。

OOPT (Open Optical & Packet Transport) については、伝送システムの一部でホワイトボックスなりのオープンなハードウェアとOSを使っています。これもそれぞれの機器のパーツはもちろん有償ですし、それらを操作するOSもOSSのものから商用のものもあります。重要なのは相互接続を実証し、結果をフィードバックし、相互に繋げられるものを広げていくのがTIPの活動となるものと、会合に初参加ながら私は考えます。

Open Reference Design (ISO3200 F/8 1/200s)

“Open Optical & Packet Transport”

OOPT (Open Optical & Packet Transport) では、キャリアでいうコア部分の接続性のあり方の模索と提唱を行います。 OOPTではよく聞く活動が、一時期話題になったFacebookやMicrosoftの伝送事例や、Interop 2019 ShowNetで実験されていた伝送構成の OOLS (Open Optical Line System) が有名です。OOLSは伝送装置の役割を細分化 (Disaggregation) して、多種のベンダ、多種の機器で伝送網の総称です。OOPTはOOLSだけではなく、より良い伝送網を作るための多種のサブグループを作り、検討を進めています。

  • NETWORK OPERATION SYSTEM (OOPT・NOS)
    • 伝送用のOS開発
  • CONVERGED ARCHTECTURES FOR NETWORK DISAGGREGATION & INTEGRATION (CANDI)
    • 効率の良いパケット/トランスポートの設計
  • CONTROL, INFORMATION MODELS AND APIs (CIMA)
    • コントローラと使用APIの選定
  • PHYSICAL SIMULATION ENVIRONMENTS (PSE)
    • 設計・テストの為のシミュレータ作成
  • DISAGGREGATED OPTICAL SYSTEMS (DOS)
    • 伝送装置の機能分離 (≈OLS)
  • DISAGGREGATED CELL SITE GATEWAYS (DCSG)
    • Telecom網アクセス・バックホウル間ゲートウェイの機能分離

TIP OOPTではオペレータからの意見を貰ってトランスポンダのBluePrintを作り、伝送装置のプロダクトを作る試みが行われています。Disaggregated Optical System (DOS) がそのプロジェクトになります。ホワイトボックストランスポンダと言われるものでFacebook発のVoyagerがコンセプトの切掛となります。そして、Edgecore社 の Cassiniを使った伝送システムがBluePrintから生み出されたプロダクトになります。また、今回の会合ではCassiniに次ぐ新しいホワイトボックストランスポンダであるWistron社 Galileoが動態展示されていました。

 

Galileo (ISO800 18.3mm F/5.6 1/60s)

Cassini/Galileo、いずれの装置も、ライン側は従来の伝送装置とは異なりスイッチのASICも搭載されています。つまりは伝送装置とスイッチが融合しています。クライアント側がEthernetのみの伝送装置のため、Infinera社 Cloud Xpressシリーズに近い設計になります。クライアント側をそのまま従来のL2ネットワークに組み込むことや、L2スイッチングを行うことのできる筐体のため、100G分の帯域には100Gのクライアント側を用意する必要もなく、オーバーサブスクライブをしやすい設計となります。

  • Cassini
    • ライン側が CFP2-ACO/DCO 200G を8個搭載可能 最大1.6TB伝送
    • クライアント側が QSFP28 100GbE (Tomahawk+) x 16、1.6Uの伝送装置
  • Galileo
    • ライン側が CFP2-ACO/DCO 200G を4個搭載可能 最大800GB伝送
    • クライアント側がQSFP28 100GbE (Tomahawk+) x 12、1Uの伝送装置

Galileoについてはクライアント側がライン側に対して多くポートを設け、オーバーサブスクライブ前提のキャパシティの箱となります。これにより1Uへのダウンサイズが実現できています。

また、新設計の400G伝送が可能なApolloもKeynote、OOPTなどで紹介されました。Apolloもホワイトボックストランスポンダですが、Cassini、Galileoとはコンセプトが異なります。従来伝送装置同様のL1トランスポート用トランスポンダです。TIPでは従来と同等のトランスポンダに対しても、ホワイトボックス化を進めているようです。しかし、こちらは動態展示が行われておらず、まだコンセプトのみとなり、BluePrintを作成中のようです。

APOLLO (ISO3200 F/8 1/200s)

mixi 馬淵さんの話

TIPではOpenな仕様を皆で進めることも重要ですが、実際にフィールドでテストした結果もDrive Innovationの点で重要です。今回の会合では、Drive Innovationの大きい例として、mixiの馬淵さんからCassiniを実サービス網での使用例をOOPTのプロジェクトミーティングとパネルセッションで話がありました。丁度、11月14日に国内で話題になっていた「【世界初】 自社プロダクトにホワイトボックス型光伝送装置を用いたバックボーンネットワークを構築」の詳細な内容です。Cassiniに搭載しているOSについてもNTTエレクトロニクスのOSS Goldstone を使用し伝送を実現しています (いずれの会社もイベントとプレスリリースのタイミングがしっかり噛み合っています)。

Cassini自体はこれまで、海外でMetro/Longhaulの実験が行われていましたが、馬渕さんの話は実証試験ではなく、運用中のサービスに組み込むことに成功した話であり、非常に説得力がありました。そのためか、会場の聴衆も日本発の話を皆興味津々で聞いていました。採用理由は端的には安価＋サーバ的に使えるのが良いとのことでした。注意点があるとすると、前述のCassiniと従来の伝送装置とのアーキテクチャが異なり、クライアント側にEthernetを使っている為、対向へのリンク断転送 (LFS: Link Fault Signal) の実装が無い点でした。ただ、そこは繋いでいるL3装置の実装でカバーする (BFDによるリンク断) など別レイヤで冗長や足りない機能を補っているようで、回線事業者とは違うアプローチでリンク断時の制動を実現していました。非常に興味深い内容でした。また、別レイヤで対応したとは言え、「LFSはやはり欲しい」などの要望を開発する側にフィードバックし、より良い製品ができる兆しが見えるあたりに、綺麗な開発サイクルを見ました。

Commercial Deployment (ISO800 18.3mm F/5.6 1/10s)

会場展示

私はOpenRANや、mmWave等の無線周りについてはあまり詳しくなく、全ての展示の理解は難しかったので、100％楽しむことができませんでした。実際の所でした。しかし、見るところも多く、わかる範囲ものを報告していきます。

ホワイトボックス動向

TIPのブース展示を見ると見慣れた装置がいくつかありました。ホワイトボックススイッチです。ただ、TIPでは我々がよく触る Broadcom SGX ではなく、最近ホワイトボックス系でも出始めているBroadcom DNX (Deep Buffer) 系のスイッチの展示が目立ちました。DeltaのAGC7648SV1 (Qumran MX)、AGCX422S (Qumran 2C)や、Edgecore AS7926-40XKE(Jericho3)、400G DeepBuffer (!?) の AS9926-24D(Ramon) が展示されていました。SGX系はALPHA Networksの400Gの型番のない筐体(Tomahawk3) や、変わり種シャシー型ホワイトボックススイッチのEdgecore Minipack (Tomahawk3) が展示されていました。そしてTelecom向けイベントというのもあり、スイッチ以上にホワイトボックスのDCSG (Disaggregated Cell Site Gateway) が上記各社にて展示されていました。

Cell Site Gateway はモバイル網のアクセス側装置とバックホウル間に置かれるゲートウェイ装置で、MPLSやPTPの機能を持っています。DCSGのASICはほとんどの筐体がBroadcomのDNX系を積み、小型のMPLSルータとしての動作が期待されています。これらのホワイトボックスDCSGは多種のネットワークOSを扱う事ができます。TIPの展示ではADVA、Aviat Networks、Datacom、Exaware、IP infusion、Infinera、Volta NetworksのネットワークOSがありました。この中では特に、伝送装置老舗のADVA, InfineraがSGX系にはないホワイトボックスOSへの取り組みもされていることに驚きでした。

そして、さらに異なるベンダのDCSG筐体に、異なるホワイトボックスOSを搭載し、相互接続を行っていました。

  • ALPHA NETWORKS社 DCSG (HW)
    • ADVA社 OS (SW)
    • IP infusion社 OS (SW)
  • Delta社 DCSG (HW)
    • ADVA社 OS (SW)
    • Datacom社 OS (SW)
    • Exaware社 OS (SW)
  • Edgecore社 DCSG  (HW)
    • Aviat Networks社 OS (SW)
    • Exaware社 OS (SW)
    • Infinera社 OS (SW)
    • Volta Networks社 OS (SW)
  • ufiSpace 社 DCSG (HW)
    • IP infision社 OS (SW)
Interoperability (ISO1600 F/2.8 1/50s)

ホワイトボックスでL3を頑張りたいDCSGでMPLSがそこそこ頑張れるのであれば、5Gで使うか事はともかくとしてこれらの構成でMPLS網を作るのはアリなのか、非常に気になるところです。

逃げられぬSDNの波

Disaggregationによる機能分離を行う事は装置がシンプル化した分、管理対象が増え、操作が煩雑になるという欠点があります。その中で、異なるベンダの箱を混ぜた場合はさらに操作が大変になります。そこでOOPTでは分離した機器を管理する方法を模索する担当のCIMAグループが活躍します。分離した装置を運用するには本来一つだったトランスポンダ、EDFA、ROADM※などの多数の機能を一斉に操作する必要があります。CIMAでは現在のところONOS (Open Networking Operation System) を用いてそれぞれの装置を操作する方針のようです。ONOSをOptical Controllerとして動かし、NETCONF/OpenConfig, TAPI (TransportAPI)などを駆使して、トランスポンダやLine System (AMPやROADM) をそれぞれの操作に対応させてた形でコントロールします。

※ ROADM: Reconfigurable Optical Add Drop Multiplexor
　 設定した波長の光を装置に足し (ADD)、引き (DROP) して方路操作する装置。

 

ONOSといえば、ONF (Open Network Foundation) です。かつてはOpenFlowを主導していて、今も CORD、OMEC、STRATUMなどのSDNコントローラの仕様策定を行っている団体になります。最近はCloud&SDN研究所とは名ばかりの専らL1研究員でしたが、どうやらここでもSDNが求められているようです。

ONOSについては面白い動態デモもありました。ONFのブースで行われていたデモで、CESNET CzechLightという、珍しいホワイトボックスROADMに6台にてリング構成を作り、トランスポンダとしてCassiniを接続、そして、これらの機器の設定をONOSからモニタと設定を行うデモです。CzechLightはNETCONF/YANGに対応し、外からコントロールがしやすい箱でONOSに限らずODL (OpenDaylight) からも操作が可能なROADMです。

今回のデモはONOSで全てのホワイトボックスROADMを操作し、方路の切り替えを行っていました。設定を投入する際も一工夫があり、方路切り替えの設定を行う前に、前述の光伝送の設計テストツール「GNPy」を使って、強度・ノイズの計算を行った後、問題がなければ切り替えを行います。昨今のL2/L3機器の世界での仮想環境でテストなり、Batfishを通してからコンフィグ投入を行うような挟むテストのプロセスを、伝送装置の設定でも行えるのを見ることができました。

ONOS Demonstration (ISO200 F/2.8 1/8s)

TIP Summit全体を通して

伝送以外の情報も含まれるTIP Summit、最初はどうなるかと思いましたが、実際はKeynoteで全体をつかんで、自分の興味あるプロジェクトを追っているだけであっという間に2日間が過ぎました。TIPの取組み全体を知ることができる場所でもありましたが、中心に近いプロジェクトメンバたちにとってはミーティングがみっちり詰まっているこの場で一気にプロジェクトを進めるのに良い機会という側面もあるようです。

強いて一つ残念なところをあげるのであれば、日本から来ても良いのでは？と思う組織の方が少ない参加状況だった事です。もう少し国内の関係者が増えると、TIPの世界的な動きに合わせることもできるし、逆に利用して日本として強く何かを進めたり意見をすることも出来るし良いのかな、と思いました。

会合では全体の思想やOOPTのDOS以外の取り組みを深く知る事ができました。TIPではとにかく実証テストを行う動きが強く、TIPに参画する各会社によってはラボの提供を行い、公認のCommunity Labも作られています。現在、世界でCommunity Labは12箇所あり、で共同の実証を行い、それぞれのラボで得たものをお互い交換して品質をさらに高めていきます。日本にもそのラボがあれば、お互い良いものを作る精神で動けて楽しそうです。

Number of TIP CLs (ISO3200 F/4.5 1/200s)

実践をする事に価値を持つこと、特に思った以上に同業他社が組んでトライアルを進めているのがとても良い動きに見えます。これも背景がOTT主導ならではの動きなのかもしれません。とはいえ、プロジェクト的には共同で良いものができるのであれば、その恩恵にあずかる手はありません。Cloud&SDN研究所も引き続きTIPには注目し、正しく貢献できればと思います。

LOOKOUT (ISO200 31mm F/18 1/250s)
[修正履歴]
・2019/11/27: スペックに誤りがあったため修正
　誤: Minipack (Tomahawk2)
　正: Minipack (Tomahawk3)
・2019/11/27: 社名表記修正
　誤: EdgeCore
　正: Edgecore

 

本ブログの情報につきましては、自社の検証に基づいた結果からの情報提供であり、
品質保証を目的としたものではございません。