NetFlowの高速化 (NerFlow+GigaPcap)

昨今注目を集めているNetFlowによるモニタリングに関するユーテン・ネットワークスの取り組みをご紹介致します。

背景

インターネットサービスプロバイダ(ISP)では、ファイル交換ソフトにより帯域の80%が占有され他のサービス品質が劣化する状況の中、DoS(Denial of Services)やDDoS(Distributed DoS)攻撃のようなセキュリティ脅威、などが網運用の大きな課題となっております。また、無料通話を可能にするIP電話ソフトの存在もビジネス的に課題です。

もしユーザの利用形態によって通信利用対価モデルを詳細に設定できれば、ビジネスとして健全かつ付加価値が高いサービスを実現できます。そのシステム実現の為にはユーザ毎の利用帯域幅、種別などを把握することが必要です。

そこで、多くのISPではNetFlow技術のような、現在IETFで標準化活動が進められているIPFIX(Internet Protocol Flow Informaion eXport)技術を利用したトラヒック情報の分析を進める動きが活発化しています。これは米国CAIDA（統計情報に関連する研究を中心に行う非営利団体）が中心となって進められてきているものです。既に日本のネットワーク運用者団体の中核である日本ネットワークオペレーターズグループ(JANOG)でも盛んに議論し始めています。
しかし、これらトラヒックのフロー情報収集には、ネットワーク機器の性能面や、製品群が豊富とは言えない現状から十分な情報が取得できていない状況にあります

目的

そこでGigaPcapを基盤とする高度なネットワーク情報取得技術をより発展させ、運用者コミュニティと密接に連携し開発を進めることで、今までにないより緻密なネットワーク情報取得ソリューションを提供することを目指します。これにより今まで技術的に困難であった緻密な課金情報やセキュリティ情報の提供ができるようになります。
更に、インターネットを利用するユーザ動向の詳細情報が収集できるため、高い価値を持つコンテンツとして、データの売買等を含めた新たなビジネスの創出が可能になります。この結果、インターネットおよびＩＰネットワークで、今までにない新しいビジネスソリューションのための基盤技術を提供できるようになることが予想されます。

フロー情報収集

ネットワーク運用において、NetFlow技術によるフロー情報収集には具体的に次のニーズがあります。

・	アプリケーションの把握
・	ピアISP毎のトラヒックの把握（ピアリングの最適化）
・	Top Talkerの把握
・	DoS/DDoS検知
・	上位ISPやアドレスに基づいた課金

これを実現するシステム構成例を次にあげます。

このシステムはExporterとCollectorから構成されます。トラヒックフロー情報採取の対象となるノードはExporterと呼ばれています。NetFlowによってトラヒックフロー情報を収集する機能を持つノードはCollectorと呼ばれています。現状、Collectorは専用機器が販売されており、ExporterはCiscoやJuniperなどのルータにソフトウエアとして実装されています。

フロー情報収集の課題

高い精度のフロー情報の解析には理想的にはすべてのパケットをリアルタイムで解析する必要があります。NetFlowのExporterはルータに搭載されており、ルータ処理負荷の関係から1/5000等のサンプリングレートにて収集するのが通常です。言い換えると5000パケットに1回の頻度でしかフローを計測していないのが現実です。最大でも1/1000程度が限界のようです。Juniperでは1/1000以下のレートを推奨しています。フロー解析の観点からはこれは問題です。我々はサンプリングという概念を超える必要があります。
また、システムの観点から見れば、網の運用系とフロー観測系を分離することが安定性を向上する為に望ましいと考えられます。

GigaPcap で NetFlow を高速化

前述の技術課題やビジネス背景に対して、次のように取り組んで参ります。

1.	Netflow ExporterやCollectorの処理の高速化、スケーラビリティの向上にGigaPcapで貢献します
2.	ネットワークのフロー解析研究に貢献して行きます
3.	Netflow技術をベースに、ISP/IDCのビジネスモデル革新に貢献して行きます

具体的には、次のような技術的な取り組みを行っております。

・	ギガビット回線において、ルータに負荷をかけずに確実にNetFlowとsFlowの機構を構築します
・	従来のサンプリングとは異なる全てのIPパケットの情報を収集する環境を実現します
・	既存回線に影響を与えないシステムを提供します
・	高速なExporterやCollectorを実現します
・	IPv4及びv6に対応します

 

詳細は下記リンクをご覧ください

■GigaPcap
■GigaPcapベンチマーク
■Snortの高速化（Snort+GigaPcap）
■Etherealの高速化（Ethereal+GigaPcap）
■GigaPcap 情報漏洩対策
■情報漏洩対策ニーズ
■内部統制における記録のニーズ
■情報漏洩対策関連用語