Try The NetApp NFS Connector

こんにちは、倉持です。

 

さっそく「NetApp NFS Connector for Hadoop」を試してみました。これまで情報蓄積していたNetAppストレージが瞬く間に情報分析基盤へ変化させることができます。

まずは、幾つか情報を以下にまとめます。

 

 

 

★トップページ
http://www.netapp.com/uk/solutions/big-data/nfs-connector-hadoop.aspx
★プレス
http://community.netapp.com/t5/Company/Running-Hadoop-Analytics-Natively-on-NFS-Data/ba-p/100760
★Datasheet
http://www.netapp.com/uk/system/pdf-reader.aspx?cc=uk&m=ds-3599.pdf&pdfUri=tcm:42-61027
★Technical Report TR-4382 
http://www.netapp.com/uk/system/pdf-reader.aspx?cc=uk&m=tr-4382.pdf&pdfUri=tcm:42-133006

 

 

 

 

必要なもの

 

さて、さっそく試したいところですが試すのにはまず以下が必要です。

 

  1. clustered Data ONTAP or Data ONTAP 7G が NFS v3でエクスポートしている
  2. Apache Hadoop 2.2+の環境

NetAppユーザであれば、1,はプロダクションや検証・開発環境など、また、パートナー様であればシミュレータで環境をお持ちかもしれません。少しめんどくさいのは2,かと思います。Hadoopの構築経験がある方であっても多少用意するのはめんどくさいと感じるかもしれません。

そこで今回は、昨今話題沸騰中のDockerを使って環境を作りたいと思います。「Docker知らない」という人でも、大丈夫です。手順通りにやればできます。(エンジニアであればできます!)

 

 

 

まずDockerの準備

 

もはや箇条書きで単純に書きます。

 

  • VMwareやらVirtualBox等でCentOSやUbuntuの仮想マシンを用意
  • dokerをインストール

これだけです。

dockerのインストールは数分で終わります。

 

参考:https://docs.docker.com/installation/#installation

 

 

 

お試し手順

 

以下のような流れになります。

 

通常HadoopはHDFSをデータを格納するために使いますが、NFSの領域をその代わりに使うように変更してやり、Jobを投げるという簡単なデモ環境です。

 

  1. NFSv3のエクスポート領域を準備(既存でお持ちのものを流用可)
  2. デモ用コンテナのレシピをダウンロード
  3. ご自身の環境似あわせて、IPアドレスやエクスポートの領域をちょこっと編集
  4. デモ用コンテナをビルド
  5. デモ用コンテナを起動
  6. hadoop コマンド実施で確認

詳しい手順はこちらを御覧ください <手引

 

*デモ用なので多少制約があります

*システムやVM、コンテナ、NetAppのパフォーマンス(特にシミュレータなどをお使いの場合)によってJobに時間がかかる場合があります 

 

 

Enjoy!

 

 

Comments