イントロダクション

このドキュメントでは、Cosmos エコシステムと Sinfonier, BigData Analysis Generic Enabler (BigData Analysis GE) のリファレンス実装(GEri)を使用してプログラミングする方法を詳しく説明します。

BigData Analysis GE は、アーキテクチャ記述で説明されているように、バッチデータとストリームデータの両方を分析する手段を提供します。最終的にはそのようなデータの洞察を得るためです。GE のこれらの2つの異なる側面は、2つの特殊なツールセットの使用につながります。

  • Cosmos (Openstack の Sahara をベースにした公式のもの、共有された Hadoop クラスタをベースとしたライトバージョンのいずれか)、バッチ処理用のCosmos エコシステムに準拠した Tidoop と Cygnus
  • ストリーム処理のための Storm と Sinfonier

それにもかかわらず、現在のバージョンのソフトウェアによれば、両方のツールセットが同時に必要ではないことに注意してください。したがって、どちらか一方または両方を自由にインストールすることができます。セット内のすべてのツールが必須というわけではありません。あなたの配備に適しているかどうかを知るために各ツールの説明を見てください。

トップ

対象とする読者

このドキュメントは主に、すでにデプロイされている BigData Analysis GE のようなサービスを使用することを目指している開発者を対象としています。

BigData Analysis GE のようなサービスを公開することを目指している場合は、"インストール＆管理ガイド"を参照してください。Big Data サービスプロバイダになる方法を見つけることができます。

トップ

ドキュメントの構造

この紹介とは別に、この "ユーザ＆プログラマ・ガイド" には、バッチ用とストリーム分析用の2つの主要なセクションがあります。

バッチ・チャプタに関して、ユーザは永久ストレージに保存されたデータをどのように管理しアップロード/ダウンロードするかに関するインストラクションを見つけるでしょう。Cygnus の特定のセクションでは、HDFS ストレージに Orion Context Broker からのコンテキスト・データをどのように供給するかについて詳しく説明しています。I/O をマスターすると、この章では引き続き MapReduce アプリケーションの解剖学を教え続け、MapReduce アプリケーションの開発と実行方法を教えていきます。HDFS の外部に保存された CKAN データを扱うときに特定のセクションが追加されました。MapReduce の結果が非常に理解しにくかったり、簡単なものを探している場合、HiveQL はあなたのために設計されています。ローカル(CLI を使用)とリモート(カスタム Hive クライアントの作成)の両方で、選択したデータの HDFS をクエリする方法を学習します。最後に、Oozie はデータ処理スケジューラとして説明されています。

ストリーミングの章については、Sinfonier プロジェクトを理解して使用する方法を説明しています。トポロジの作り方、リアルタイム計算のグラフ、それらを Apache Storm クラスタにデプロイする方法、および、スパウト、ボルト、ドレインなどのトポロジに組み込む "モジュール" 処理部品を作成する方法も含まれています。

ユーザがSinfonier の仕組みを知ると、いくつかのユースケースが示されます。新しいモジュール (Spouts, Bolts, Drains) の開発方法を詳しく見ていきます。

注 : 以前のApache Stormの知識があれば、 "Drain" と呼ばれる追加の Storm 抽象化に忍耐強くなるようにしてください。Sinfonier がそれをどのように含んでいるかを見てください。

トップ

Github のリファレンス・リポジトリ

このリポジトリ (http://github.com/telefonicaid/fiware-cosmos) とは別に、以下のものはドキュメント全体を通して常にリンクされています。次にリストされています :

トップ

問題のレポートと連絡先情報

問題をレポートし、一般的な疑問を尋ねるのに適したチャネルがいくつかあります。それぞれは質問の性質に依存します :

  • GE/GEri に関する特定の質問については、stackoverflow.com を使用してください。通常、これらはインストールの問題、エラー、バグに関係します。コードを作成する際の開発に関する質問も同様に歓迎されます。問題を分類するために使用できるタグがいくつかあります :
  • fiware-cosmos
  • fiware-tidoop
  • fiware-cygnus
  • fiware-sinfonier
  • storm (この場合、私たちは Apache Storm の主なサポータではありません)
  • FIWAREを使用している都市の数、アクセラレータ・プログラムへの参加方法などについては、ask.fiware.org を使用してください。このソフトウェアに関する一般的な質問、たとえば、議論したいユースケースやアーキテクチャなど。
  • 個人的なメール :

注 : GE のオーナーがリクエストしない限り、GE のオーナーに電子メールで連絡することは避けてください。実際にあなたがプライベートな電子メールを送る場合、おそらく stackoverflow.com または ask.fiware.org を使うように強制する自動応答を受け取るでしょう。これは、前述の方法を使用すると、将来のユーザにとって有用な知識の公開データベースが作成されるためです。プライベートメールはプライベートなもので、共有することはできません。

トップ