サニティチェック手順¶
コンテンツ :
エンド・ツー・エンドのテスト¶
HAAS エンジン (Sahara ベース)¶
$ curl -X GET http://localhost:5000"
{"versions": {"values": [{"status": "stable", "updated": "2015-03-30T00:00:00Z", "media-types": [{"base": "application/json", "type": "application/vnd.openstack.identity-v3+json"}], "id": "v3.4", "links": [{"href": "http://localhost:5000/v3/", "rel": "self"}]}, {"status": "stable", "updated": "2014-04-17T00:00:00Z", "media-types": [{"base": "application/json", "type": "application/vnd.openstack.identity-v2.0+json"}], "id": "v2.0", "links": [{"href": "http://localhost:5000/v2.0/", "rel": "self"}, {"href": "http://docs.openstack.org/", "type": "text/html", "rel": "describedby"}]}]}}`
$ curl -X GET "http://localhost:5000/v3"
{"version": {"status": "stable", "updated": "2015-03-30T00:00:00Z", "media-types": [{"base": "application/json", "type": "application/vnd.openstack.identity-v3+json"}], "id": "v3.4", "links": [{"href": "http://localhost:5000/v3/", "rel": "self"}]}}HAAS エンジン (Hadoop ベースの共有)¶
テスト対象のコンピューティング・サービスは、サービス・ノードによって公開されるものです。
ssh に関しては、秘密鍵を使用して作成した sudoer ユーザとしてサービス・ノードに接続できる必要があります。
$ ssh -i /path/to/the/<private_key> <sudoer_user>@<services_host>
Last login: Sun Jul 26 12:23:58 2015 from mac-510380.local.hi.inet
[services_host ~]$ストレージ・クラスタ¶
テストされるストレージ・サービスは、サービス・ノードによって公開されるサービスです。
HttpFS は、HDFS ルートディレクトリの内容をリストすることができなければなりません。hdfs ユーザとしての簡単な認証 :
$ curl -X GET "http://<services_host>:14000/webhdfs/v1/user?op=liststatus&user.name=hdfs" | python -m json.tool
{
"FileStatuses": {
"FileStatus": [
{
"accessTime": 0,
"blockSize": 0,
"group": "hdfs",
"length": 0,
"modificationTime": 1430907735128,
"owner": "ambari-qa",
"pathSuffix": "ambari-qa",
"permission": "770",
"replication": 0,
"type": "DIRECTORY"
},
...
]
}
}python -m json.tool は、リクエストの JSON 出力をきれいに印刷するために使用されます。
OAuth2 で HttpFS REST API を保護することに決めた場合は、有効なトークンをリクエストし、上記のリクエストにそれを添付する必要があります
$ curl -k -X POST "https://<tokens_generator_host>:13000/cosmos-auth/v1/token" -H "Content-Type: application/x-www-form-urlencoded" -d "grant_type=password&username=xxxxxxxx&password=xxxxxxxx"
{
"access_token": "qjHPUcnW6leYAqr3Xw34DWLQlja0Ix",
"token_type": "Bearer",
"expires_in": 3600,
"refresh_token": "V2Wlk7aFCnElKlW9BOmRzGhBtqgR2z"
}
$ curl -X GET "http://<services_host>:14000/webhdfs/v1/user?op=liststatus&user.name=hdfs" -H "X-Auth-Token: qjHPUcnW6leYAqr3Xw34DWLQlja0Ix" | python -m json.tool
{
"FileStatuses": {
"FileStatus": [
...
]
}
}ssh に関しては、秘密鍵を使用して作成した sudoer ユーザとしてサービス・ノードに接続できる必要があります。
$ ssh -i /path/to/the/<private_key> <sudoer_user>@<services_host>
Last login: Sun Jul 26 12:23:58 2015 from mac-510380.local.hi.inet
[services_host ~]$Cosmos の GUI¶
GUI をテストする最も明白な方法は、それを使用して実行していることです。ブラウザで GUI に接続してみてください。別のポートを設定していない限り、デフォルトの TCP/80ポートです。新しいユーザを登録します。Github で README の usage セクションに書かれているページを参照してください。
とにかく、telnet の使用も有効なメソッドです:
$ telnet <host_running_the_gui> 80
Trying <host_running_the_gui>...
Connected to <host_running_the_gui>.
Escape character is '^]'.
^CConnection closed by foreign host.Tidoop¶
Hadoop 拡張 (tidoop-hadoop-ext) と,、MapReduce ライブラリ (tidoop-mr-lib) はどちらも、e2e の観点からテストできるサービスではありません。
それにもかかわらず、MapReduce ライブラリの REST API は、バージョン・リクエストに応答する必要があります。
$ curl -X GET "http://<host_running_the_api>:12000/version"
{version: 0.1.0}とにかく、telnet の使用も有効なメソッドです :
$ telnet <host_running_the_api> 12000
Trying <host_running_the_api>...
Connected to <host_running_the_api>.
Escape character is '^]'.
^CConnection closed by foreign host.Cygnus¶
Cygnus は、設定されたすべての HTTP ソースで NGSI ライクの通知が届くのを待ち受けます。単一のソースが TCP/5050 ポートで待機するように設定されていると仮定すると、NGSI通知をエミュレートする、resources/ngsi-examples にあるスクリプトを呼び出すことで動作していることをテストできます :
$ resources/ngsi-examples/notification-json-simple.xml http://<host_running_cygnus>:5050/notify
* Hostname was NOT found in DNS cache
* Trying ::1...
* Connected to <host_running_cygnus> (::1) port 5050 (#0)
> POST /notify HTTP/1.1
> Host: <host_running_cygnus>:5050
> Content-Type: application/json
> Accept: application/json
> User-Agent: orion/0.10.0
> Fiware-Service: def_serv
> Fiware-ServicePath: def_serv_path
> Content-Length: 460
>
* upload completely sent off: 460 out of 460 bytes
< HTTP/1.1 200 OK
< Transfer-Encoding: chunked
* Server Jetty(6.1.26) is not blacklisted
< Server: Jetty(6.1.26)
<
* Connection #0 to host <host_running_cygnus> left intactとにかく、telnet の使用も有効なメソッドです :
$ telnet <host_running_cygnus> 5050
Trying <host_running_cygnus>...
Connected to <host_running_cygnus>.
Escape character is '^]'.
^CConnection closed by foreign host.さらに、TCP/8081 ポートには、REST ライクの管理インターフェイスが設定されています。現在のバージョンの Cygnus は、アクセスしたときにバージョンを返します :
$ curl -X GET "http://<host_running_cygnus>:8081/version"
{"version":"0.8.2_SNAPSHOT.8a6c07054da894fc37ef30480cb091333e2fccfa"}実行中のプロセスのリスト¶
HAAS エンジン (Sahara ベース)¶
Glance サービスによって実行されるプロセス :
$ ps -ef | grep glance | grep -v grep
fiware 9779 9757 0 jun09 pts/7 00:00:00 /usr/bin/python /usr/local/bin/glance-registry --config-file=/etc/glance/glance-registry.conf
fiware 9808 9779 0 jun09 pts/7 00:00:05 /usr/bin/python /usr/local/bin/glance-registry --config-file=/etc/glance/glance-registry.conf
fiware 9809 9779 0 jun09 pts/7 00:00:05 /usr/bin/python /usr/local/bin/glance-registry --config-file=/etc/glance/glance-registry.conf
fiware 9817 9787 0 jun09 pts/8 10:20:41 /usr/bin/python /usr/local/bin/glance-api --config-file=/etc/glance/glance-api.conf
fiware 9826 9817 0 jun09 pts/8 00:00:05 /usr/bin/python /usr/local/bin/glance-api --config-file=/etc/glance/glance-api.conf
fiware 9827 9817 0 jun09 pts/8 00:00:05 /usr/bin/python /usr/local/bin/glance-api --config-file=/etc/glance/glance-api.confNova サービスによって実行されるプロセス :
$ ps -ef | grep nova | grep -v grep
fiware 9965 9940 0 jun09 pts/9 10:11:53 /usr/bin/python /usr/local/bin/nova-api
fiware 9974 9965 0 jun09 pts/9 00:00:05 /usr/bin/python /usr/local/bin/nova-api
fiware 9975 9965 0 jun09 pts/9 00:00:05 /usr/bin/python /usr/local/bin/nova-api
fiware 9978 9965 0 jun09 pts/9 00:25:45 /usr/bin/python /usr/local/bin/nova-api
fiware 9979 9965 0 jun09 pts/9 00:25:44 /usr/bin/python /usr/local/bin/nova-api
fiware 9986 9965 0 jun09 pts/9 00:00:05 /usr/bin/python /usr/local/bin/nova-api
fiware 9987 9965 0 jun09 pts/9 00:00:05 /usr/bin/python /usr/local/bin/nova-api
fiware 10068 10042 0 jun09 pts/10 10:19:58 /usr/bin/python /usr/local/bin/nova-conductor --config-file /etc/nova/nova.conf
fiware 10101 10068 0 jun09 pts/10 01:56:40 /usr/bin/python /usr/local/bin/nova-conductor --config-file /etc/nova/nova.conf
fiware 10102 10068 0 jun09 pts/10 01:56:30 /usr/bin/python /usr/local/bin/nova-conductor --config-file /etc/nova/nova.conf
fiware 10103 10068 0 jun09 pts/10 01:56:16 /usr/bin/python /usr/local/bin/nova-conductor --config-file /etc/nova/nova.conf
fiware 10104 10068 0 jun09 pts/10 01:56:33 /usr/bin/python /usr/local/bin/nova-conductor --config-file /etc/nova/nova.conf
fiware 10119 10081 0 jun09 pts/11 01:05:16 /usr/bin/python /usr/local/bin/nova-cert --config-file /etc/nova/nova.conf
fiware 10161 10125 0 jun09 pts/12 01:59:40 /usr/bin/python /usr/local/bin/nova-network --config-file /etc/nova/nova.conf
fiware 10210 10170 0 jun09 pts/13 01:11:32 /usr/bin/python /usr/local/bin/nova-scheduler --config-file /etc/nova/nova.conf
fiware 10252 10220 0 jun09 pts/14 00:19:12 /usr/bin/python /usr/local/bin/nova-novncproxy --config-file /etc/nova/nova.conf --web /opt/stack/noVNC
fiware 10292 10265 0 jun09 pts/15 01:04:02 /usr/bin/python /usr/local/bin/nova-consoleauth --config-file /etc/nova/nova.conf
root 10340 10311 0 jun09 pts/16 00:00:00 sg libvirtd /usr/local/bin/nova-compute --config-file /etc/nova/nova.conf
fiware 10350 10340 0 jun09 pts/16 03:13:59 /usr/bin/python /usr/local/bin/nova-compute --config-file /etc/nova/nova.confCinder サービスによって実行されるプロセス :
$ ps -ef | grep cinder | grep -v grep
fiware 10428 10406 0 jun09 pts/17 10:21:39 /usr/bin/python /usr/local/bin/cinder-api --config-file /etc/cinder/cinder.conf
fiware 10437 10428 0 jun09 pts/17 00:00:05 /usr/bin/python /usr/local/bin/cinder-api --config-file /etc/cinder/cinder.conf
fiware 10438 10428 0 jun09 pts/17 00:00:05 /usr/bin/python /usr/local/bin/cinder-api --config-file /etc/cinder/cinder.conf
fiware 10474 10449 0 jun09 pts/18 01:26:59 /usr/bin/python /usr/local/bin/cinder-scheduler --config-file /etc/cinder/cinder.conf
fiware 10512 10484 0 jun09 pts/19 10:22:40 /usr/bin/python /usr/local/bin/cinder-volume --config-file /etc/cinder/cinder.conf
fiware 10530 10512 0 jun09 pts/19 01:41:24 /usr/bin/python /usr/local/bin/cinder-volume --config-file /etc/cinder/cinder.confSahara のサービスによって実行されるプロセス :
$ ps -ef | grep sahara | grep -v grep
fiware 10948 10923 0 jun09 pts/20 00:27:53 /usr/bin/python /usr/local/bin/sahara-all --config-file /etc/sahara/sahara.confその他のサービスの実行 :
$ ps -ef | grep rabbitmq | grep -v grep
rabbitmq 1559 1 0 jun09 ? 00:00:28 /usr/lib/erlang/erts-5.10.4/bin/epmd -daemon
rabbitmq 6868 1 0 jun09 ? 00:00:00 /bin/sh /usr/sbin/rabbitmq-server
rabbitmq 6877 6868 0 jun09 ? 08:32:56 /usr/lib/erlang/erts-5.10.4/bin/beam.smp -W w -K true -A30 -P 1048576 -- -root /usr/lib/erlang -progname erl -- -home /var/lib/rabbitmq -- -pa /usr/lib/rabbitmq/lib/rabbitmq_server-3.2.4/sbin/../ebin -noshell -noinput -s rabbit boot -sname rabbit@dev-fiwr-ubuntu-01 -boot start_sasl -kernel inet_default_connect_options [{nodelay,true}] -sasl errlog_type error -sasl sasl_error_logger false -rabbit error_logger {file,"/var/log/rabbitmq/rabbit@dev-fiwr-ubuntu-01.log"} -rabbit sasl_error_logger {file,"/var/log/rabbitmq/rabbit@dev-fiwr-ubuntu-01-sasl.log"} -rabbit enabled_plugins_file "/etc/rabbitmq/enabled_plugins" -rabbit plugins_dir "/usr/lib/rabbitmq/lib/rabbitmq_server-3.2.4/sbin/../plugins" -rabbit plugins_expand_dir "/var/lib/rabbitmq/mnesia/rabbit@dev-fiwr-ubuntu-01-plugins-expand" -os_mon start_cpu_sup false -os_mon start_disksup false -os_mon start_memsup false -mnesia dir "/var/lib/rabbitmq/mnesia/rabbit@dev-fiwr-ubuntu-01"
rabbitmq 7013 6877 0 jun09 ? 00:00:00 inet_gethost 4
rabbitmq 7014 7013 0 jun09 ? 00:00:00 inet_gethost 4
$ ps -ef | grep apache | grep -v grep
root 7758 7736 0 jun09 pts/4 00:00:00 sudo tail -f /var/log/apache2/keystone.log
root 7766 7758 0 jun09 pts/4 00:00:00 tail -f /var/log/apache2/keystone.log
root 7790 7768 0 jun09 pts/5 00:00:00 sudo tail -f /var/log/apache2/keystone_access.log
root 7791 7790 0 jun09 pts/5 00:00:00 tail -f /var/log/apache2/keystone_access.log
www-data 7794 8775 0 jul28 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 7808 8775 0 jul28 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 7809 8775 0 jul28 ? 00:00:00 /usr/sbin/apache2 -k start
root 8775 1 0 jun09 ? 00:01:48 /usr/sbin/apache2 -k start
root 8952 8926 0 jun09 pts/6 00:00:00 sudo tail -f /var/log/apache2/horizon_error.log
root 8955 8952 0 jun09 pts/6 00:00:00 tail -f /var/log/apache2/horizon_error.log
$ ps -ef | grep mysqld | grep -v grep
mysql 7308 1 0 jun09 ? 02:22:53 /usr/sbin/mysqldHAAS エンジン (Hadoop ベースの共有)¶
Java プロセスをリストするには、Java から jps コマンドを使用します。はい、Hadoop は Java プロセスです。ネーム・ノード内のプロセスは、次のようにする必要があります :
$ jps
31622 Jps
23013 NameNode
22405 SecondaryNameNodeデータ・ノードのそれぞれのプロセスは以下の通りでなければなりません :
$ jps
23445 Jps
10989 DataNodejps が、OpenJDK で配布されていないことを確認してください。その場合は、次のように ps コマンドを使用する必要があります :
$ ps -ef | grep NameNode | grep -v grep
hdfs 23013 1 0 Jul22 ? 00:28:36 /usr/java/jdk1.7.0_71//bin/java -Dproc_namenode -Xmx1024m -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/var/log/hadoop/hdfs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/lib/hadoop -Dhadoop.id.str=hdfs -Dhadoop.root.logger=INFO,console -Djava.library.path=:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/var/log/hadoop/hdfs -Dhadoop.log.file=hadoop-hdfs-namenode-dev-fiwr-bignode-01.log -Dhadoop.home.dir=/usr/lib/hadoop -Dhadoop.id.str=hdfs -Dhadoop.root.logger=INFO,RFA -Djava.library.path=:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -server -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -XX:ErrorFile=/var/log/hadoop/hdfs/hs_err_pid%p.log -XX:NewSize=200m -XX:MaxNewSize=200m -Xloggc:/var/log/hadoop/hdfs/gc.log-201507221050 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xms1024m -Xmx1024m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT -server -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -XX:ErrorFile=/var/log/hadoop/hdfs/hs_err_pid%p.log -XX:NewSize=200m -XX:MaxNewSize=200m -Xloggc:/var/log/hadoop/hdfs/gc.log-201507221050 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xms1024m -Xmx1024m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT -server -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -XX:ErrorFile=/var/log/hadoop/hdfs/hs_err_pid%p.log -XX:NewSize=200m -XX:MaxNewSize=200m -Xloggc:/var/log/hadoop/hdfs/gc.log-201507221050 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xms1024m -Xmx1024m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT -Dhadoop.security.logger=INFO,RFAS org.apache.hadoop.hdfs.server.namenode.NameNodeストレージ・クラスタ¶
Java プロセスを一覧表示するには、Java から jps コマンドを使用します。はい、Hadoop は Java プロセスです。ネーム・ノード内のプロセスは、次のようにする必要があります :
$ jps
31622 Jps
23013 NameNode
22405 SecondaryNameNodeデータ・ノードのそれぞれのプロセスは以下の通りでなければなりません :
$ jps
23445 Jps
10989 DataNodejps が OpenJDK で配布されていないことを確認してください。その場合は、次のように ps コマンドを使用する必要があります。
$ ps -ef | grep NameNode | grep -v grep
hdfs 23013 1 0 Jul22 ? 00:28:36 /usr/java/jdk1.7.0_71//bin/java -Dproc_namenode -Xmx1024m -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/var/log/hadoop/hdfs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/lib/hadoop -Dhadoop.id.str=hdfs -Dhadoop.root.logger=INFO,console -Djava.library.path=:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/var/log/hadoop/hdfs -Dhadoop.log.file=hadoop-hdfs-namenode-dev-fiwr-bignode-01.log -Dhadoop.home.dir=/usr/lib/hadoop -Dhadoop.id.str=hdfs -Dhadoop.root.logger=INFO,RFA -Djava.library.path=:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -server -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -XX:ErrorFile=/var/log/hadoop/hdfs/hs_err_pid%p.log -XX:NewSize=200m -XX:MaxNewSize=200m -Xloggc:/var/log/hadoop/hdfs/gc.log-201507221050 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xms1024m -Xmx1024m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT -server -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -XX:ErrorFile=/var/log/hadoop/hdfs/hs_err_pid%p.log -XX:NewSize=200m -XX:MaxNewSize=200m -Xloggc:/var/log/hadoop/hdfs/gc.log-201507221050 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xms1024m -Xmx1024m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT -server -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -XX:ErrorFile=/var/log/hadoop/hdfs/hs_err_pid%p.log -XX:NewSize=200m -XX:MaxNewSize=200m -Xloggc:/var/log/hadoop/hdfs/gc.log-201507221050 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xms1024m -Xmx1024m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT -Dhadoop.security.logger=INFO,RFAS org.apache.hadoop.hdfs.server.namenode.NameNodeCosmos の GUI¶
Cosmos GUI は、単一の Node.js プロセスを実行します :
$ ps -ef | grep node | grep -v grep
503 12773 12770 0 3:21PM ttys000 0:00.46 node ./src/app.jsTidoop¶
Hadoop 拡張 (tidoop-hadoop-ext) と、MapReduce ライブラリ (tidoop-mr-lib) は、プロセスの観点からテストできるサービスではありません。
それにもかかわらず、MapReduce ライブラリの REST API は、次の Node.js プロセスを実行します :
$ ps -ef | grep node | grep -v grep
503 12827 12824 0 3:26PM ttys000 0:00.47 node ./src/server.jsCygnus¶
Cygnus は単一の Java プロセスを実行します :
$ ps -ef | grep cygnus | grep -v grep
503 9760 687 0 9:33AM ttys003 0:03.17 /usr/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp /Users/frb/devel/fiware/fiware-cygnus/conf:/Applications/apache-flume-1.4.0-bin/lib/*:/Applications/apache-flume-1.4.0-bin/plugins.d/cygnus/lib/*:/Applications/apache-flume-1.4.0-bin/plugins.d/cygnus/libext/* -Djava.library.path= com.telefonica.iot.cygnus.nodes.CygnusApplication -f conf/agent.conf -n cygnusagentネットワーク・インターフェイスのアップとオープン¶
HAAS エンジン(Sahara ベース)¶
Nova サービスによってオープンされたポート :
# Standard Openstack API
$ netstat -na | grep -v grep | grep 8774
tcp 0 0 0.0.0.0:8774 0.0.0.0:* LISTEN
# Metadata port
$ netstat -na | grep -v grep | grep 8775
tcp 0 0 0.0.0.0:8775 0.0.0.0:* LISTEN
# API for EC2
$ netstat -na | grep -v grep | grep 8773
tcp 0 0 0.0.0.0:8773 0.0.0.0:* LISTEN
# Not-VNC proxy
$ netstat -na | grep -v grep | grep 6080
tcp 0 0 0.0.0.0:6080 0.0.0.0:* LISTENCinder サービスによってオープンされたポート :
$ netstat -na | grep -v grep | grep 8776
tcp 0 0 0.0.0.0:8776 0.0.0.0:* LISTENGlance サービスによってオープンされたポート :
# Registry
$ netstat -na | grep -v grep | grep 9191
tcp 0 0 0.0.0.0:9191 0.0.0.0:* LISTEN
# API
$ netstat -na | grep -v grep | grep 9292
tcp 0 0 0.0.0.0:9292 0.0.0.0:* LISTENHorizon サービスによってオープンされたポート :
# Public port
$ netstat -na | grep -v grep | grep 5000
tcp6 0 0 :::5000 :::* LISTEN
# Admin port
$ netstat -na | grep -v grep | grep 35357
tcp6 0 0 :::35357 :::* LISTEN他の共通サービスによってオープンされたポート :
$ netstat -na | grep -v grep |grep LISTEN |grep 3306
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN
$ netstat -na | grep -v grep |grep LISTEN |grep 80
tcp6 0 0 :::80 :::* LISTEN
$ netstat -na | grep -v grep |grep LISTEN |grep 5672
tcp6 0 0 :::5672 :::* LISTENHAAS エンジン (Hadoop ベースの共有)¶
HDFS サービスによってオープンされたポート :
# NameNode (IPC)
$ netstat -an | grep 8020 | grep -v grep
tcp 0 0 10.95.236.70:8020 0.0.0.0:* LISTEN
# NameNode (http version)
$ netstat -an | grep 50070 | grep -v grep
tcp 0 0 10.95.236.70:50070 0.0.0.0:* LISTEN
# SecondaryNamenode
$ netstat -an | grep 50090 | grep -v grep
tcp 0 0 10.95.236.44:50090 0.0.0.0:* LISTEN
# Datanodes (IPC)
$ netstat -na | grep 8010 | grep -v grep
tcp 0 0 0.0.0.0:8010 0.0.0.0:* LISTEN
# Datanodes (IPC for data transfer)
$ netstat -na | grep 50010 | grep -v grep
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN
# Datanodes (http)
$ netstat -na | grep 50075 | grep -v grep
tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTENYARN サービスによってオープンされたポート :
# ResourceManager
$ netstat -na | grep 8050
tcp 0 0 ::ffff:10.95.236.44:8050 :::* LISTEN
# ResourceManager (http version)
$ netstat -na | grep 8088
tcp 0 0 ::ffff:10.95.236.44:8088 :::* LISTEN
# ResourceManager (admin)
$ netstat -na | grep 8141
tcp 0 0 ::ffff:10.95.236.44:8141 :::* LISTEN
# Scheduler
$ netstat -na | grep 8030
tcp 0 0 ::ffff:10.95.236.44:8030 :::* LISTEN
# Timeline
$ netstat -na | grep 10200
tcp 0 0 ::ffff:10.95.236.44:10200 :::* LISTEN
# Timeline (http version)
$ netstat -na | grep 8188
tcp 0 0 ::ffff:10.95.236.44:8188 :::* LISTEN
# TimeLine (https version)
$ netstat -na | grep 8190
tcp 0 0 ::ffff:10.95.236.44:8190 :::* LISTEN
# ResourceTracker:
$ netstat -na | grep 8025
tcp 0 0 ::ffff:10.95.236.44:8025 :::* LISTENMapReduce2 サービスによってオープンされたポート :
# JobHistory
$ netstat -na | grep 10020 | grep -v grep
tcp 0 0 10.95.236.44:10020 0.0.0.0:* LISTEN
# JobHistory (http version)
$ netstat -na | grep 19888 | grep -v grep
tcp 0 0 10.95.236.44:19888 0.0.0.0:* LISTENストレージ・クラスタ¶
HDFS サービスによってオープンされたポート :
# NameNode (IPC)
$ netstat -an | grep 8020 | grep -v grep
# NameNode (http version)
$ netstat -an | grep 50070 | grep -v grep
tcp 0 0 10.95.236.64:50070 0.0.0.0:* LISTEN
# SecondaryNamenode
$ netstat -an | grep 50090 | grep -v grep
tcp 0 0 10.95.236.44:50090 0.0.0.0:* LISTEN
# Datanodes (IPC)
$ netstat -na | grep 8010 | grep -v grep
tcp 0 0 0.0.0.0:8010 0.0.0.0:* LISTEN
# Datanodes (IPC for data transfer)
$ netstat -na | grep 50010 | grep -v grep
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN
# Datanodes (http)
$ netstat -na | grep 50075 | grep -v grep
tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTENHDFS サービスによってオープンされたポート :
$ netstat -na | grep 14000 | grep -v grep
tcp 0 0 :::14000 :::* LISTENCosmos の GUI¶
Cosmos GUI が単一のポートをオープンします :
$ netstat -na | grep 80 | grep -v grep
tcp4 0 0 *.80 *.* LISTENTidoop¶
Hadoop 拡張 (tidoop-hadoop-ext) と、MapReduce ライブラリ (tidoop-mr-lib) は、オープン・インタフェースとポートの観点からテストできるサービスではありません。
それにもかかわらず、MapReduce ライブラリの REST API は、次のポートをオープンします :
$ netstat -na | grep 12000 | grep -v grep
tcp4 0 0 *.12000 *.* LISTENCygnus¶
Cygnus は単一のポートをオープンします :
$ netstat -na | grep 5050 | grep -v grep
tcp4 0 0 *.5050 *.* LISTENデータベース¶
HAAS エンジン (Sahara ベース)¶
N/A
HAAS エンジン (Hadoop ベースの共有)¶
N/A
ストレージ・クラスタ¶
N/A
Cosmos の GUI¶
GUI は、Tidoopと共有されている cosmos という名前の MySQL データベースで動作し、cosmos_user という名前のテーブルに登録されたユーザを追跡します。REST API のインストール時に、データベースとテーブルの両方がプロビジョニングされている必要があります。それらの存在を次のようにチェックしてください :
$ mysql -u cb -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
...
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show databases;
+-----------------------+
| Database |
+-----------------------+
| information_schema |
| cosmos |
| mysql |
| test |
+-----------------------+
4 rows in set (0.00 sec)
mysql> use cosmos;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+----------------------+
| Tables_in_cosmos |
+----------------------+
| tidoop_job |
| cosmos_user |
+----------------------+
2 rows in set (0.00 sec)
mysql> select * from cosmos_user;
0 rows in set (0.00 sec)Tidoop¶
Hadoop 拡張 (tidoop-hadoop-ext) と、MapReduce ライブラリ (tidoop-mr-lib) はどちらもサービスではないため、データベースとのやりとりはありません。
それにもかかわらず、MapReduce ライブラリの REST API は、Cosmos GUIと共有されている cosmos という名前の MySQL データベースで動作し、tidoop_job という名前のテーブル中の MapReduce ジョブを追跡します。REST API のインストール時に、データベースとテーブルの両方がプロビジョニングされている必要があります。それらの存在を次のようにチェックしてください :j
$ mysql -u cb -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
...
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show databases;
+-----------------------+
| Database |
+-----------------------+
| information_schema |
| cosmos |
| mysql |
| test |
+-----------------------+
4 rows in set (0.00 sec)
mysql> use cosmos;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+----------------------+
| Tables_in_cosmos |
+----------------------+
| tidoop_job |
| cosmos_user |
+----------------------+
2 rows in set (0.00 sec)
mysql> select * from tidoop_job;
0 rows in set (0.00 sec)Cygnus¶
N/A