[데이터파이프라인] EMR에서 Spark 모니터링(Ganglia)

이번시간에는 Spark 모니터링 어플리케이션인 ganglia를 확인해보겠습니다.

 

처음 ganglia 웹서버 주소를 복사해서 접근시도하면 실패메세지가 뜹니다.

 

/etc/httpd/conf.d/ganglia.conf의 
Order dendy 로 되어있는 부분을 allow로 바꾸고 웹서버를 재가동해야합니다.

또는 아래 shell파일을 S3에 저장해놓고 EMR 클러스트에 단계를 추가합니다.

if [ -f "/etc/httpd/conf.d/ganglia.conf" ]; then
    echo "Setting up ganglia on master node"
    sudo sed -i 's/Order deny,allow/#Order deny,allow/g' /etc/httpd/conf.d/ganglia.conf
    sudo service httpd reload
fi

<EMR 클러스터에 단계 추가하는 법>

- jar 위치 : 실행시킬 jar 파일. 각 리전별로 shell을 실행시킬 수 있는 jar 파일을 aws에서 제공합니다.

              (s3://ap-northeast-2.elasticmapreduce/libs/script-runner/script-runner.jar)
- 인수 : shell 위치