반응형
데이터 분석을 시작하여 분석을 시작했다면 이젠 Hadoop을 사용하는 방법을 알아야 한다.
아직 데이터를 가져오는 것은 무리가 되겠지만 Hadoop에 접근 가능한 권한을 얻었다면 테스트로 붙어봐야한다.
그럼 테스트로 붙는 방법은 어떻게 해야 할까?
테스트를 하기 위해서 테스트 코드를 작성해도 무관하지만 web 으로 충분히 테스트 가능하다.
우선 Hadoop에서 사용하는 테스트 포트를 확인 해야 한다.
http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/
Daemon | Default Port | Configuration Parameter | |
---|---|---|---|
HDFS | Namenode | 50070 | dfs.http.address |
Datanodes | 50075 | dfs.datanode.http.address | |
Secondarynamenode | 50090 | dfs.secondary.http.address | |
Backup/Checkpoint node? | 50105 | dfs.backup.http.address | |
MR | Jobracker | 50030 | mapred.job.tracker.http.address |
Tasktrackers | 50060 | mapred.task.tracker.http.address | |
? Replaces secondarynamenode in 0.21. |
위 Port를 기반으로 접근 테스트를 진행 하면 된다.
http://localhost:50070
위 사이트에 접근이 가능하다면 접근 테스트는 정상적이므로 이젠 코딩을 진행 하면 되겠다.
to be continue........
반응형
'프로그래밍 > Data Science' 카테고리의 다른 글
[Data Science] Threshold bar 활용 및 Package Install (0) | 2016.11.14 |
---|---|
[Data Science] Pandas - 로딩, 저장, 형식 (0) | 2016.06.23 |
[Data Science] 정규 표현식 (Regular Expressions) (0) | 2016.06.23 |
[Data Science] 특정 값 추출 하기 & 추출 한 테이블 파일로 저장 (0) | 2016.05.12 |
[Data Science] 새너티 테스트(Sanity Check) & 중복 데이터 카운트 (0) | 2016.05.06 |