Master

 

Error Message

Solution

  1. Master와 Slave 간의 방화벽 체크를 한다.
  2. Master와 Slave의 hadoop 데이터가 기록되는 디렉터리의 권한이 유효한지 확인한다.
  3. Slave가 두 hadoop 버전의 Master와 연결된 경우  문제가 발생할 수 있다. slave쪽의 datanode 쪽을 모두 삭제하고 새로 시작한다.


분산 처리 관련 업무 중 HDFS 관련 조사가 필요하여 관련 분석 내용을 참고차 기록한다.

 

  • HDFS supports following read/write policies
    • read
      • random read
      • sequential read
    • write
      • sequential write
  • Block size, the number of replica can be set for each file.


+ Recent posts

티스토리 툴바