[hadoop] 2. 로컬에 있는 파일을 HDFS에 전송하기

 

대용량 빅데이터 전송 시 FTP로 자주 전달받게 되는데,

이렇게 로컬에 들어온 파일을 어떻게 HDFS에 저장해야되는지 알아봅니다.

HDFS는 아래와 같은 명령어로 사용합니다.

hdfs dfs [EGNERIC_OPTIONS] [COMMEND_OPTIONS]

 

1. HDFS 파일 목록 조회하는 방법

hadoop fs –ls {path}

하둡을 설치 구동하고 바로 hdfs를 조회해보니 아무것도 나오지 않았습니다.

아래에서 로컬에서 hdfs로 파일을 전송하고나서 다시 조회해봅시다!

 

 

2. 로컬에서 HDFS로 파일을 전송하는 방법

hadoop fs –put {파일경로} {목적지경로}

테스트를 해보기 위해서 test.txt라는 파일을 만들어주었습니다.

위의 명령어를 통해 test.txt파일을 hdfs에 전송해봅시다.

 

test.txt 파일 전송 후

다시 hadoop fs –ls / 명령어를 입력해보니 test.txt가 정상적으로 전송된 것을 조회할 수 있습니다.