개발환경/Server

대용량 빅데이터 전송 시 FTP로 자주 전달받게 되는데, 이렇게 로컬에 들어온 파일을 어떻게 HDFS에 저장해야되는지 알아봅니다. HDFS는 아래와 같은 명령어로 사용합니다. hdfs dfs [EGNERIC_OPTIONS] [COMMEND_OPTIONS] 1. HDFS 파일 목록 조회하는 방법 hadoop fs –ls {path} 하둡을 설치 구동하고 바로 hdfs를 조회해보니 아무것도 나오지 않았습니다. 아래에서 로컬에서 hdfs로 파일을 전송하고나서 다시 조회해봅시다! 2. 로컬에서 HDFS로 파일을 전송하는 방법 hadoop fs –put {파일경로} {목적지경로} 테스트를 해보기 위해서 test.txt라는 파일을 만들어주었습니다. 위의 명령어를 통해 test.txt파일을 hdfs에 전송해봅시다. ..

개발환경/Server

우분투에 하둡을 설치해봅니다. Hadoop 사용 전 JAVA 설치 필수입니다. 하둡 설치 이전에 java가 먼저 설치되어있어야 합니다. java가 설치되어있지 않으신 분들은 아래 링크를 들어가서 java를 설치하고 와주세요! https://domdom.tistory.com/523 [java] ubuntu 18.04에 java 8 설치하기 아주 쉽게 우분투 18.04에 자바8 설치해봅니다. 1. 설치 전 먼저 apt-get 업데이트 진행합니다. sudo apt-get update 2. openjdk-8-jdk를 설치합니다. Do you want to continue? 가 나오면 Y를 입력해주세요. sudo apt-get in domdom.tistory.com 하둡 설치를 시작합니다. 1. 하둡 사용을 위해..

개발환경/Server

아주 쉽게 우분투 18.04에 자바8 설치해봅니다. 1. 설치 전 먼저 apt-get 업데이트 진행합니다. sudo apt-get update 2. openjdk-8-jdk를 설치합니다. Do you want to continue? 가 나오면 Y를 입력해주세요. sudo apt-get install openjdk-8-jdk openjdk-8-jre 3. 자바8 설치가 완료됨을 확인합니다. java –version 4. JAVA_HOME 환경변수를 설정합니다. vi 편집기로 .bashrc 파일을 열어 JAVA_HOME 환경변수 내용을 추가해줍니다. sudo vi ~/.bashrc export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ 저장한 내용을 적용합니다. sour..

개발환경/Server

윈도우 Oracle VM VirtualBox에서 우분투 GUI 환경 구축하는 방법입니다. virtualbox 홈페이지에 들어가서 Oracle VM VirtualBox 최신버전을 다운받았습니다. https://www.virtualbox.org/ Oracle VM VirtualBox Welcome to VirtualBox.org! News Flash New October 11th, 2022VirtualBox 6.1.40 released! Oracle today released a 6.1 maintenance release which improves stability and fixes regressions. See the Changelog for details. New October 10th, 2022Virt..

개발환경/Server

오류 내용 ┌──(vagrant㉿kali)-[~] └─$ sudo apt-add-repository -y ppa:ethereum/ethereum sudo: apt-add-repository: command not found 해결 방법 ┌──(vagrant㉿kali)-[~] └─$ sudo apt install software-properties-common

개발환경/Server

1. 첫번째 오류 "msg":"Failed to unlink socket file","attr":{"path":"/tmp/mongodb-27017.sock","error":"Operation not permitted"} mongod 명령어로 몽고DB를 실행했을 때, 오류가 위처럼 뜨면 mongodb-27017.sock 파일을 삭제해주면 됩니다. sudo rm -rf /tmp/mongodb-27017.sock 2. 두번째 오류 No TransportLayer configured during NetworkInterface startup... 또는 NonExistentPath: Data directory /data/db not found. Create the missing directory or specify..

개발환경/Server

CTF 문제를 풀면 보통 RCE 문제의 경우 파일 업로드나 명령 실행 취약점으로 Flag 파일을 찾아서 내용을 읽어오면 끝인데, 현실에서는 그걸로 끝나면 안되고 웹서버에 있는 소스코드 추출이라던지 백도어 파일 작성이라던지 등의 행위를 하게 됩니다. (물론 버그바운티나 모의해킹 같은 합법적인 환경에서 말이죠) 그럼 웹쉘도 업로드 했겠다 소스코드들을 어떻게 뽑아야 될까 고민이 된 적이 있지 않나요? 여러 방법들이 있겠지만 그 중에서 저는 바로바로바로바로 이 방법을 사용했습니다. 소스코드들을 모두 압축해서 그 압축파일을 웹에서 접근가능한 public 경로에 위치해두고 웹으로 접근해서 직접 다운 받기 어마어마하죠? 그래서 결국 본론으로 돌아와서 저걸 하려면 리눅스에서 파일 및 디렉토리를 압축하는 방법을 알아야했..

개발환경/Server

scp 명령어는 리눅스와 리눅스 또는 리눅스와 Windows OS 간의 파일 전송이 정말 용이하게 해주는 명령어 중에 하나죠. 원격지에서 로컬로 파일을 옮길 일이 많지는 않아서 매번 까먹어서 작성해둡니다. 사용법 1. 로컬에서 원격으로 (Local→Remote) > scp [전송할 파일 경로] [유저명]@[IP주소]:[받을 경로] EX) 로컬의 현재 경로에 있는 sample.txt 파일을 원격지의 /home/root 디렉토리로 전송 > scp ./sample.txt domdomi@1.123.xxx.xxx:/home/root/ Ubuntu 20.04.2 LTS 돔돔이 블로그!! domdomi@1.123.xxx.xxx's password: sample.txt 100% 5 1.2KB/s 00:00 2. 원격에..

개발환경/Server

네이버 NCLOUD 우분투 서버 스토리지 생성(추가)하는 방법입니다 엔클라우드 서버 리스트에서 스토리지를 추가할 서버를 선택하고 오른쪽마우스 클릭하여 스토리지 생성을 클릭합니다 원하는 만큼 스토리지 크기를 입력하여 추가합니다. 스토리지 크기는 최소 10GB 이상, 최대 2000 GB까지 가능합니다. 저는 350GB 스토리지를 생성했습니다. 생성된 스토리지가 /dev/xvdb로 연결된 것을 확인합니다. 서버에 접속하여 fdisk -l 또는 fdisk --list 명령어로 /dev/xvdb 스토리지가 연결된 것을 확인합니다. fdisk /dev/xvdb 명령어로 파티션 설정을 합니다 순서대로 n -> p -> l -> 2048 -> 생성한 스토리지크기 -> w 를 눌러줍니다. 그러면 /dev/xvdb1 파티..