클라우드 환경에서 딥러닝 모델을 띄울 때 주의해야 할점과 나의 환경

1. 우선 위 그림처럼 pid 7060 이 killed 된것을 볼 수 있다.(참고로 환경은 ubuntu 18.04 버전이다.) 이런 경우 디스크(RAM) 프로세스 혹은 모델이 너무 커서 운영체제가 kill 명령어를 입력한 것이다. 따라서 더 좋은 instance로 바꾸는 작업을 해줘야한다. (참고로 도커를 사용한다면 이런것도 뜨지 않고 화면이 멈추는 경우도 자주 등장한다. 아마 RAM이 터져서 렉이 걸리는 거 같다. 따라서 이 경우도 더 좋은 instance로 변경해줘야 한다. 회사한테는 미안하지만 내 시간을 절약하기 위해선 우선 좋은 인스턴스를 할당 받아 내 코드 문제는 아니라는 것을 확인하는 방법으로 시간을 절약하는 방법이 가장 좋은 방법이다.)

 

2. 우분투 "ubuntu-drivers not found" 에러 발생 시

ubuntu-drivers 명령어를 사용하면 현재 인스턴스에서 어떤 드라이버를 써야 가장 좋은지 또한 여러 편리한 기능을 사용할 수 있다. 하지만 인스턴스를 바로 실행하면 이 명령어가 install 되어 있지 않은 경우가 많은데 이 경우는

sudo apt install -y ubuntu-drivers-common

를 사용하여 설치해야 한다. 

 

3. 만약 ubuntu 18.04 를 사용한다면 nvidia-driver 470이 recommend 로 뜰것이다.(참고로 recommend driver를 찾는 방법은 ubuntu-drivers devices 명령어를 입력해서 recommeded 뜬것을 확인 하면 된다.) 

sudo apt-get install nvidia-driver-470

이 명령어를 사용하면 더욱 더 빨리 설치가 가능해진다.

 

4. 개인적으로 나는 zsh 을 완전 좋아한다. 나의 환경을 구성하는 코드는 아래와 같다

sudo apt-get install zsh

sh -c "$(curl -fsSL https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"

sudo passwd <사용자명>

chsh -s /usr/bin/zsh

git clone https://github.com/zsh-users/zsh-syntax-highlighting.git ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting

git clone git://github.com/zsh-users/zsh-autosuggestions $ZSH_CUSTOM/plugins/zsh-autosuggestions

우선 첫째는 zsh 을 설치하는 것이고 

두번째는 oh-my-zsh 을 설치하는 것이다.

그리고 bash 대신 zsh을 사용하기 위해선 chsh -s 를 이용하여 zsh 로 변경해줘야 한다. 이때 비밀번호를 입력하라고 나오는데 passwd 명령어를 사용하여 미리 바꿔주자 그리고 나머지 2개는 extension으로 autosuggetsions 와 highlighting 이다 

.zshrc 에 들어가서 plugins 에 zsh-autosuggestions zsh-syntax-highlighting 을 입력해주면 된다. 

 

그리고 나는 conda 를 개인적으로 좋아하는데 

https://www.anaconda.com/products/individual#Downloads 

Anaconda | Individual Edition

해당 홈페이지에 들어가 가장 최신의 콘다를 wget 을 사용해 다운로드 받는다. 이러면 내가 쓰는 환경을 여러분도  똑같이 사용할 수 있다.

 

또한 요새 도커 사용을 매우 즐겨 하는데 

https://docs.docker.com/engine/install/ubuntu/

Install Docker Engine on Ubuntu

 

해당 사이트를 가 도커를 다운로드 받고 권한 문제는 

sudo chmod 666 /var/run/docker.sock

sudo service docker restart

로 해결하면 된다

 

5. 만약 당신이 gcp 를 쓴다면 여러 명령어를 외우기 헷갈릴 것이다. 우선

 

gcloud compute ssh --project=프로젝트_이름 --zone=지역 인스턴스_이름
    
gcloud auth login

gcloud config list

gcloud config set project 프로젝트명

gsutil cp [-r] gs://bucket/location my/local/location

첫번째 명령어는 인스턴스에 접속하는 명령어이다. 물론 ssh로 접근할 수도 있다. 

두번째는 gsutil을 사용하여 버킷에 있는 폴더등을 클라우드에 다운받으려면 login을 해야한다. 아니면 403 에러가 뜬다 따라서 이때 auth login을 사용하여 이를 해결하면 된다.