🐳 Docker study 2nd

1. Create a VM (Virtual Machine)

Microsoft Azure를 이용해서 Ubuntu 가상머신을 구축했다. 앞선 포스팅에 다뤘던 Image를 사용자가 원하는 버전과 종류에 따라 선택할 수 있었다. (Image가 뭔지 한번에 기억나지 않았다면 이전 포스팅을 한번 읽고 오는 것을 추천한다!😎) 나는 ‘kaggle-linux-gpu-vm’을 이름으로 하는 가상머신을 만들었고, 나머지 옵션들도 선택해주었다.

참고로 뒤쪽에 설명하겠지만 가상머신 이름을 만들면 Resource group으로 ‘내가 만든 가상머신 이름_group’으로 자동 생성된다. 간단하게 설명해보자면, 가상머신을 만들면 그와 관련된 여러 리소스들(네트워크 인터페이스, 디스크, 공용 IP 주소, 가상 네트워크 등)이 동시에 생성되는데 이를 효율적으로 관리하기 위해 리소스 그룹으로 묶어 관리한다. 아마 지금은 이해가 안될 거다. 왜냐하면 나도 가상머신을 만드는 단계에서는 이 리소스 그룹이 와닿지 않았기 때문이다. 지금은 리소스 그룹이란 가상머신과 관련된 모든 리소스를 한 번에 관리, 추적, 삭제하는 묶음 정도로만 이해해도 충분하다.

Azure의 비용 부과 방식은 후불제이다.💸 내가 가상머신을 얼마나 오랫동안 사용했는지에 따라 요금이 부과되는 방식이라 미리 예산 한도를 정해놓는 것이 현명한 선택이다! 아래 사진에서 살펴볼 부분은 Image와 Size이다. Azure에서는 매우 다양한 이미지를 제공한다. 나는 그 중에서 ‘NVIDIA GPU-Optimized VMI -v23.09.1-64 Gen2’ 버전을 선택했다. See all images 옵션을 통해 여러 버전을 확인할 수 있는데, 같은 NVIDIA GPU라도 기능과 사양에 따라 여러 버전이 존재하므로 용도에 맞는 것을 선택하면 된다.

가상머신에서 사용할 메모리(RAM)도 직접 지정할 수 있었다. 나는 ‘Standard_NC4as_T4_v3’을 선택했는데, 이 인스턴스는 4개의 vCPU와 28GiB의 메모리가 탑재되어 있다.

1.1 💡 Azure Spot: A Smart Way to Use Cloud Resources!

위에서 Azure는 후불제라고 잠깐 언급했었는데, Azure Spot 인스턴스를 이용하면 좀 더 경제적으로 클라우드를 활용할 수 있다. Azure Spot을 이해하기 위해서는 먼저 클라우드가 무엇인지 정리하고 갈 필요가 있다.

1.2 ☁️ What is Cloud?

클라우드는 인터넷을 통해 서버, 스토리지, 데이터베이스, 네트워킹 등 다양한 IT 자원을 필요에 따라 빌려 사용하는 시스템이다. 쉽게 말해, 내 컴퓨터에 프로그램을 설치할 필요 없이 온라인에서 모든 걸 처리할 수 있는 환경을 구축할 수 있는 서비스이다. 덕분에 원하는 만큼 자원을 빌리고, 필요 없을 때는 반납할 수 있어서 매우 유연하게 사용이 가능하다!

Azure Spot 인스턴스는 Azure에서 남는 리소스를 저렴하게 사용할 수 있게 해주는 방식으로 경매 시스템을 통해 리소스를 할당받게 되는데, 이때 사용자는 1시간당 얼마까지 지불할 수 있는지 최대 가격(Maximum price you want to pay per hour)을 설정할 수 있다. 즉 다른 사람들이 얼마나 높은 가격을 설정했느냐에 따라, 내 가상머신이 계속 유지되거나, 중지될 수 있는 것이다.

쉽게 말해서, 내가 설정한 가격이 평균 스팟 가격보다 높다면, 내 가상머신은 안전하게 유지될 가능성이 높다는 의미로 만약 최악의 경우에 다른 사람이 나보다 더 높은 가격을 설정했거나 Azure에서 리소스가 부족하면, 내 가상머신이 중지(Eviction)될 수도 있다.😅

Eviction 종류는 두가지가 있다.

처음에는 ‘가상 머신이 중간에 꺼질 수도 있다니, 좀 야박한 거 아니야?’라는 생각이 들었다. 보통 클라우드 서비스를 이용할 때, 한 번 배정된 자원은 언제든지 안정적으로 사용할 수 있기를 기대하기 마련이기 때문이다. 하지만 Azure Spot 인스턴스의 본래 목적은 Azure의 남는 자원을 저렴하게 사용할 수 있도록 하는 것임에 중점을 두고 다시 생각해보면 이 시스템은 사용자와 Azure 모두에게 이득이 되는 윈윈(win-win) 구조가 분명하다.

사용자 입장에서 보면 Spot 인스턴스를 이용하면 상당한 비용 절감 효과를 누릴 수 있다. 클라우드 자원은 장기적으로 사용하게 되면 비용이 적지 않게 부담될 수 있지만 이를 적절히 사용하면 필요한 자원을 훨씬 저렴한 가격에 사용할 수 있다. 특히, 짧은 시간 동안 자원을 사용하는 테스트 작업이나 일시적인 프로젝트에 매우 적합하다. 위에서 언급한 ‘Maximum price you want to pay per hour(USD)’ 옵션에서 설정할 수 있다.

한편, Azure 입장에서 보면 Spot 인스턴스를 통해 남는 자원을 효율적으로 활용할 수 있다. 클라우드 서비스 제공자는 항상 고객 수요에 따라 자원을 유동적으로 운영해야 하기에 일정량은 남아 있을 수밖에 없다. 남는 자원은 그대로 두면 아무런 수익을 내지 못하겠지만, Spot 인스턴스를 통해 이를 저렴하게 빌려줌으로써 수익을 창출할 수 있는 기회가 된다. 또 Spot 인스턴스를 제공하면서 자원을 효율적으로 관리할 수 있다는 이점도 있는데 중요한 작업을 위해 높은 가격을 지불하는 사용자에게는 안정적인 자원을 제공하면서 그 외 남는 자원은 낮은 가격에 제공해 전체적인 자원 활용도를 극대화할 수 있게 되는 것이다.

결과적으로 사용자도 비용을 절약할 수 있고, Azure는 남는 자원을 활용해 수익을 창출할 수 있으니 이 시스템은 양쪽 모두에게 이익이 되는 구조다. 이렇게 이해하고 나니 어쩐지 덜 야박해지는 것 같기도 하다!

Spot 인스턴스 이야기가 생각보다 길어지긴 했지만, 여기까지 글을 읽으면서 잘 따라왔다면 가상머신의 기본 설정은 어느정도 완료 된 상태일 것이다. 그 다음 단계로는 가상머신에 접근할 권한을 설정해주면 된다. 나는 이후 터미널로 가상머신에 접근할 예정이기 때문에 SSH 방식을 선택했다.

1.3 🛠️ How to Solve the vCPU Quota Exceeded Issue

정상적인 상황이라면 위 단계를 거쳐서 가상머신이 생성되는 것이 맞다. 그런데 나는 아래와 같은 트러블이 발생했다. 오류 메시지는 다음과 같았다.

“Operation could not be completed as it results in exceeding approved Low-priority quota.”

결론은 내가 지정한 Korea Central 지역에서 사용할 수 있는 vCPU 자원의 한도를 초과했기 때문에 발생하는 문제였다. Azure에서는 각 사용자에게 자원에 대한 쿼터(Quota)를 할당하는데, 이 쿼터는 필요할 때 증액 요청을 할 수 있다. Korea Central 지역의 기본 Quota는 3개이다. 나는 하나를 더 추가해서 총 4개를 요청했다.

십분 정도 지나니 승인이 정상적으로 되었고, 에러 없이 드디어 내 첫 가상머신이 생성되었다! 이제 키만 다운받아 주면 된다. 이 키는 내가 만든 가상머신에 접근하기 위한 키로 이후 SSH를 이용해 접속할 때 해당 키의 이름, 파일 위치, 유저이름 등이 필요하다. 따라서 이 키를 로컬에 다운 받은 후 내가 원하는 위치에 저장하면 되는데 ‘ssh’라는 이름의 폴더로 키를 관리하는 것을 추천한다. (나중에 추가로 생성한 가상머신 키들도 ssh 폴더에 넣어서 한번에 관리하면 되기 때문이다!)

1.4 📦 Resource Group: Manage All Resources Related to Your VM at Once

가상 머신을 생성할 때, Resource Group이라는 개념이 처음에는 다소 생소하게 느껴질 수 있다. 왜냐하면 나는 분명 가상 머신을 생성했는데 자동으로 Resource Group이라는게 생성되었기 때문이다. 실제로 내가 앞서 만든 가상 머신의 이름은 ‘kaggle-linux-gpu-vm’이고 이를 기반으로 Azure는 자동으로 ‘kaggle-linux-gpu-vm_group’이라는 이름의 리소스 그룹을 만들어냈다. 나는 이 리소스 그룹에 대체 뭐가 들어있는건지 확인해보기로 했다. 아래 사진을 같이 보면서 이해하면 좋을 것 같다!

‘kaggle-linux-gpu-vm_group’이라는 이름의 리소스 그룹 안에 가상 머신뿐만 아니라 여러 가지 관련된 리소스들이 함께 관리되고 있는 걸 볼 수 있다. 여기엔 가상 머신(Virtual Machine) 외에도, 네트워크 인터페이스, 공용 IP 주소, 디스크, SSH 키 등이 포함되어 있다. 이 모든 리소스가 kaggle-linux-gpu-vm_group이라는 하나의 그룹에 속해 있는 덕분에, 한 곳에서 한꺼번에 관리가 가능합니다.

사실 나는 ‘한꺼번에 관리가 가능하다.’ 라는 문장만 읽어서는 뭔가 와닿지 않았다. 그래서 내 나름의 방식대로 다시 이해해보니 이렇게 이해할 수 있었다. 만약 내가 가상 머신을 삭제하거나 수정하고 싶은 데, 그와 관련된 네트워크, IP 주소, 디스크 같은 것들을 하나하나 따로 수정해야 한다? 그건 너무 대공사 일 것 같다. 그런데 리소스 그룹을 사용하면 소스를 한꺼번에 관리할 수 있게 된다. 조금 더 자세히 설명하자면 가상 머신을 삭제하고 싶을 때 일일이 모든 관련된 자원을 삭제하는 게 아니라, 리소스 그룹 하나만 삭제하면 그 안에 있는 모든 리소스도 함께 삭제되는 구조인 것이다.

결론은 리소스 그룹은 가상 머신과 관련된 모든 자원을 한눈에 보고, 한꺼번에 관리할 수 있도록 도와주는 아주 유용한 도구인 것이다!

2. Connect to VM (Virtual Machine)

자 이제는 지금까지 내가 만든 가상머신을 나의 로컬과 연결할 시간이다. CLI 방식도 지원하는 것 같은데, 나는 앞서 발급받은 키를 이용해서 터미널로 연결시켜 보았다. 로컬과 연결하는 명령어는 친절하게 잘 나와 있으니 카피해서 터미널에 붙여넣기 하면 된다. 참고로 ssh -i ~/.ssh/id_rsa.pem username@ip주소 이 명령어는 매우 자주 쓰게 되니 잘 기억해 두는 것이 좋다. (뒤로가면 자연스럽게 외워질 겁니다!👊)

ssh -i ~/.ssh/id_rsa.pem username@ip주소 이 명령어는 내가 저장한 가상머신 키가 저장된 위치에서 사용하면 된다. 나는 /Users/kimseohee/Arielle_key/ssh 경로에 키(.pem)를 저장해 두었기 때문에 먼저 해당 경로로 진입했다.

이후 명령어를 입력했는데 참고로 ~/.ssh/id_rsa.pem 이 부분에는 내가 보유한 키 이름을 적으면 된다.

원래는 해당 명령어를 사용하면 정상적으로 가상머신에 접근이 되는게 맞다. 그런데 내 로컬에서는 “Permissions 0644 for ‘kaggle-linux-gpu-vm_key.pem’ are too open” 경고가 떴다. 이는 해당 키 파일이 소유자 이외의 다른 사용자들도 읽을 수 있다는 뜻으로 키에 대한 보안을 강화하라는 의미였다.

그래서 나는 chmod 600 kaggle-linux-gpu-vm_key.pem 명령어로 키에 대한 권한을 수정해 주었다. 참고로 600 권한은 파일 소유자에게만 읽기와 쓰기 권한을 부여하고 다른 사용자에게는 어떠한 권한도 부여하지 않는 방식으로 SSH에서 요구하는 보안 정책과 일치한다.

이후 다시 로컬에서 가상머신을 연결해 봤더니 “System restart required” 아래 처럼 잘 실행 되는 것을 확인할 수 있었다.

2.1 🐳 Understanding Docker and GPU in the Cloud Environment

클라우드 이야기를 계속 하고는 있지만 이 포스팅 시리즈의 주제는 Docker이다. 가상머신에서도 Docker를 한번 실행시켜 보았다. 잘 생각해보면 Docker를 로컬에는 설치했지만 가상머신에는 Docker를 설치한 기억이 없다.

그렇다면 어떻게 가상머신에서 Docker가 작동할 수 있었을까?

그 이유는 가상머신을 만들 때 선택한 이미지 때문이다. 가상머신을 만들 때 ‘NVIDIA GPU-Optimized VMI -v23.09.1-64 Gen2’라는 이미지를 선택했었는데, 이 이미지에 이미 Docker가 설치된 상태였던 것이다. 이런 점에서 클라우드 상에서의 작업 환경은 정말 편리하다고 생각한다. 최적화된 이미지를 선택하기만 하면 작업을 시작하는 데 필요한 모든 도구가 이미 준비된 상태이기 때문이다.

추가로 ‘sudo’를 계속 입력하기 귀찮아서 sudo usermod -aG docker Username 명령어를 통해 Docker 그룹에 사용자를 직접 추가해 주었다. 여기서 usermod는 사용자 계정을 수정하는 명령어이며, -aG는 사용자를 특정 그룹에 추가할 때 사용하는 옵션이다. 마지막에 docker는 그룹 이름, Username은 내 사용자 이름을 넣으면 된다.

내가 만든 가상머신은 NVIDIA GPU를 탑재하고 있다. 아래처럼 명령어를 통해 가상머신의 GPU 사용량을 확인할 수도 있다. 아래 사진은 단순히 가상머신에서 GPU만 확인한 것이고 ‘ Standard_NC4as_T4_v3’가 설치 되어 있고, 현재 어떤 프로세스도 실행되지 않은 상태이다.

2.2 🐳 Using GPU in Docker Containers

🚨 지금 이 부분은 집중해서 봐야한다. 위 사진이랑 아래 사진이랑 차이점을 찾을 수 있어야 하는데, 특히 Docker 컨테이너에서 GPU를 어떻게 사용하는지에 대해 이야기해보고자 한다.

아래 사진은 docker run --rm --gpus all ubuntu nvidia-smi 명령어를 사용해서 컨테이너 안에서 GPU 상태를 확인한 것이다. 여기서 중요한 포인트는 Docker 컨테이너가 일반 가상머신과는 다르게 독립된 환경을 제공한다는 점이다. 일반적으로 Docker 컨테이너는 호스트 시스템(여기서는 가상머신)의 자원에 직접 접근하지 못한다. 하지만 이 경우에는 Docker가 가상머신의 GPU 자원을 컨테이너에 공유해 줬기 때문에, 컨테이너 내부에서도 GPU 상태를 확인할 수 있었던 것이다. 즉, Docker 컨테이너가 GPU에 접근할 수 있느냐는 것이 이 과정의 핵심 포인트이다.

• Docker 컨테이너는 기본적으로 호스트 시스템과 독립된 환경을 제공하지만, docker run –gpus 명령어를 사용하면 컨테이너에서도 GPU 자원을 사용할 수 있다!
• 독립적인 환경에서도 GPU 접근이 가능하다!
• 이를 통해 딥러닝 작업을 Docker 컨테이너 내부에서 효율적으로 처리할 수 있다!

3. Connect to GUI via RDP (MAC)

일반적으로 Azure에서 제공하는 리눅스 가상머신은 데스크톱 환경이 설치되어 있지 않다. 리눅스 VM은 주로 SSH 연결을 통해 명령어 기반으로 관리되기 때문에 GUI를 사용하지 않고 작업을 진행하기 때문이다. 하지만 분명 GUI 환경을 설치하면 더 직관적으로 작업할 수 있기 때문에 거기서 오는 이점이 분명 있다. 나는 MAC을 사용하기 때문에 Window App(Microsoft Remote Desktop) 앱을 이용해 연결을 시도했다.

추가로 가상환경에 Chrome, Visual Studio Code를 설치해 주었다.

3.1 🔗 Connecting VSCode and GitHub

먼저 가상 환경에서 VSCode를 사용해 GitHub과 연동시켰다. 그리고 Remote - Tunnels 이라는 확장 프로그램도 설치했다. 보통은 원격 서버에 접속하려면 SSH 설정 같은 복잡한 과정을 거쳐야 하지만, 리모트 터널을 사용하면 이런 과정이 훨씬 간단해진다.

그런데 잠시 생각해보면 조금 모순?적인 내용이 있다. “You can then securely connect to that machine from anywhere, without the requirement of SSH”. without the requirement of SSH 이 부분이 맞으면서도 틀린 얘기이다. (나는 틀린쪽에 더 가깝다고 생각한다.) 이 문장은 리모트 터널을 사용하면 SSH 설정 없이도 원격 서버에 접속할 수 있다는 의미로 해석될 수 있는데, 실제로는 약간 애매한 부분이 있다.

가상머신과 로컬 환경 간의 SSH 연결이 끊긴 후 일정 시간이 지나면 리모트 터널 역시 더 이상 연결을 유지하지 못한다. SSH 연결을 기반으로 한 터널이기 때문에 이를 끊어버리면 결과적으로 가상머신과의 접속도 끊어지는 것 같다. 따라서 “SSH 없이” 연결할 수 있다는 설명은 일반적인 SSH 인증 과정을 건너뛸 수 있다는 의미로 받아들이는 것이 적절해 보인다. 그러나 아무튼 SSH 자체가 필요 없는 것은 아니고 여전히 SSH는 보안 연결의 근본적인 역할을 하는 것은 분명하다 (이 부분은 조금 더 클라우드&도커 공부를 해보고 정리해서 관련 포스팅을 업로드 해보면 좋을 것 같다.)

Reference

• Inflearn_실전도커