🐳 Docker study 3rd

1. Setting up a Python analysis environment

Kaggle 플랫폼에서는 ‘Kaggle GPU Image’라는 GPU를 지원하는 Docker 이미지를 제공하고 있다. 이 이미지를 이용하면 딥러닝에 필요한 프레임워크(예를 들면 TensorFlow, PytTorch)와 관련된 라이브러리들을 한번에 패키지 형태로 사용할 수 있어 꽤 유용하다. 기본적으로 Kaggle GPU는 ‘Tesla T4 GPU’ 하드웨어를 베이스로 사용하는데, 이 부분은 뒤에서 실제로 코드를 통해 확인해보도록 한다.

먼저 아래 사진처럼 Kaggle Github 페이지로 들어가면 된다. 검색창에 ‘kaggle python docker image’라고 검색하면 Github 페이지를 찾을 수 있다. 하단의README 파일에서 사용하려는 컨테이너 이미지의 종류를 ‘CPU-only’, ‘GPU’ 둘 중 선택할 수 있는데, 음.. 막상 전체적으로 다 실습해보고 나니 GPU를 선택하는 게, 추후 개발 환경 확장성 측면에서 더 이득인 것 같다. 이 이야기도 뒤에서 설명하겠지만, ‘Dev Container Extension’을 사용하면 .json 파일이 자동으로 생성되는데 내가 원하는 확장 파일을 커스텀 할 수도 있다. 이 때 GPU를 디폴트로 사용할 수도 있지만, 주석처리를 통해 기본 로컬의 CPU를 사용할 수도 있는 점을 고려했을 때, 전 단계에서 ‘CPU-only’를 선택하는 건 너무 시야가 좁아지는 느낌이 들기도 한다. 물론 이 부분은 사용자의 선택이다! 👊

나는 ‘GPU’ 링크를 타고 들어왔다. 올바르게 들어왔으면 아래와 같은 화면이 보일텐데, 이 클라우드는 Kaggle의 GPU 이미지들을 버전 별로 정리해 놓은 폴더다. 현 시점(24.10.11) 기준 가장 최신 이미지는 v153으로 나는 이 이미지를 당겨(pull)왔다.

💻 Related Commands

✅ ssh -i <~/.ssh/id_rsa.pem> @</code>

- 가상머신 서버 연결

✅ sudo usermod -aG docker </code>

- 현재 시스템에서 특정 사용자를 Docker 그룹에 추가하기!

- usermod 명령어는 사용자의 속성을 변경하며, -aG 옵션은 그룹을 추가하는 것을 의미함. (팀 프로젝트 시, 이 명령어로 컨테이너에 팀원 추가 가능!)

✅ docker pull </code>

- Docker 이미지를 Docker Hub 또는 다른 이미지 저장소에서 다운받기!

2. Setting Up a Remote Development Environment

2.1 Connecting to a virtual machine via remote method

가상환경에 연결된 상태에서 추가로 Remote 방식으로 새로운 윈도우를 통해 가상머신에 접속했다. (’Docker study 2nd’ 참고)

접속과 관련된 순서는 아래 🛜 [접속 순서 요약]을 참고하면 된다. 파일이 제대로 생성 되었다면 파일 자체가 고래 아이콘과 함께 Dockerfile이 자동으로 생성됨을 확인할 수 있다. 이 파일은 Docker 이미지를 만들기 위한 설정 파일인데, 간단히 말하면 특정 명령어들을 포함하여 Docker 컨테이너에서 어떤 환경을 설정하고 어떤 애플리케이션을 실행할지 정의하는 파일이다.

나는 FROM 명령어로 어떤 이미지 기반에서 새 이미지를 만들지 설정하는 코드를 넣었다. gcr.io/kaggle-gpu-images/python:v153 을 설정했는데, 사실 이미 앞선 ‘1. Setting up a Python analysis environment’ 에서 v153을 이미 다운 받은 내역이 있다. 그래서 터미널에서 sudo docker images 로 확인해보면 해당 이미지가 이미 존재하고 있음을 확인할 수 있다. 아무튼 이렇게 기본 이미지를 Dockerfile에서 설정한 후 RUN 명령어로 이pip install yfinance 패키지를 추가로 빌드해 주었다. (내가 원하는 추가 이미지가 있으면 여기서 빌드해 주면 됨!)

🛜 [접속 순서 요약] open a remote window → Connect to Tunnel → GitHub → kaggle-linux-gpu-vm(가상환경 이름) → ‘kaggle-python-gpu-env’ 폴더 생성 → 그 안에 ‘Dockerile’ 파일 생성(자동으로 Docker intelligence 적용 되는 것 확인!)

2.2 Setting up the environment using the Dev Container Extension

다음으로 Dev Container를 이용해 추가로 개발환경을 구축해주었다. 주의할 점은 이전 에 생성한 폴더 (‘kaggle-python-gpu-env’)로 접근 후 진행해야 한다는 점이다.🚨 ($cd 처럼 현재 내가 위치한 디렉토리를 바꾸라는 뜻임!)

❗️ [선행 작업] Dev Container Extension, Remote Tunnel Extension이 가상머신 & 로컬에 설치되어 있어야 함.

Editing on kaggle-linux-gpu-vm(좌측 하단 파랑색 remote)을 클릭 후 ‘Add Dev Container Configuration Files…’로 들어가 주었다.

그러면 아래 사진처럼 옵션 창이 나오는데 ‘From ‘Dockerfile’’을 선택해주면 된다.

이후 나오는 추가 옵션창은 그냥 두고 ok를 눌러 설정을 끝내면 된다.

2.3 Differences between Dockerfile and devcontainer.json

그러면 .json 파일이 하나 생성되는 것을 확인할 수 있을 것이다.

이 파일은 Dev Container Extension을 설치했기 때문에 사용할 수 있는 추가적인 컨테이너 커스텀/옵션 창이라고 생각하면 된다. 사실 나는 이 부분부터 정리가 안되기 시작했는데 ‘2.1 Connecting to a virtual machine via remote method’ 에서 이미 Dockerfile을 생성했기 때문에 추가로 이 .json 파일에서 무엇을 또 설정 하라는 건지 모호했다.

📂 Dockerfile?

#붕어빵 틀을 만드는 레시피

Dockerfile을 컨테이너에서 실행할 환경을 만드는 레시피로 생각해 봤다(붕어빵🐟🍞 다시 등장). 우리가 어떤 프로그램을 실행하려면 그 프로그램이 돌아가게 할 환경이 필요하다. 예를 들어 프로그램이 Python으로 짜여 있으면 Python을 설치해야 하는 것처럼, Dockerfile은 그런 것들을 자동으로 설정해주는 파일이라고 이해하면 된다.

A. 베이스 이미지 설정: 붕어빵을 만들 때 어떤 맛의 반죽을 쓸지 정하는 개념으로 Python이나 Ubuntu 같은 기본 이미지를 설정한다!

B. 필요한 프로그램 설치: 붕어빵 반죽에 필요한 재료를 넣는 것과 같다! 프로그램이 실행되기 위해 필요한 라이브러리나 패키지를 설치할 수 있다는 뜻으로 예를 들어, 붕어빵 반죽에 초콜릿 칩을 넣듯, 프로그램에 필요한 라이브러리를 추가한다!

C. 실행 명령어: 붕어빵이 완성된 후에 어떻게 구울지 정하는 것처럼 컨테이너가 켜졌을 때 어떤 프로그램을 실행할지 설정할 수 있다! 예를 들어 붕어빵을 굽는 온도와 시간을 정할 수 있는 것처럼 프로그램 역시 자동으로 실행될 명령어를 설정할 수 있다!

👇 Dockerfile example

FROM python:3.9  # Python 3.9이 깔린 이미지를 사용
WORKDIR /app  # 작업 디렉토리를 /app으로 설정
COPY . /app  # 현재 디렉토리의 모든 파일을 컨테이너의 /app 디렉토리로 복사
RUN pip install -r requirements.txt  # 필요한 라이브러리 설치
CMD ["python", "app.py"]  # Python으로 app.py 실행

📂 devcontainer.json?

#성수나 홍대에서 붕어빵 가게를 세팅할 때 필요한 도구들을 알아서 설정해주는 파일

devcontainer.json은 개발할 때 필요한 도구와 설정을 담고 있는 파일이다. 붕어빵 비유를 계속하자면 어디에서(성수나 홍대) 붕어빵을 팔 건지를 설정하는 것이라고 할 수 있다. 성수에서 팔든 홍대에서 팔든 같은 모양의 붕어빵을 구워내지만 그 주변 환경(시장 분위기나 장비)은 다를 수 있다. 즉 프로그램 측면에서 다시 생각해본다면 devcontainer.json은 개발할 때 VS Code에서 사용할 확장 기능이나 포트 같은 개발자 도구를 자동으로 설치해주는 파일인 것이다.

• 에디터 설정: 홍대나 성수에서 붕어빵 파는 가게마다 필요한 장비를 자동으로 세팅해주는 것처럼 ㄴVS Code에서 쓸 확장 기능을 자동으로 설치해준다!
• 포트 설정: 컨테이너에서 실행되는 서버에 접속할 수 있도록 포트를 열어준다!
• 추가 명령어 실행: 추가 작업(명령어)을 자동으로 실행한다!

👇 devcontainer.json example

{
  "name": "Python Dev Container",  # 컨테이너 이름
  "dockerFile": "./Dockerfile",  # Dockerfile을 사용
  "settings": {
    "python.pythonPath": "/usr/local/bin/python"  # Python 경로 설정
  },
  "extensions": [  # VS Code에서 설치할 확장 기능
    "ms-python.python",
    "ms-toolsai.jupyter"
  ],
  "forwardPorts": [5000],  # 컨테이너에서 로컬로 열어줄 포트
  "postCreateCommand": "pip install -r requirements.txt"  # 컨테이너가 생성된 후 실행할 명령어
}

👇 summary

대부분의 경우 devcontainer.json은 Dockerfile을 참조하는 것 같다. 성수나 홍대에서 붕어빵 가게를 세팅할 때 붕어빵 틀(Dockerfile)은 동일하지만 가게 환경(devcontainer.json)은 각기 다를 수 있는 것처럼 말이다.

정리하자면 Dockerfile은 애플리케이션이 실행될 환경을 만들고, devcontainer.json은 개발자가 그 환경에서 편하게 작업할 수 있도록 도구를 세팅해주는 걸로 이해할 수 있다면 이제 이 부분에서 더이상 헤매는 일은 없을 것이다!

아래 사진은 참고사항인데, 이렇게 .json 파일에 extension을 추가하려면 원하는 확장 프로그램에 가서 ‘Copy Extension ID’를 통해 추가해주면 된다!

여기까지가 3주차 Docker 스터디의 내용이다. 저번 주 까지는 설정만 열심히 하느라(물론 이번주도.. 😂) 내가 뭘 하고 있는지 정신없긴 했다. 그런데 확실한 건 Docker 자체가 결국에는 개발환경을 구축하는 툴이라는 것이다. 이미 생성 된 컨테이너 위에 내가 필요한 패키지들을 제대로 올릴 수 있다면 그간 프로젝트를 하며 버전 충돌 경험이 여러 차례 있는 나에게는 오아시스임은 틀림없는 것 같다.

추가로 3주차 스터디와 관련해서 Bench Mark 포스팅도 업로드 되어 있다. 지금까지 계속해서 열심히 고생하며 도커를 빌드해보고 있는데, 진짜 이게 로컬과 가상머신 사이에서 성능 차이가 얼마나 차이나는지 궁금한 분들도 있을 것 같다. 조금이라도 궁금함이 든다면 ‘Docker study 3 [Bench Mark]’를 이어서 봐주면 좋겠다!

Reference

• Inflearn_실전도커