GitHub-Actions로 CI/CD 구축하기(AWS, Docker, SpringBoot)

GitHub-Actions로 CI/CD 구축하기(AWS, Docker, SpringBoot)

 

안녕하세요, 이번 시간에는 GitHub-Actions로 CI/CD를 구축하는 방법에 대해 알아보겠습니다.

해당 포스팅이 CI/CD를 전체적으로 포함하고 있기는 하지만, 과거 Maven 기반으로 CI를 구축한 포스팅이 있는데요, 궁금하시면 참고하셔도 좋을 것 같습니다 😃

• GitHub Action을 통한 Build 자동화 (SpringBoot + Maven)

 

저는 다음과 같은 환경을 사용하여 구축할 예정입니다.

• GitHub-Actions
• AWS EC2
• Docker, Docker-Compose
• Spring Boot
• Spring profiles(prod, dev)
• Gradle

GitHub-Actions와 Docker, Docker-Compose를 통해 Spring Boot의 환경별(prod, dev) 파일을 AWS EC2 인스턴스에 자동배포 하는 방법에 대해 살펴보겠습니다.

(코드는 깃허브 에서 확인할 수 있습니다.)

 

기본적으로 AWS 계정을 생성하는 방법이나 스프링 부트 프로젝트 생성, Spring profiles에 대해 따로 설명은 생략하겠습니다.

Spring profiles의 경우 Maven 기반이긴 하지만 과거 포스팅을 참고해주세요 :)

 

 

 

📎 AWS EC2 인스턴스 생성하기

먼저 AWS 사이트에서 EC2 인스턴스를 생성합니다.

 

과거 EC2 인스턴스 생성하는 방법에 대해 포스팅을 한 적이 있지만, 해당 포스팅에서는 과거 버전을 기준으로 작성되었기 때문에 현재 UI와는 다릅니다. 하지만 현재의 UI는 매우 단순해졌기 때문에 손쉽게 생성이 가능합니다.

이름과 키 페어를 생성한 후 인스턴스를 생성하시면 됩니다.

키 페어는 중요하기 때문에 새로운 키 페어를 생성한 후 반드시 보관하고, 분실되지 않도록 유의합니다.

 

그 외 따로 손댄부분은 없으며, 추후 용량이 부족할 경우도 있기 때문에 화면 아래에서 스토리지 구성에서 프리티어 기준 최대 용량(30GB)을 기준으로 적당히 늘려주도록 합니다.

또한 본인의 상황에 맞게 필요한 보안그룹(인바운드 규칙)을 적절히 설정해주세요.

저는 8080(Tomcat), 27017(MongoDB), 5431(PostgreSQL) 등등에 대해 인바운드 규칙을 허용해주었습니다.

 

 

 

📎 AWS EC2 인스턴스 도커 설치하기

EC2 인스턴스에서 작업에 필요할 Docker와 Docker-Compose를 설치해주도록 합니다.

관련하여 자료가 많기 때문에 상세한 설명은 생략하고, 아래와 같이 간단히 구축하겠습니다.

// 도커 설치
sudo yum install docker -y

// 도커 실행
sudo service docker start

// 도커 상태 확인
systemctl status docker.service

// Docker 관련 권한 추가
sudo chmod 666 /var/run/docker.sock
docker ps

// 도커 컴포즈 설치
sudo curl \
-L "https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m)" \
-o /usr/local/bin/docker-compose

// 권한 추가
sudo chmod +x /usr/local/bin/docker-compose

// 버전 확인
docker-compose --version

 

 

 

📎 GitHub-Actions 스크립트 파일 생성하기

다음으로 배포에 사용할 GitHub-Actions 스크립트 파일을 생성해보겠습니다.

 

GitHub 레포지토리 - Actions - Continuous integration에서 Java with Gradle의 Configure를 클릭합니다.

 

그럼 아래 사진과 같이 ~/.github/workflow/gradle.yml 이라는 파일이 생성이 될 텐데요, 아래처럼 생성해주도록 합니다.

gradle.yml 라는 파일은 현재 gradle build 전용 스크립트 파일이고, 파일명은 자유롭게 변경하셔도 됩니다.

(저는 github-actions.yml 로 변경했습니다 😃)

 

 

🌈 github-actions.yml

github-actions.yml(gradle.yml) 파일의 전체 코드는 다음과 같은데요, 하나씩 설명드리겠습니다.

이 부분은 저의 상황 및 환경에 맞게 커스텀 한 결과이기 때문에, 본인의 환경에 맞게 수정이 필요합니다.

또한 저는 기본적으로 개발환경(dev)을 기준으로 포스팅을 할 예정입니다.

# github repository Actions 페이지에 나타낼 이름
name: CI/CD

# event trigger
on:
  push:
    branches:
      - main
      - develop

permissions:
  contents: read

jobs:
  CI-CD:
    runs-on: ubuntu-latest
    steps:

    ## jdk setting
    - uses: actions/checkout@v3
    - name: Set up JDK 11
      uses: actions/setup-java@v3
      with:
        java-version: '11'
        distribution: 'temurin' # https://github.com/actions/setup-java

    ## gradle caching
    - name: Gradle Caching
      uses: actions/cache@v3
      with:
        path: |
          ~/.gradle/caches
          ~/.gradle/wrapper
        key: ${{ runner.os }}-gradle-${{ hashFiles('**/*.gradle*', '**/gradle-wrapper.properties') }}
        restore-keys: |
          ${{ runner.os }}-gradle-

    ## create application-dev.properties
    - name: make application-dev.properties
      if: contains(github.ref, 'develop')
      run: |
        cd ./src/main/resources
        touch ./application-dev.properties
        echo "${{ secrets.PROPERTIES_DEV }}" > ./application-dev.properties
      shell: bash

    ## create application-prod.properties
    - name: make application-prod.properties
      if: contains(github.ref, 'main')
      run: |
          cd ./src/main/resources
          touch ./application-prod.properties
          echo "${{ secrets.PROPERTIES_PROD }}" > ./application-prod.properties
      shell: bash

    ## create firebase-key.json
    - name: create firebase key
      run: |
        cd ./src/main/resources
        ls -a .
        touch ./firebase-service-key.json
        echo "${{ secrets.FIREBASE_KEY }}" > ./firebase-service-key.json
      shell: bash

    ## gradle build
    - name: Build with Gradle
      run: ./gradlew build -x test -x ktlintCheck -x ktlintTestSourceSetCheck -x ktlintMainSourceSetCheck -x ktlintKotlinScriptCheck

    ## docker build & push to production
    - name: Docker build & push to prod
      if: contains(github.ref, 'main')
      run: |
          docker login -u ${{ secrets.DOCKER_USERNAME }} -p ${{ secrets.DOCKER_PASSWORD }}
          docker build -f Dockerfile-prod -t ${{ secrets.DOCKER_REPO }}/dotoriham-prod .
          docker push ${{ secrets.DOCKER_REPO }}/dotoriham-prod

    ## docker build & push to develop
    - name: Docker build & push to dev
      if: contains(github.ref, 'develop')
      run: |
          docker login -u ${{ secrets.DOCKER_USERNAME }} -p ${{ secrets.DOCKER_PASSWORD }}
          docker build -f Dockerfile-dev -t ${{ secrets.DOCKER_REPO }}/dotoriham-dev .
          docker push ${{ secrets.DOCKER_REPO }}/dotoriham-dev

    ## deploy to production
    - name: Deploy to prod
      uses: appleboy/ssh-action@master
      id: deploy-prod
      if: contains(github.ref, 'main')
      with:
          host: ${{ secrets.HOST_PROD }}
          username: ec2-user
          key: ${{ secrets.PRIVATE_KEY }}
          envs: GITHUB_SHA
          script: |
              sudo docker rm -f $(docker ps -qa)
              sudo docker pull ${{ secrets.DOCKER_REPO }}/dotoriham-prod
              docker-compose up -d
              docker image prune -f

    ## deploy to develop
    - name: Deploy to dev
      uses: appleboy/ssh-action@master
      id: deploy-dev
      if: contains(github.ref, 'develop')
      with:
        host: ${{ secrets.HOST_DEV }}
        username: ${{ secrets.USERNAME }}
        password: ${{ secrets.PASSWORD }}
        port: 22
        #key: ${{ secrets.PRIVATE_KEY }}
        script: |
            sudo docker rm -f $(docker ps -qa)
            sudo docker pull ${{ secrets.DOCKER_REPO }}/dotoriham-dev
            docker-compose up -d
            docker image prune -f

  ## time
  current-time:
    needs: CI-CD
    runs-on: ubuntu-latest
    steps:
      - name: Get Current Time
        uses: 1466587594/get-current-time@v2
        id: current-time
        with:
          format: YYYY-MM-DDTHH:mm:ss
          utcOffset: "+09:00" # 기준이 UTC이기 때문에 한국시간인 KST를 맞추기 위해 +9시간 추가

      - name: Print Current Time
        run: echo "Current Time=${{steps.current-time.outputs.formattedTime}}" # current-time 에서 지정한 포맷대로 현재 시간 출력
        shell: bash

  ## slack
  action-slack:
    needs: CI-CD
    runs-on: ubuntu-latest
    steps:
        - name: Slack Alarm
          uses: 8398a7/action-slack@v3
          with:
              status: ${{ job.status }}
              author_name: GitHub-Actions CI/CD
              fields: repo,message,commit,author,ref,job,took
          env:
              SLACK_WEBHOOK_URL: ${{ secrets.SLACK_WEBHOOK_URL }} # required
          if: always() # Pick up events even if the job fails or is canceled.

스크립트 파일이 한 눈에 들어오지 않으므로 부분적으로 나누어서 설명드리겠습니다.

먼저 전체 프로세스는 GitHub 레포지토리에 main 브랜치(prod) 및 develop 브랜치(dev)로 push가 될 때 각 환경별로 다음과 같은 과정을 거쳐 AWS EC2 인스턴스에 배포가 되는 과정입니다.

• Gradle Build - 각 파일 생성 - Docker build & push - AWS EC2 Deploy(ssh) - Slack 알림

다만 노출되어서는 안되는 properties과 같은 파일은 깃허브에 올려두면 안되기 때문에 GitHub-Actions 스크립트에서 직접 생성해주어야 하고, 환경별 분리가 필요하기 때문에 코드의 길이가 2배가 된 것입니다. 😂

 

그럼 위 스크립트 파일에 대해 하나씩 설명드리겠습니다.

(참고로 공식문서에 상세히 설명되어 있으니, 더 궁금하신 부분은 찾아보시면 됩니다.)

 

 

🌈  on: push: branches:

• 아래 코드는 main, develop 브랜치에 push가 되었을 때 Workflow를 Trigger를 실행한다는 의미입니다.

# github repository Actions 페이지에 나타낼 이름
name: Dotoriham CI/CD

# event trigger
on:
  push:
    branches:
      - main
      - develop

 

 

🌈  Jdk Setting

다음으로 jobs 부분인데요, GitHub-Actions의 Workflow는 다양한 Job으로 구성되며 Job는 다시 Steps로 구성이 됩니다.

• GitHub-Actions에서 사용될 JDK를 세팅합니다. (프로젝트나 AWS의 Java 버전과는 달라도 무방합니다.)
• Java-Version으로 11을 사용하고, distribution으로 'temurin'을 사용합니다.
  • 과거에는 adopt를 사용을 했었는데, 현재 공식문서에 따르면 adopt 대신 temurin을 사용하는 것을 강력히 권장하고 있습니다. 또한 adopt는 더이상 업데이트 되지않는다고 하기에 특별한 이유가 없다면 temurin을 사용합니다.

https://github.com/actions/setup-java

jobs:
  CI-CD:
    runs-on: ubuntu-latest
    steps:

    ## jdk setting
    - uses: actions/checkout@v3
    - name: Set up JDK 11
      uses: actions/setup-java@v3
      with:
        java-version: '11'
        distribution: 'temurin' # https://github.com/actions/setup-java

 

 

🌈  Gradle Caching

다음으로 Gradle을 캐싱하는 코드입니다.

이 부분은 추가하지 않아도 무방하나 개인적으로 적용했을 때 빌드 시간이 20~30% 가량 향상되었기 때문에 추가해주었습니다.

더 자세한 설명은 아래 공식문서를 참고해주세요 :)

• https://github.com/actions/cache

    ## gradle caching
    - name: Gradle Caching
      uses: actions/cache@v3
      with:
        path: |
          ~/.gradle/caches
          ~/.gradle/wrapper
        key: ${{ runner.os }}-gradle-${{ hashFiles('**/*.gradle*', '**/gradle-wrapper.properties') }}
        restore-keys: |
          ${{ runner.os }}-gradle-

 

 

🌈  application-<dev, prod>.properties

다음으로 환경 별 properties 파일을 생성하는 부분입니다.

이 파일은 개인 정보(DB 정보, AWS 정보 등등)가 포함되어 있기 때문에 깃허브에는 올려두지 않고, GitHub-Actions에서 직접 파일을 생성합니다.

 

저는 ./src/main/resources가 아닌 ./src/main/resource 로 경로를 잘못잡아줘서 꽤나 삽질을 했는데요.. 저와 같은 실수를 범하지 마세요. 😭😭

    ## create application-dev.properties
    - name: make application-dev.properties
      if: contains(github.ref, 'develop') # branch가 develop일 때
      run: |
      	# spring의 resources 경로로 이동
        cd ./src/main/resources 
        
        # application-dev.properties 파일 생성
        touch ./application-dev.properties 
        
        # GitHub-Actions에서 설정한 값을 application-dev.properties 파일에 쓰기
        echo "${{ secrets.PROPERTIES_DEV }}" > ./application-dev.properties 
      shell: bash

    ## create application-prod.properties
    - name: make application-prod.properties
      if: contains(github.ref, 'main') # branch가 main 일 때, 나머지는 위와 동일
      run: |
          cd ./src/main/resources
          touch ./application-prod.properties
          echo "${{ secrets.PROPERTIES_PROD }}" > ./application-prod.properties
      shell: bash

위 과정에 대한 내용은 주석으로 설명해놓았습니다.

파일 내용을 쓰기 위해서는 GitHub-Actions의 secrets에 값을 설정해야 합니다.

 

해당 내용은 깃허브 레포지토리의 Settings > Secrets > Actions > New repository secret 버튼을 통해 만들 수 있습니다.

※ secrets 내용들은 암호화되어 있기 때문에 한 번 값을 설정하면 다시 확인할 수 없이 변경만 가능합니다(패스워드처럼)

• DOCKER_PASSWORD: 도커 계정 패스워드
• DOCKER_REPO: 도커 레포지토리
• DOCKER_USERNAME: 도커 ID
• FIREBASE_KEY: 파이어베이스 key
• HOST_DEV: dev 환경의 EC2 인스턴스 ip
• HOST_PROD: prod 환경의 EC2 인스턴스 ip
• PASSWORD: EC2 인스턴스 패스워드
• PRIVATE_KEY: 
• PROPERTIES_DEV: application-dev.properties 파일 내용
• PROPERTIES_PROD: application-prod.properties 파일 내용
• SLACK_WEBHOOK_URL: 슬랙 연동을 위한 웹훅URL
• USERNAME: EC2 인스턴스 계정 ID(ec2-user)

저는 위와 같은 정보들이 필요해서 설정을 해 주었는데요, 본인의 상황에 따라 필요한 값들만 설정해주시면 됩니다 🤯

 

 

Name에 변수 명을, Value에 값을 복사해서 설정해주시면 됩니다.

 

 

🌈  firebase-key.json 

다음은 파이어베이스의 키 파일을 설정하는 부분인데요, 저는 FCM을 사용하기 이 파일도 만들어 주었습니다.

    ## create firebase-key.json
    - name: create firebase key
      run: |
        cd ./src/main/resources
        touch ./firebase-service-key.json
        echo "${{ secrets.FIREBASE_KEY }}" > ./firebase-service-key.json
      shell: bash

 

주의하실 부분은, GitHub-Actions에서는 double-quote(쌍따옴표 ")를 인식하도록 하기 위해서는 escape 문자(백슬래시 \)를 추가해주어야 합니다. 이부분 때문에도 약간 삽질을 했네요 ^^;

## 기존 firebase-key.json 내용
{
  type: service_account,
  project_id: dotoriham-dfee3,
  private_key_id: 85796c2b2645b94eb354eedf718e81ae2fa514dd,
  
  ...
}


## GitHub-Actions에서 인식하기 위한 escape character \
{
  \"type\": \"service_account\",
  \"project_id\": \"dotoriham-dfee3\",
  \"private_key_id\": \"85796c2b2645b94eb354eedf718e81ae2fa514dd\",
  
  ...
}

 

 

🌈  Gradle Build - Docker Build & Push

다음으로 그레이들 빌드 및 도커 빌드, 푸쉬 과정입니다.

위와 마찬가지로 secrets. 변수들은 모드 깃허브에 미리 설정을 해주었습니다.

(도커의 과정에 대해서는 따로 설명은 생략하겠습니다. 도커와 스프링부트의 배포 과정에 대해 궁금하신 분은 포스팅을 참고해주세요.)

    ## gradle build
    - name: Build with Gradle
      run: ./gradlew build -x test -x ktlintCheck -x ktlintTestSourceSetCheck -x ktlintMainSourceSetCheck -x ktlintKotlinScriptCheck

    ## docker build & push to production
    - name: Docker build & push to prod
      if: contains(github.ref, 'main')
      run: |
          docker login -u ${{ secrets.DOCKER_USERNAME }} -p ${{ secrets.DOCKER_PASSWORD }}
          docker build -f Dockerfile-prod -t ${{ secrets.DOCKER_REPO }}/dotoriham-prod .
          docker push ${{ secrets.DOCKER_REPO }}/dotoriham-prod

    ## docker build & push to develop
    - name: Docker build & push to dev
      if: contains(github.ref, 'develop')
      run: |
          docker login -u ${{ secrets.DOCKER_USERNAME }} -p ${{ secrets.DOCKER_PASSWORD }}
          docker build -f Dockerfile-dev -t ${{ secrets.DOCKER_REPO }}/dotoriham-dev .
          docker push ${{ secrets.DOCKER_REPO }}/dotoriham-dev

 

prod, dev별로 spring profiles를 적용해야 하기 때문에 Dockerfile을 분리해주었는데요, 도커를 빌드 할 때 특정 파일을 강제적으로 지정하고자 하면 -f 옵션을 지정해주시면 됩니다.

(디폴트는 최상위 디렉토리의 Dockerfile을 토대로 빌드를 진행합니다)

 

 

Dockerfile- 파일의 경로 및 내용은 다음과 같습니다.(프로젝트 최상위 디렉토리입니다.)

## Dockerfile-dev
FROM openjdk:14-jdk-slim
EXPOSE 8080
ARG JAR_FILE=/build/libs/Web-Team-2-Backend-0.0.1-SNAPSHOT.jar
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar","-Dspring.profiles.active=dev","/app.jar"]


## Dockerfile-prod
FROM openjdk:14-jdk-slim
EXPOSE 8080
ARG JAR_FILE=/build/libs/Web-Team-2-Backend-0.0.1-SNAPSHOT.jar
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar","-Dspring.profiles.active=prod","/app.jar"]

 

 

🌈  Deploy to AWS EC2(using ssh)

마지막으로 SSH 연결을 통해 EC2 인스턴스에 도커의 이미지를 가져와 배포하는 과정입니다.

ssh-action은 다음 사이트를 참고하시면 됩니다.

• https://github.com/appleboy/ssh-action

    ## deploy to production
    - name: Deploy to prod
      uses: appleboy/ssh-action@master
      id: deploy-prod
      if: contains(github.ref, 'main')
      with:
          host: ${{ secrets.HOST_PROD }}
          username: ec2-user
          key: ${{ secrets.PRIVATE_KEY }}
          envs: GITHUB_SHA
          script: |
              sudo docker rm -f $(docker ps -qa)
              sudo docker pull ${{ secrets.DOCKER_REPO }}/dotoriham-prod
              docker-compose up -d
              docker image prune -f

    ## deploy to develop
    - name: Deploy to dev
      uses: appleboy/ssh-action@master
      id: deploy-dev
      if: contains(github.ref, 'develop')
      with:
        host: ${{ secrets.HOST_DEV }}
        username: ${{ secrets.USERNAME }}
        password: ${{ secrets.PASSWORD }}
        port: 22
        #key: ${{ secrets.PRIVATE_KEY }}
        script: |
            sudo docker rm -f $(docker ps -qa)
            sudo docker pull ${{ secrets.DOCKER_REPO }}/dotoriham-dev
            docker-compose up -d
            docker image prune -f

위에서 HOST_PROD 및 HOST_DEV의 값은 EC2 인스턴스의 IP를 설정하시면 됩니다.

저같은 경우는 아래 파란색 네모친 값을 복사해서 붙여넣어주었습니다.

• ~~~.ap-northeast-2.compute.amazonaws.com

 

secrets.USERNAME, secrets.PASSWORD 의 경우 EC2에서 따로 설정이 필요합니다.

// ec2 계정 비밀번호 설정
sudo passwd [ec2 사용자 계정]

// ssh config 수정 -> PasswordAuthentication를 yes로 변경
sudo vi /etc/ssh/sshd_config
PasswordAuthentication yes

// 재기동
sudo service sshd restart

// ec2 인스턴스 로그인
ssh ec2-user@[EC2 인스턴스 ip]

 

 

🌈  time 출력 및 slack 연동

마지막은 현재 시간 출력 및 슬랙 연동을 통해 GitHub-Actions의 Workflow의 결과에 대해 알림을 받기 위한 작업입니다.

필수적인 부분은 아니며, 추후 슬랙에 연동하는 방법에 대해서는 따로 포스팅으로 작성해보겠습니다..😂

  ## time
  current-time:
    needs: CI-CD
    runs-on: ubuntu-latest
    steps:
      - name: Get Current Time
        uses: 1466587594/get-current-time@v2
        id: current-time
        with:
          format: YYYY-MM-DDTHH:mm:ss
          utcOffset: "+09:00" # 기준이 UTC이기 때문에 한국시간인 KST를 맞추기 위해 +9시간 추가

      - name: Print Current Time
        run: echo "Current Time=${{steps.current-time.outputs.formattedTime}}" # current-time 에서 지정한 포맷대로 현재 시간 출력
        shell: bash

  ## slack
  action-slack:
    needs: CI-CD
    runs-on: ubuntu-latest
    steps:
        - name: Slack Alarm
          uses: 8398a7/action-slack@v3
          with:
              status: ${{ job.status }}
              author_name: GitHub-Actions CI/CD
              fields: repo,message,commit,author,ref,job,took
          env:
              SLACK_WEBHOOK_URL: ${{ secrets.SLACK_WEBHOOK_URL }} # required
          if: always() # Pick up events even if the job fails or is canceled.

 

위 과정이 끝난 후 GitHub-Actions에 테스트를 해보면 EC2 인스턴스에 존재하는 docker-compose.yaml 파일을 읽어서 배포가 되는데요, 참고로 저의 docker-compose.yaml 파일의 내용은 다음과 같습니다.

version: "3"
services:
  mongodb:
    image: mongo
    restart: always
    container_name: yapp-mongo
    ports:
      - 27017:27017
    environment:
      - MONGO_INITDB_ROOT_USERNAME=yapp
      - MONGO_INITDB_ROOT_PASSWORD=yapp
      - MONGO_INITDB_DATABASE=yapp
    volumes:
      - mongodb:/var/lib/mongo

  postgresdb:
    image: postgres
    restart: always
    container_name: yapp-postgres
    ports:
      - 5432:5432
    environment:
      - POSTGRES_USER=yapp
      - POSTGRES_PASSWORD=yapp
    volumes:
      - postgresdb:/var/lib/postgres

  redisdb:
    image: redis
    restart: always
    ports:
      - 6379:6379
    container_name: yapp-redis
    volumes:
      - redisdb:/var/lib/redis

  dotoriham:
    image: juhyun419/dotoriham-dev
    restart: always
    container_name: dotoriham-dev
    ports:
      - 8080:8080
    depends_on:
      - mongodb
      - postgresdb
      - redisdb

volumes:
  mongodb:
  postgresdb:
  redisdb:

 

 

저는 MongoDB, PostgreSQL, Redis를 서버에서 사용하고 있기 때문에 dev의 경우 docker-compose를 활용해 모두 도커로 띄워주었습니다.

 

위와 같이 정상적으로 배포가 되는데요, 혹시 배포에 실패한다면 도커 로그를 통해 에러 로그를 확인할 수 있습니다.

docker logs -f <CONTAINER ID>

 

 

🌈  Spring Boot Logback을 통해 로그 파일 남기기

추가적으로 Spring Boot, docker-compose에서 logback을 활용하여 AWS EC2 서버에 로그 파일을 남기는 방법에 대해서도 간략히 살펴보겠습니다. (개선할 부분이 굉장히 많긴 하지만.. 정상적으로 로그 파일이 기록되는 것에만 포커싱을 두었습니다. 😂)

 

먼저, Dockerfile에 VOLUME 키워드로 컨테이너에서 로그로 남길 디렉토리를 설정합니다.

저는 환경별 prod, dev로 분리하였으므로 두 파일 모두 설정을 했습니다.

// Dockerfile-prod
FROM openjdk:14-jdk-slim
EXPOSE 8080
ARG JAR_FILE=/build/libs/Web-Team-2-Backend-0.0.1-SNAPSHOT.jar
VOLUME ["/var/log"]
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar","-Dspring.profiles.active=prod","/app.jar"]


// Dockerfile-dev
FROM openjdk:11-jdk-slim
EXPOSE 8080
ARG JAR_FILE=/build/libs/Web-Team-2-Backend-0.0.1-SNAPSHOT.jar
VOLUME ["/var/log"]
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar","-Dspring.profiles.active=dev","/app.jar"]

• VOLUME은 도커 컨테이너에서 생성하고 사용되는 데이터를 유지하기 위해 사용하는 메커니즘입니다. 도커 컨테이너에 쓰여진 데이터는 기본적으로 컨테이너가 삭제될 때 함께 없어지는데요, 이러한 도커 컨테이너의 생명주기와 관계없이 데이터를 영속적으로 저장하고자 할 때 볼륨(volume)와 바인드 마운트(bind mount)를 사용할 수 있습니다.
• 설정은 위와 같이 VOLUME ["/var/log"]나 VOLUME /var/log와 같이 사용할 수 있습니다.

https://docs.docker.com/storage/volumes/

https://docs.docker.com/storage/bind-mounts/

 

다음으로, logback 설정 파일에서 로그를 남길 파일의 경로를 도커 컨테이너 기준으로 설정합니다.

(logback에 대한 설명은 따로 진행하지 않겠습니다.)

<?xml version="1.0" encoding="UTF-8"?>

<configuration>
    <!-- 변수 설정 -->
    <property name="LOG_DIR_SERVER" value="/var/log"/>
    <property name="LOG_FILE" value="logfile.log"/>
    <property name="LOG_FILE_PROD" value="${LOG_DIR_SERVER}/${LOG_FILE}"/>
    <property name="LOG_FILE_DEV" value="${LOG_DIR_SERVER}/${LOG_FILE}"/>
    <property name="LOG_FILE_LOCAL" value="./log/${LOG_FILE}"/>

    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <Pattern>[%d{yyyy-MM-dd HH:mm:ss}][%thread] %highlight(%-5level) %logger{36} - %msg%n</Pattern>
        </layout>
    </appender>

    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">

        <springProfile name="prod">
            <file>${LOG_FILE_PROD}</file>
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                <fileNamePattern>${LOG_DIR_SERVER}/${LOG_FILE}.%d{yyyy-MM-dd}.log</fileNamePattern>
                <maxHistory>180</maxHistory>
                <totalSizeCap>3GB</totalSizeCap>
            </rollingPolicy>
        </springProfile>

        <springProfile name="dev">
            <file>${LOG_FILE_DEV}</file>
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                <fileNamePattern>${LOG_DIR_SERVER}/${LOG_FILE}.%d{yyyy-MM-dd}.log</fileNamePattern>
                <maxHistory>180</maxHistory>
                <totalSizeCap>5GB</totalSizeCap>
            </rollingPolicy>
        </springProfile>

        <springProfile name="local">
            <file>${LOG_FILE_LOCAL}</file>
            <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
                <fileNamePattern>./log/%d{yyyy-MM}/${LOG_FILE}.%d{yyyy-MM-dd}.log</fileNamePattern>
                <maxHistory>365</maxHistory>
                <totalSizeCap>5GB</totalSizeCap>
            </rollingPolicy>
        </springProfile>

        <encoder>
            <pattern>[%d{yyyy-MM-dd HH:mm:ss}:%-4relative][%thread] %-5level %logger{35} - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- Logging level - TRACE > DEBUG > INFO > WARN > ERROR > FATAL -->
    <!-- 모든 로그 레벨을 INFO로 설정 : INFO, WARN, ERROR, FATAL 레벨 출력 -->
    <root level="INFO">
        <appender-ref ref="console"/>
        <appender-ref ref="file"/>
    </root>

</configuration>

• 위 설정 파일은 개선이 많이 필요한 logback 파일이니 참고만 해주세요.. 
• 위에서 로그 파일의 경로는 아래 코드 부분입니다.
  • <property name="LOG_DIR_SERVER" value="/var/log"/> 

 

마지막으로, docker-compose.yaml 파일에서 volumes 설정을 진행합니다.

  // 생략
  
  ...

  dotoriham:
    image: juhyun419/dotoriham-dev
    restart: always
    container_name: dotoriham-dev
    ports:
      - 8080:8080
    depends_on:
      - mongodb
      - postgresdb
      - redisdb
    environment:
      - TZ=Asia/Seoul
    volumes:
      - /home/ec2-user/log:/var/log // 추가된 부분, 호스트 경로:컨테이너 경로

volumes:
  mongodb:
  postgresdb:
  redisdb:

• volumes: 하위의 /home/ec2-user/log:/var/log 입니다.

위와 같이 설정하면 아래와 같이 /home/ec2-user/log 경로에 로그 파일이 기록이 됩니다.

다만, 말씀드린 대로 손봐야 할 부분이 많기 때문에 본인의 환경에 맞게 적절히 수정하여 사용하시는 것을 추천드립니다.

 

 

 

📎 정리

이상으로 GitHub-Actions를 활용하여 CI/CD를 구축하는 방법에 대해 알아보았습니다.

개인적으로는 오타, 공백, SSH 등 굉장히 많은 삽질을 했는데요..😭 많은 삽질이 있었지만, 많이 배울 수 있는 좋은 경험이었습니다.

 

 

 

📎 참고 문서

• https://docs.github.com/en/actions
• https://stackoverflow.com/questions/60916931/github-action-does-the-if-have-an-else
• https://itcoin.tistory.com/685?category=769089
• https://github.com/appleboy/ssh-action
• https://github.com/actions/cache/blob/main/examples.md#java---gradle
• https://bgpark.tistory.com/85