Simple is Beautiful.

C#에서 Hostname을 사용해 IP주소를 가져오는 방법에 대해 알아봅니다.

string hostname = "smoh-dev";
IPAddress[] listIPAddress = Dns.GetHostAddresses(hostname);
IPAddress[] listIPV4 = listIPAddress.Where(x=>x.AddressFamily == System.Net.Sockets.AddressFamily.InterNetwork).ToArray();
Console.WriteLine($"Input Hostname: {hostname}");
Console.WriteLine($"IP Address: {listIPAddress[0]}");

소스코드는 간단합니다. Hostname을 입력받고 Hostname의 모든 IP 주소를 가져옵니다. 그 후 Linq를 이용해 가져온 IP중에서 IPv4 주소만 찾아옵니다. 

마지막으로 찾은 IPv4 주소중 첫번째 항목을 출력합니다. 위 코드를 실행하면 다음과 같은 결과를 얻을 수 있습니다.

해당 소스코드는 다음 링크에서도 확인할 수 있습니다: smoh-tistory/GetIpByHostname

Windows에서 PuTTY를 사용해 AWS EC2 인스턴스에 원격 접속하는 방법에 대해 알아봅니다.

0. 사전 준비

PuTTY를 설치해 둡니다. 미리 EC2 인스턴스 생성에 사용한 키 파일을 준비해 둡니다.

1. PuTTYgen을 사용하여 프라이빗 키 변환

PuTTY에서는 SSH 키의 프라이빗 키 형식을 기본적으로 지원하지 않습니다. PuTTY에는 PuTTYgen이라는 도구가 있는데, 이 도구는 키를 필요한 PuTTY Private Key 형식으로 변환할 수 있습니다. PuTTY를 사용하여 인스턴스에 연결하려면 .pem 키 파일을 .ppk 키 파일로 변환해야 합니다.

먼저 PuTTYgen을 실행해 Parameters의 Type of key to generate에서 RSA를 선택해 줍니다.

Actions의 Load an existing private key file에서 Load 버튼을 클릭해 .pem 키 파일을 로드합니다.

로드 시 파일 확장자 필터를 All files로 해야 .pem 파일이 보입니다. 성공적으로 로드되면 다음과 같은 창이 보입니다.

이제 Save the genereated key의 Save private key 버튼을 클릭해 .ppk 키 파일을 저장합니다.

PuTTYgen에서 암호 없이 키 저장에 대한 경고가 표시되지만 예를 클릭해 키 파일을 저장해줍니다. 이름은 혼동을 방지하기 위해 .pem 파일과 같게 지어줬습니다. 이제 .ppk 키 파일이 준비되었습니다.

2. PuTTY를 이용해 EC2 인스턴스에 접속.

PuTTY를 실행한 뒤 HostName에 EC2 인스턴스의 퍼블릭 DNS를 입력합니다. EC2 인스턴스의 퍼블릭 DNS는 AWS EC2 콘솔로 이동해 우측 상단의 연결 버튼을 클릭하면 SSH 클라이언트 탭에서 확인할 수 있습니다.

HostName을 입력한 뒤 Port가 22인지 확인하세요. 이제 앞서 생성한 .ppk 키 파일을 불러올 차례입니다.

좌측 Cetegory에서 Connection -> SSH -> Auth로 이동합니다. Authentication parameters의 Private key file for authentication에 있는 Browse 버튼을 클릭해 생성한 .ppk 파일을 불러옵니다.

이 연결을 계속해서 사용하려면 Session으로 이동해 설정을 저장해 두는게 좋습니다. 이제 Open 버튼을 클릭해 EC2 인스턴스에 접속해 봅시다.

정상적으로 접속이 되는것을 확인할 수 있습니다.

C# MongoDB Driver 2.0+를 사용하다 발생한 "Element 'key' does not match any field or property of class" 오류를 처리하는 방법에 대해 알아봅니다.

1. 현상.

FindOneAndUpdate 작업에 IsUpsert 옵션을 true로 설정해 둔 채 작업을 수행하다 에러가 발생했습니다.

신규 Insert시에는 문제가 없었으나 Update시에 발생한 문제였으며 예외 메시지는 다음과 같았습니다.

Element '{FIELD}' does not match any field or property of class {PROJECT}.MongoDB.Documents.{CLASS}.

2. 수정.

클래스 선언 위에 "[BsonIgnoreExtraElements]"를 추가해 줍니다.

이후 FindOneAndUpdate 작업을 다시 수행하면 정상적으로 수행 됩니다.

References: Element 'Id' does not match any field or property of class

Docker, Express, NGINX, AWS ELB를 복합적으로 사용해 고가용성을 위한 애플리케이션 환경을 구축해 봅니다.

로드 밸런싱이 무엇인가요?

로드 밸런싱은 들어오는 네트워크 트래픽을 서버 그룹에 분산하는 데 사용되는 기술 혹은 알고리즘입니다. 모든 공용 사용자에게 서버에서 호스팅 하는 서비스에 대한 단일 진입점을 제공합니다.

프로덕션 서버는 일반적으로 로드 밸런서 뒤에서 실행됩니다. 서버 전체에서 들어오는 부하를 "균등"하게 나워 서버 과부하를 방지할 수 있기 때문입니다.

또한 로드 밸런서는 트래픽을 라우팅 하는 서버에 보조 기능을 제공합니다. 로드 밸런서는 역방향 프락시 역할을 합니다. 역방향 프락시는 서버 그룹과 사용자 간의 중개자와 같습니다. 역방향 프락시가 처리하는 모든 요청은 요청 조건에 따라 적절한 서버로 전달됩니다. 이런 방식으로 역방향 프락시는 구성파일, 토큰, 암호와 같은 민감한 데이터가 저장되는 주 서버에 대한 액세스를 방지하면서 서버의 ID를 익명으로 유지합니다.

로드 밸런서로서의 NGINX와 AWS ELB

NGINX는 역방향 프락시의 역할도 할 수 있는 빠른 무료 오픈소스 로드 밸런서입니다.

반면에 ELB는 아마존 AWS에서 제공하는 로드 밸런싱 서비스입니다. ELB는 ALB, CLB, NLB의 세 가지 유형이 있습니다. 게이트웨이 로드 밸런서라고 하는 새로운 로드 밸런서도 AWS가 제공하는 클라우드 서비스 제품군에 추가되었습니다.

이 튜토리얼의 아이디어는 다중 포트에서 실행되는 고 가용성 Node.js 서버를 제공할 수 있는 계단식의 다중 로드 밸런서 구조를 만드는 것입니다.

* 참고사항

Docker 애플리케이션을 위해 AWS의 자체 ECS, ECR 환경을 활용하는 방법을 포함해 AWS에서 Node.js 애플리케이션을 위한 인프라를 구축하는 방법에는 여러 가지 방법이 있습니다. 하지만 이 자습서에서는 이에 초점을 맞추지 않고 EC2 인스턴스, 로드 밸런서의 메커니즘, 로드밸런싱, 프락시 포트를 통해 Docker와 상호작용 하는 방법을 더 잘 이해하는 것을 목표로 합니다.

아키텍처 개요

이것이 우리가 목표로 하는 아키텍처입니다. AWS와 NGINX에서 관리하는 다중 로드 밸런서는 node 앱을 위한 EC2 인스턴스에서 여러 포트를 관리하는데 도움이 됩니다. 이 아키텍처의 장점은 두 인스턴스가 AZ1과 AZ2의 서로 다른 가용 영역을 가진다는 것입니다. 이로 인해 한 영역이 다운되더라도 다른 영역은 계속 동작할 것이며 두 애플리케이션은 충돌하지 않게 됩니다.

Node.js 앱

단순하게 하기 위해 다음과 같은 표준 스타터 express node 앱을 사용합니다:

const express = require("express");
const app = express();
const PORT = process.env.PORT;
const SERVER_ID = process.env.SERVER_ID;

app.get("/", (req, res)=>{
  res.send({server: SERVER_ID, port: PORT});
});

app.listen(PORT, ()=>{
  console.log(`Server ${SERVER_ID} is running at ${PORT}.`);
});

 포트는 환경변수의 PORT를 사용해 express 앱에 제공됩니다. Docker를 통해 이 포트 값을 제공할 것입니다. docker-compose를 이용하면 간단한 작업입니다. 또 다른 환경 변수인 SERVER_ID가 있지만 데모용일 뿐이므로 걱정하지 마세요.

전체 설정이 준비되면 SERVER_ID는 로드 밸런서가 응답을 가져오는 서버를 알려주는 데 사용됩니다. 이를 통해 다중 로드 밸런서 / 역방향 프락시를 사용하는 인프라 구성이 올바른 방식으로 실행되고 있는지 확인하는데 도움이 됩니다.

이러한 유형의 구성은 프로덕션 파이프라인에서 일반적인 구성입니다. 일반적으로 이 경우 기본 앱 서버는 VPC에 배치됩니다. 

한 가지 알아둘 점은 레벨 1 로드 밸런서가 실제 클라이언트의 요청을 처리하기 때문에 공용으로 분류되는 반면 레벨 2 로드 밸런서는 소스 간의 요청을 라우팅 하는 역할을 하는 내부의 로드 밸런서라는 것입니다.

EC2 서버 실행하기.

AWS 계정에 로그인하고 EC2 대시보드로 이동합니다. 다음 단계에 따라 새 서버를 설정하고 Docker를 사용할 준비를 합니다.

1. 대시보드에서 인스턴스 시작을 클릭합니다.

2. 빠른 시작 섹션에서 Amazon Linux 2 AMI를 선택합니다.

3. 인스턴스 유형에서 t2.micro를 선택합니다. 이 대신 원하는 다른 유형을 선택할 수도 있습니다.

4. 이 데모에서 두 인스턴스를 서로 다른 가용 영역에서 동작하길 원하므로 두 인스턴스를 별도로 시작해야 합니다. 이 글에서 리전은 ap-northeast-2 이므로 서브넷은 ap-northeast-2a를 선택했습니다.

5. 사용자 데이터 섹션 아래에 이 스크립트 코드를 붙여 넣어 node.js Docker 앱을 실행하기 위한 필수 소프트웨어를 설치하게 합니다.

#!/bin/bash
sudo amazon-linux-extras install -y docker
sudo service docker start
sudo usermod -a -G docker ec2-user
sudo chkconfig docker on
sudo curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo yum install -y gcc-c++ make
curl -sL https://rpm.nodesource.com/setup_14.x | sudo -E bash -
sudo yum install -y nodejs git

6. 스토리지 추가와 태그 추가 섹션은 기본값을 유지한 채 건너뜁니다.

7. 보안 그룹 우성의 경우 포트 22(SSH)와 80(HTTP)이 열려있는 새 보안 그룹을 생성합니다.

IP 범위의 경우 Anywhere  또는 MyIP*8을 선택할 수 있습니다. 테스트 용이므로 아무거나 선택해도 됩니다. 전 Anywhere인 0.0.0.0을 선택하였습니다.

8. 검토 및 시작 버튼을 클릭해 실행시킵니다.

9. 인스턴스에 SSH를 위한 새 키 페어를 생성합니다. 나중에 앱이나 내부 로드 밸런서에 대한 Docker 이미지를 빌드하는데 필요합니다.

이제 두 개의 인스턴스 중 첫 번째 인스턴스가 시작되었습니다. 동일한 단계를 거쳐 다음 인스턴스를 시작하고 서브넷 값을 앞서 생성한 값이 아닌 다른 값으로 변경하고 방금 생성한 SSH 키 페어를 사용해 두 번째 인스턴스를 생성합시다.

앱 컨테이너화와 NGINX 구성.

여기서는 앱을 위해 다음 저장소를 사용합니다: load_balanced_nodejs_app

이를 통해 프로세스 속도를 높일 수 있습니다. 저장소의 계층을 보자면 다음과 같습니다.

앱 폴더에는 Dockerfile과 함께 노드 서버 소스 코드가 포함되어 있습니다. nginx 폴더에는 업스트림 서버 포트 구성을 정의하는 구성 파일인 nginx.conf가 있으며 다음과 같습니다:

http{    
    upstream lb {        
        server 172.17.0.1:1000 weight=1;        
        server 172.17.0.1:2000 weight=1;        
        server 172.17.0.1:3000 weight=1;    
    }     
    server {        
        listen 80;        
        location / {            
            proxy_pass http://lb;        
        }    
    }
}

이 구성 파일은 메인 NGINX 서버가 포트 80번에서 동작한다고 지정하고 루트 위치 "/"은 lb라는 이 구성 파일에 정의된 업스트림으로 요청(프락시 패스)을 릴레이 합니다. lb는 서버 수를 지정하는 업스트림 객체이며 이 객체는 포함될 서버의 수와 이러한 서버가 내부적으로 실행될 포트를 지정합니다. 여기서 포함될 서버란 docker-compose를 통해 마운트 되는 서버이며 이는 이후 섹션에서 좀 더 자세히 다룹니다. 프락시는 80번 포트의 트래픽 부하를 분산시키게 됩니다. 

우리의 경우 업스트림 프락시는 트래픽을 1000번, 2000번, 3000번 포트로 보냅니다. 이 포트 번호는 docmer-compose YAML 파일에서 작성되는 env 변수로 익스프레스 서버 인스턴스에 전송되는 내부 PORT 값과 일치해야 합니다. 

각각의 시작되는 인스턴스에 대해 다음 작업을 수행해 줍니다.

1. 생성했던 키 페어를 이용해 인스턴스에 SSG로 연결합니다.

2. 다음 터미널 명령을 수행해 dockerfile로 앱 이미지를 빌드합니다.

git clone https://github.com/sowmenappd/load_balanced_nodejs_app.git
cd load_balanced_nodejs_app/app
docker build -t app .

3. 다음으로 NGINX 서버 이미지를 빌드합니다.

cd ../nginx
docker build -t nginx-s .

4. docker images 명령어를 실행 해 다음과 같은 내용이 표시되는지 확인합니다.

5. 두 번째 서버는 docker-compose.yml 파일을 수정해야 합니다. env 변수중 SERVER_ID는 모든 앱인 app1, app2, app3에 대해 2로 변경해야 합니다.

걱정하지 마세요 프로덕션 서버에서는 이런 일을 할 필요가 없습니다. 이는 데모 목적만을 위한 것입니다.

6. 마지막으로 다음 명령어를 실행합니다.

cd ..
docker-compose up -d

격리된 서버는 이제 백그라운드에서 세 개의 express 앱을 실행하게 됩니다. 이제 필요한 것은 AWS가 제공하는 로드 밸런서인 AWS ALB를 사용하여 이 시스템을 마운트 하는 것입니다.

AWS ALB에 시스템 마운트 하기.

이제 두 인스턴스 모두 마운트 할 준비가 되었습니다. 다음 단계를 따라 AWS에 애플리케이션 로드 밸런서를 설정하도록 합시다.

1. EC2 대시보드의 대상 그룹으로 이동해 대상 그룹을 만듭니다.

2. 대상 유형은 인스턴스를 선택 한 뒤 대상 그룹 이름을 작성하고 다음을 클릭하세요.

3. 실행 중인 두 인스턴스를 선택하고 선택한 인스턴스를 위한 포트를 80으로 설정한 뒤 아래에 보류 중인 것으로 포함 버튼을 클릭합니다.

4. 보류 중인 항목에 추가된 인스턴스를 확인한 뒤 대상 그룹을 생성합니다.

5. 이제 로드 밸런서로 이동해 로드 밸런서 생성 버튼을 클릭한 뒤 Application Load Balancer 생성을 클릭합니다.

6. 앞서 인스턴스를 생성할 때 선택한 가용 영역을 고른 뒤 계속합니다.

7. 보안 그룹 구성으로 이동해 모든 IP에 대해 80번 포트가 열려있는 새 보안 그룹을 만들고 다음을 클릭합니다.

8. 라우팅 구성에서 앞서 기존 대상 그룹을 고른 뒤 앞서 생성한 대상 그룹을 선택합니다.

9. 설정을 검토 한 뒤 로드 밸런서를 생성합니다. 로드 밸런서는 생성 후 상태 확인을 실행 한 뒤 몇 분 내로 실행되어야 합니다.

이제 EC2 대시보드의 로드 밸런서에서 방금 생성한 로드 밸런서의 DNS이름을 복사합니다. 

이 DNS 주소를 브라우저에 붙여 넣고 엔터를 누르세요. 브라우저를 새로 고칠 때마다 SERVER_ID와 PORT가 다른 값을 전송하는 것을 볼 수 있습니다.

이는 기본적으로 NGINX와 AWS 로드 밸런서가 로드 밸런싱을 위해 기본적으로 라운드 로빈 알고리즘을 사용하기 때문입니다.

맺는 글.

이렇게 배포된 시스템은 다중 로드 밸런서의 구성을 통해 높은 가용성을 보장하고 오랜 기간 동작하는 동안 많은 양의 트래픽을 견딜 수 있게 되었습니다. 이 자습서를 뒤이어 소스 제어와 통합 배포 파이프라인을 관리하고 GitHub 저장소에 커밋할 때 변경사항을 서버에 배포하는 방법을 보여주는 또 다른 기사를 게시할 예정입니다.

해당 글은 다음 글을 참고해 번역한 글입니다: Build a highly available Node.js application using Docker, NGINX and AWS ELB

NGINX는 웹 서비스, 역방향 프록시, 캐싱, 로드밸런싱, 미디어 스트리밍등을 위한 오픈소스 소프트웨어 입니다. 이 글에서는 자주 사용하는 NGINX 구성을 몇가지 다루도록 하겠습니다.

1. Listen To Port

server {
  # Standard HTTP Protocol
  listen 80;

  # Standard HTTPS Protocol
  listen 443 ssl;

  # Listen on 80 using IPv6
  listen [::]:80;

  # Listen only on using IPv6
  listen [::]:80 ipv6only=on;
}

2. Access Logging

server {
  # Relative or full path to log file
  access_log /path/to/file.log;

  # Turn 'on' or 'off'
  access_log on;
}

3. Domain Name

server {
  # Listen to yourdomain.com
  server_name yourdomain.com;

  # Listen to multiple domains
  server_name yourdomain.com www.yourdomain.com;

  # Listen to all domains
  server_name *.yourdomain.com;

  # Listen to all top-level domains
  server_name yourdomain.*;

  # Listen to unspecified Hostnames (Listens to IP address itself)
  server_name "";

}

4. Static Assets

server {
  listen 80;
  server_name yourdomain.com;

  location / {
          root /path/to/website;
  } 
}

5. Redirect

server {
  listen 80;
  server_name www.yourdomain.com;
  return 301 http://yourdomain.com$request_uri;
}

server {
  listen 80;
  server_name www.yourdomain.com;

  location /redirect-url {
     return 301 http://otherdomain.com;
  }
}

6. Reverse Proxy

server {
  listen 80;
  server_name yourdomain.com;

  location / {
     proxy_pass http://0.0.0.0:3000;
     # where 0.0.0.0:3000 is your application server (Ex: node.js) bound on 0.0.0.0 listening on port 3000
  }

}

7. Load Balancing

upstream node_js {
  server 0.0.0.0:3000;
  server 0.0.0.0:4000;
  server 123.131.121.122;
}

server {
  listen 80;
  server_name yourdomain.com;

  location / {
     proxy_pass http://node_js;
  }
}

8. SSL

server {
  listen 443 ssl;
  server_name yourdomain.com;

  ssl on;

  ssl_certificate /path/to/cert.pem;
  ssl_certificate_key /path/to/privatekey.pem;

  ssl_stapling on;
  ssl_stapling_verify on;
  ssl_trusted_certificate /path/to/fullchain.pem;

  ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
  ssl_connection_timeout 1d;
  ssl_session_cache shared:SSL:50m;
  add_header Strict-Transport-Security max-age=15768000;
}

# Permanent Redirect for HTTP to HTTPS
server {
  listen 80;
  server_name yourdomain.com;
  return 301 https://$host$request_uri;
}

개인적으로 사용하는 서버에서 NGINX를 사용하고 있습니다. dev.to를 보던 중 저장해 두고 필요할 때마다 참고하기 위해 포스팅 하였습니다. 해당 글의 출처는 다음과 같습니다: Nginx Cheatsheet

Jenkins를 이용해 docker 이미지를 빌드하는 방법에 대해 알아봅니다.

0. Jenkins 및 docker 설치.

들어가기 앞서 jenkins와 docker를 미리 준비합니다.

• 2019.05.23 - [Programming/Linux] - [Ubuntu] Docker 설치하기
• 2020.01.17 - [Programming/Linux] - [Ubuntu] CI/CD를 위한 Jenkins 설치

1. Github 저장소 생성

가장 먼저 jenkins에서 빌드할 Github 저장소를 생성해 줍니다. 저장소에는 도커 이미지로 빌드할 때 사용될 dockerfile이 포함되어야 합니다.

Github 저장소는 다음을 참고해 주시기 바랍니다: JenkinsDockerPipeline

dockerfile은 설명할 내용이 없으며 Jenkinsfile은 뒤에서 설명하도록 하겠습니다.

2. 빌드 환경 구성.

Jenkins에서 Docker 이미지를 빌드하기 위해선 별도의 플러그인이 필요합니다. Jenkins 플러그인 설치 페이지로 이동 후 "Docker Pipeline" 플러그인을 설치합니다.

다음으론 Docker Registry의 인증 정보를 등록해 줄 차례입니다. Global Credential 페이지로 이동 후 Add Credentials를 클릭해 인증 정보를 등록합니다.

전 이전에 생성한 Harbor의 인증정보를 입력했습니다.

다음은 git을 이용하기 위한 설정입니다. 먼저 Jenkins가 설치된 서버에 git이 없다면 설치합니다.

$ sudo apt-get install git

그 후 git exe 경로를 확인합니다.

$ gut --exec-path

Jenkins의 Global tool configuration 페이지로 이동해 Git 항목을 확인한 경로로 수정해 줍니다.

다음은 도커 사용 권한입니다. 기본적으로 Jenkins에서 바로 docker.sock를 사용할 순 없습니다. 다음 명령어로 권한을 부여해 주세요.

$ sudo chmod 666 /var/run/docker.sock

3. Jenkins 아이템 생성

이제 Jenkins Pipeline을 사용해 실제 빌드를 진행해 보도록 하겠습니다. "새로운 Item"을 클릭해 "Pipeline"을 선택하고 새로운 아이템을 만듭니다.

저장소를 확인해 보셨다면 내부에 ${env.BUILD_NUMBER}를 확인할 수 있습니다. 이 값을 태그로 이용할 것이며 해당 값은 빌드할 때 함께 넘겨줍니다. 이를 위해 매개변수를 정의합니다.

다음은 파이프 라인 관련 설정입니다. 파이프라인 설정은 다음과 같이 설정하시면 됩니다.

"Pipeline script from SCM"을 선택한 뒤 SCM은 git을 고르고 리포지토리 주소를 입력하면 됩니다. 해당 리포지토리 내의 "Jenkinsfile"을 파이프라인 스크립트로 사용하겠다는 의미를 가집니다.

"Build with parameter"를 클릭해 BUILD_NUMBER를 입력한 뒤 빌드하면 파이프라인을 통해 빌드되는 것을 확인할 수 있습니다.

이제 Jenkinsfile을 확인해 봅시다.

node {
  stage('========== Clone repository ==========') {
    checkout scm
  }
  stage('========== Build image ==========') {
    app = docker.build("jenkins-docker-pipeline/my-image")
  }
  stage('========== Push image ==========') {
    docker.withRegistry('YOUR_REGISTRY', 'YOUR_CREDENTIAL') {
      app.push("${env.BUILD_NUMBER}")
      app.push("latest")
    }
  }
}

업로드된 Jenkinsfile은 Scripted pipeline을 위한 스크립트입니다. 다른 방식으로 Declarative pipeline을 위한 방식도 있으나 이 글에선 설명하지 않도록 하겠습니다.

파이프라인은 세 스테이지로 동작합니다.

1. SCM에서 소스코드를 체크아웃받습니다.

2. dockerfile을 이용해 "jenkins-docker-pipeline/my-image"라는 이름으로 이미지를 빌드합니다. 

   Jenkinsfile에서 push 할 때 이미지 태그를 설정하므로 여기선 이미지 이름만 설정합니다.

3. DockerRegistry에 Credential을 이용해 이미지를 push 합니다. 

   여기서 앞서 정의한 BUILD_NUMBER가 사용되며 자동으로 latest 태그의 이미지도 함께 push 됩니다.

예를 들어 BUILD_NUMBER에 0.0.1을 입력하고 빌드하면 jenkins-docker-pipeline/my-image:0.0.1과 jenkins-docker-pipeline/my-image:latest가 push 됩니다.

중앙 로그 수집을 위해 Eleastcsearch, Fluentd, Kibana를 이용해 EFK 스택을 구축해보도록 합니다.

1. 앞선 글

중앙 로그 수집을 위해 로그 수집기를 알아봤습니다: 2020.10.28 - [Programming] - LogStash vs Fluentd - 어떤 것을 선택해야 할까

Fluentd를 사용해보고자 했지만 미뤄졌던 일이 이제야 사용해 볼만한 기회가 찾아와 좀 더 자세히 포스팅하기로 했습니다.

EFK 스택은 기존 ELK 스택의 변형입니다. 기존 로그 수집 미들웨어인 Logstash 대신 Fluentd를 사용한 스택입니다. Elasticsearch, Logstash, Fluentd, Kibana에 대한 설명은 이 글에서 다루지 않도록 하겠습니다.

이 글의 예시는 Visual Studio의 dotNet5.0을 이용해 예시 프로젝트를 만들고 그 프로젝트의 로그를 fluentd를 통해 elasticsearch로 보낸 뒤 kibana에서 확인하는 과정으로 진행하도록 하겠습니다.

해당 내용은 다음 git 저장소에서 확인할 수 있습니다: FluentdTester

2. 테스트용 프로젝트 생성.

VisualStuio를 열고 dotNet 5.0을 사용해 WebAPI 프로젝트를 생성합니다. 프로젝트는 HTTPS를 지원하지 않도록 설정하였으며 Docker 지원은 체크해 생성합니다.

로그를 남기기 위해 Serilog를 사용하도록 합니다. NuGet 패키지 관리자를 열어 Serilog, Serilog.Sinks.File, Serilog.Formatting.Elasticsearch 패키지를 설치합니다.

Serilog는 로그를 남기기 위함이며 Serilog.Sink.File은 로그를 파일에 쓰기 위함이고 Serilog.Formatting.Elasticsearch는 로그 형식을 Elasticseach에 맞게 남겨주는 데 사용합니다.

새 컨트롤러를 생성해 Get요청이 오면 로그를 남기도록 코드를 작성합니다.

using Microsoft.AspNetCore.Mvc;
using Serilog;
using Serilog.Core;
using Serilog.Formatting.Elasticsearch;

namespace FluentdTester
{
    [Route("api/[controller]")]
    [ApiController]
    public class LogController : ControllerBase
    {
        private readonly Logger logger;
        public LogController()
        {
            logger = new LoggerConfiguration()
                .MinimumLevel.Debug()
                .Enrich.FromLogContext()
                .Enrich.WithProperty("Service", "LogTester")
                .WriteTo.File(new ElasticsearchJsonFormatter(), "logs/fluentd-test.log", rollingInterval: RollingInterval.Day)
                .CreateLogger();
        }
        // GET: api/log/test
        [HttpGet("test")]
        public IActionResult Get()
        {
            logger.Debug(string.Format("This is sample log."));
            return Ok();
        }
    }
}

다음은 편의를 위한 코드 수정입니다. Production 환경에서도 swagger에 접속할 수 있도록  Startup.cs 파일을 수정합니다.

// Startup.cs
public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
    app.UseDeveloperExceptionPage();
    app.UseSwagger();
    app.UseSwaggerUI(c => c.SwaggerEndpoint("/swagger/v1/swagger.json", "FluentdLogTester v1"));
    app.UseHttpsRedirection();
    app.UseRouting();
    app.UseAuthorization();
    app.UseEndpoints(endpoints => { endpoints.MapControllers(); });
}

이제 도커 이미지로 빌드해 봅시다. 자동으로 생성된 Dockerfile을 우클릭 해 Docker 이미지 빌드를 클릭합니다.

정상적으로 빌드되는지 확인합니다. 해당 방식으로 이미지를 빌드하면 자동으로 latest 태그가 설정되어 빌드가 됩니다.

3. fluentd 추가하기.

앞서 작성한 프로그램이 로그를 남기면 fluentd는 그 로그파일을 읽어 Elasticsearch로 로그를 전송하는 역할을 담당하게 될 겁니다. 이렇게 로그 파일을 추적해 로그를 전송하는 방식은 fluentd의 "tail" Input Plugin을 사용합니다. 자세한 내용은 공식 홈페이지를 참고해 주시기 바랍니다: Fluentd - tail

로그를 읽어 들이는 Input Plugin이 있으면 반대로 읽은 로그를 Elasticsearch로 전송하는 기능도 있습니다. 다행히도 별도의 구현을 할 필요 없이 바로 Elasticsearch로 로그를 보낼 수 있도록 Elasticsearch Output Plugin을 제공해주고 있습니다. 자세한 내용은 공식 홈페이지를 참고해 주시기 바랍니다: Fluentd - elasticsearch

이제 tail과 elasticsearch를 사용할 수 있도록 fluentd의 설정 파일을 작성하도록 하겠습니다.

#/fluentd/conf/fluent.conf
<source>
  @type tail
  path /app/logs/fluentd-tester/*.log
  pos_file /app/logs/td-agent/logtest.log.pos
  tag logtest
  <parse>
    @type json
  </parse>
</source>
<match *.**>
  @type copy
  <store>
    @type elasticsearch
    host elasticsearch
    port 9200
    logstash_format true
    logstash_prefix fluentd
    logstash_dateformat %Y%m%d
    include_tag_key true
    type_name access_log
    tag_key @log_name
    flush_interval 1s
  </store>
  <store>
    @type stdout
  </store>
</match>

앞서 작성한 프로그램의 로그를 읽어 elasticsearch로 전송하는 설정 파일입니다. 다음으로는 이 설정 파일과 elasticsearch 플러그인을 사용할 수 있도록 fluentd 이미지를 빌드하는 dockerfile을 작성합니다.

# /fluentd/dockerfile
FROM fluentd:v1.9.1-debian-1.0
COPY /conf/* /fluentd/etc/
USER root
RUN ["gem", "install", "fluent-plugin-elasticsearch", "--no-document", "--version", "4.3.3"]
USER fluent

이제 이 dockerfile을 사용해 fluentd 이미지를 빌드해 줍니다.

$ docker build . -t my-fluentd:0.0.1

** 여기서는 conf 파일을 포함하는 이미지를 미리 빌드해서 사용합니다. 

** 만약 docker-compose에서 새로 빌드하고자 한다면 dockerfile의 "COPY /conf/* /etc/"를 사용할 수 없으므로 별도로 conf 파일을 옮겨주는 작업이 필요합니다. 

4. 배포를 위한 docker-compose 작성.

이 글은 간단한 테스트를 위한 글이므로 테스트 프로그램, fluentd, Elasticsearch, Kibana 모두 한 docker-compose 파일 내에 작성해 배포하도록 진행하겠습니다.

version: '3.9'

volumes:
  test-logs:

services:
  fluentd-tester:
    image:  fluentdtester:latest
    volumes:
        - test-logs:/app/logs
    depends_on:
        - "fluentd"
    expose:
        - "8080"
    ports:
        - "8080:80"

  fluentd:
    image: my-fluentd:0.0.1
    user: root
    volumes:
      - test-logs:/app/logs/fluentd-tester
    depends_on:
      - "elasticsearch"
    ports:
      - "24224:24224"
      - "24224:24224/udp"

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    environment:
      - "discovery.type=single-node"
    expose:
      - "9200"
    ports:
      - "9200:9200"

  kibana:
    image: kibana:7.10.1
    depends_on:
      - "elasticsearch"
    ports:
      - "5601:5601"

내용은 간단합니다. 앞서 빌드한 이미지인 fluentdtester:latest와 my-fluentd:0.0.1 그리고 elasticsearch와 kibana를 실행시킵니다. fluentd-tester와 fluentd 서비스는 test-logs라는 이름의 볼륨을 이용해 데이터를 공유하도록 해주었습니다.

이를 통해 fluentd-service에서 작성한 로그파일에 fluentd가 접근해 tail로 로그파일을 elasticsearch로 전송합니다.

다음 명령어를 통해 docker-compose를 실행시켜봅시다.

$ docker-copmpose up -d

정상적으로 컨테이너들이 실행된 것을 확인할 수 있습니다.

5. 동작 확인.

컨테이너가 정상적으로 실행되었다면 이제 테스트 로그를 남겨봅시다. 다음 주소로 이동해 swagger를 사용해 로그를 남깁시다.

http://localhost:8080/swagger/index.html

정상적으로 로그가 남았음을 확인하고 싶다면 컨테이너에 접속해 /app/logs 폴더에 들어가 확인해보시면 됩니다.

이제 키바나에 접속해 인덱스 패턴을 생성해야 합니다. 다음 주소로 접속해 인덱스 패턴을 생성합니다.

http://localhost:5601/app/management/kibana/indexPatterns

Create index 화면에서 "fluentd-*" 패턴을 생성해줍니다.

Time Field는 @timestamp를 선택합니다.

이제 discover로 이동합니다.

http://localhost:5601/app/discover/

앞서 남긴 로그를 확인할 수 있습니다.

docker-compose를 이용해 간단히 MongoDB ReplicaSet을 구성하는 방법에 대해 알아보도록 합니다.

참고 소스는 다음 git 저장소에서 확인할 수 있습니다: MongoDBReplicaSetTest

0. Docker Desktop 설치

Docker Container로 배포를 위해선 개발 환경에 docker가 설치되어 있어야 합니다. 공식 홈페이지로 이동해 Docker Desktop을 설치합니다: www.docker.com/products/docker-desktop

1. Replica set 구성을 위한 js 파일 작성.

MongoDB에서 ReplicaSet을 설정하기 위한 js 파일을 작성합니다.

// init/
config = {
  _id : "replication",
  members: [
    {_id:0,host : "mongo1:27017"},
    {_id:1,host : "mongo2:27017"},
    {_id:2,host : "mongo3:27017"},
  ]
}
rs.initiate(config);
rs.conf();

members를 보면 알 수 있듯이 mongo1, mongo2, mongo3의 세 개의 MongoDB를 사용할 예정입니다. 이번 예시에서는 mongo1 서버에서 해당 스크립트를 수행하도록 진행할 것입니다.

2. 쉘 스크립트 작성.

MongoDB 컨테이너가 올라오면 앞서 작성한 스크립트 파일을 수행 해 Replica set을 구성하도록 하는 쉘 스크립트를 작성합니다.

#init/setup.sh
sleep 5 | echo "Waiting for the servers to start..."
mongo mongodb://localhost:27017 /usr/src/configs/init/setReplication.js

3. dockerfile 작성

앞서 스크립트를 작성하면서 설명했듯이 mongo1 컨테이너에서는 우리가 작성한 스크립트가 실행되어야 합니다. 이를 위해 MongoDB 이미지를 가져와 컨테이너 실행 시 우리의 코드가 실행되는 새로운 이미지를 만들어 보도록 하겠습니다.

# dockerfile

FROM mongo

WORKDIR /usr/src
RUN mkdir configs
WORKDIR /usr/src/configs

COPY init/* init/

RUN chmod +x init/setup.sh

CMD ["/usr/src/configs/init/setup.sh"]

수행하는 내용은 간단합니다. mongo 이미지를 가져와 /usr/src/config 폴더를 만들고 그 안에 init 폴더를 그대로 복사합니다. 그리고 앞서 작성한 setup.sh 파일에 권한을 부여한 후 setup.sh를 실행시키는 게 전부입니다. 

4. docker-compose.yml 작성

이제 거의 다 끝나갑니다. 마지막으로 여러 mongodb 컨테이너를 동시에 실행시키고 ReplicaSet을 구성하기 위한 docker-compose.yml 파일을 작성합시다.

version: '3'
services:
  mongo1:
    image: mongo-rep:0.0.1
    build:
      context: .
      dockerfile: dockerfile
    volumes:
      - {SOMEWHERE_YOUR_VOLUME}/mongoRepl/mongo1:/data/db
    ports:
      - "27021:27017"
    networks:
      - mongo-networks
    command: mongod --replSet replication

  mongo2:
    image: "mongo"
    ports:
      - "27022:27017"
    volumes:
      - {SOMEWHERE_YOUR_VOLUME}/mongoRepl/mongo2:/data/db
    networks:
      - mongo-networks
    command: mongod --replSet replication
    depends_on:
      - mongo1

  mongo3:
    image: "mongo"
    ports:
      - "27023:27017"
    volumes:
      - {SOMEWHERE_YOUR_VOLUME}/mongoRepl/mongo3:/data/db
    networks:
      - mongo-networks
    command: mongod --replSet replication
    depends_on:
      - mongo2

networks:
  mongo-networks:
    driver: bridge

mongo2와 mongo3은 mongo 이미지를 그대로 가져와 사용합니다. 볼륨은 각각 자신이 설정한 볼륨 경로 내의 "mongoRepl/mongo2"와 "mongoRepl/mongo3"에 컨테이너 내부의 mongodb 데이터가 저장됩니다.

세 컨테이너는 depends_on으로 연결되어 있으며 bridge 네트워크를 사용해 서로 서비스 이름을 통해 통신할 수 있습니다. 추가적으로 mongo2와 mongo3은 replSet 명령어로 "replication"이라는 이름으로 ReplicaSet을 생성합니다. 이 이름은 앞서 작성한 js의 _id에 입력한 값과 동일해야 합니다.

mongo1은 다른 두 서비스와 달리 mongo 이미지를 그대로 사용하지 않고 앞서 작성한 dockerfile을 이용해 새로운 이미지를 빌드합니다. 이 서비스가 실행되면 다른 두 mongodb 서비스와 같이 ReplicaSet을 구성하게 됩니다.

이제 다음 명령어를 통해 docker-compose를 실행시켜 봅시다

$ docker-compose up -d

이제 ReplicaSet이 정상적으로 동작하는지 확인하기 위해 컨테이너에 접속해 봅시다. 먼저 컨테이너의 ID를 확인합니다.

$ docker ps -a

컨테이너 ID를 확인 후 아무 데나 접속해 봅니다.

$ docker exec -u 0 -it 51 mongo

위와 같이 "replication:PRIMARY" 혹은 "replication:SECONDARY"라고 표시되면 정상적으로 ReplicaSet이 구성된 겁니다.

.Net 5.0을 사용해 React 프로젝트에서 Docker Container를 사용해 프로젝트를 배포하는 방법에 대해 알아봅니다.

0. Docker Desktop 설치.

Docker Container로 배포를 위해선 개발 환경에 docker가 설치되어 있어야 합니다. 공식 홈페이지로 이동해 Docker Desktop을 설치합니다: www.docker.com/products/docker-desktop

1. 프로젝트 생성

Visual studio를 켜고 React.js 프로젝트를 생성합니다.

프로젝트 이름은 적당히 짓고 대상 프레임워크는 .Net 5.0을 선택합니다.

* IDE는 Visual studio 2019 CE를 사용하였습니다.

2. Docker 지원 추가.

Visual studio 2019의 다른 여러가지 Web 프로젝트는 대부분 기본적으로 Docker Container 배포를 지원합니다. 하지만 안타깝게도 포스팅을 올리는 현재 Visual studio 2019에서 React.js 프로젝트는 Docker Container 배포를 기본적으론 지원하지 않습니다. 앞서 프로젝트를 만들 때 docker 지원을 보지 못하셨을 겁니다.

React.js 프로젝트에 수동으로 docker 지원을 추가해 봅시다. 먼저 프로젝트를 우클릭한 뒤 추가 -> Docker 지원을 클릭합니다.

대부분의 경우는 Linux container일겁니다. 자신이 원하는 대상 OS를 선택합니다.

이제 IDE가 자동으로 "Dockerfile"을 생성해 .Net5.0에 맞는 dockerfile을 작성해 줍니다. "Dockerfile"을 우클릭 해 "Docker 이미지 빌드"를 클릭해 도커 이미지를 생성해 봅시다.

빌드가 잘 되시나요? 아마 다음과 같은 오류와 함께 빌드가 실패했을 것입니다.

이제 빌드 출력창을 한번 뒤져봅시다. 아마 다음과 같은 에러 메시지를 마주 할 수 있을 겁니다.

1>#16 2.809 /bin/sh: 2: /tmp/tmp1d7d426dff82428db5f0845ee787658f.exec.cmd: npm: not found
1>#16 2.814 /src/DockerDeployExample/DockerDeployExample.csproj(37,5): error MSB3073: The command "npm install" exited with code 127.
1>#16 ERROR: executor failed running [/bin/sh -c dotnet publish "DockerDeployExample.csproj" -c Release -o /app/publish]: exit code: 1

누가 봐도 어디서 문제가 생긴건지 찾으실 수 있을 겁니다 npm: not found 우리 이미지엔 npm이 없었습니다.

3. .Net5.0 이미지에 nodejs 추가하기.

사실 MSDN을 애용하는 개발자라면 이런 문제를 마주치지 않을 수도 있었을 겁니다. MSDN의 다음 글을 확인해 주세요: Quickstart: Use Docker with a React Single-page App in Visual Studio

리눅스 컨테이너 항목을 보면 수동으로 nodejs를 설치해야 하는 것을 알 수 있습니다. 이제 우리 "Dockerfile"에 다음과 같은 명령어를 추가해 주도록 합니다.

RUN curl -sL https://deb.nodesource.com/setup_15.x | bash -
RUN apt-get install -y nodejs

* 현재 포스팅 일자 기준으로 nodejs의 최신 버전은 15.x 버전이며 LTS는 14.x 버전입니다.

MSDN페이지에선 base와 build 모두에 설치했지만 .Net5.0에선 base 이미지에 nodejs를 설치하면 에러가 발생하며 build 이미지에만 nodejs를 설치해 줘도 정상적으로 빌드가 됩니다.

수정한 Dockerfile은 다음과 같습니다.

#See https://aka.ms/containerfastmode to understand how Visual Studio uses this Dockerfile to build your images for faster debugging.
FROM mcr.microsoft.com/dotnet/aspnet:5.0 AS base
WORKDIR /app
EXPOSE 80

FROM mcr.microsoft.com/dotnet/sdk:5.0 AS build
RUN curl -sL https://deb.nodesource.com/setup_15.x | bash -
RUN apt-get install -y nodejs
WORKDIR /src
COPY ["DockerDeployExample/DockerDeployExample.csproj", "DockerDeployExample/"]
RUN dotnet restore "DockerDeployExample/DockerDeployExample.csproj"
COPY . .
WORKDIR "/src/DockerDeployExample"
RUN dotnet build "DockerDeployExample.csproj" -c Release -o /app/build

FROM build AS publish
RUN dotnet publish "DockerDeployExample.csproj" -c Release -o /app/publish

FROM base AS final
WORKDIR /app
COPY --from=publish /app/publish .
ENTRYPOINT ["dotnet", "DockerDeployExample.dll"]

이제 다시 "Dockerfile"을 우클릭 해 "Docker 이미지 빌드"를 클릭해 도커 이미지를 생성해보면 정상적으로 이미지가 생성되는 것을 확인할 수 있습니다.

4. Docker image push

이제 빌드한 이미지를 "게시" 기능을 이용해 Docker Registry에 Push까지 해봅시다. Docker Registry는 DockerHub를 사용하거나 PrivateRegistry를 구축해 사용하시면 됩니다.

• 2020.02.26 - [Programming/Linux] - [Docker] Harbor를 이용한 Private Registry 구축
• 2020.06.04 - [Programming/Linux] - [Docker] Harbor 2.0 업그레이드

프로젝트를 우클릭 해 "게시"를 클릭합니다.

게시 대상을 선택합니다. "Docker 컨테이너 레지스트리"를 선택합니다.

원하는 컨테이너 레지스트리를 선택합니다. 저는 이전에 구축한 Harbor에 게시해 보도록 하겠습니다.

자격증명과 레지스트리 경로를 입력합니다.

"호스팅" 항목의 "..."을 클릭하면 "이미지 태그 편집"을 사용할 수 있습니다. 기본값은 latest인데 이 값을 0.0.1로 바꿔 게시해 보도록 하겠습니다.

잠시 기다리면 게시가 완료되었다는 메시지를 확인할 수 있습니다.

실제로 Harbor에 접속해보면 이미지가 정상적으로 push 되었음을 확인할 수 있습니다.

.Net 5.0의 WPF에서 WinForm을 이용해 OpenFileDialog를 사용하는 방법에 대해 알아봅니다.

1. 프로젝트 설정.

IDE는 VisualStudio 2019 CE를 사용했으며 프로젝트는 .Net 5.0을 사용한 WPF 프로젝트를 생성하였습니다.

2. OpenFileDialog 사용해보기.

먼저 적당히 xaml에 버튼을 추가한 후 이벤트를 생성합니다.

MSDN의 .Net5.0에 해당하는 OpenFileDialog 클래스를 보면 다음과 같이 사용할 수 있다고 나와있습니다.

// public sealed class OpenFileDialog : System.Windows.Forms.FileDialog
var fileContent = string.Empty;
var filePath = string.Empty;
using (OpenFileDialog openFileDialog = new OpenFileDialog())
{
    openFileDialog.InitialDirectory = "c:\\";
    openFileDialog.Filter = "txt files (*.txt)|*.txt|All files (*.*)|*.*";
    openFileDialog.FilterIndex = 2;
    openFileDialog.RestoreDirectory = true;
    if (openFileDialog.ShowDialog() == DialogResult.OK)
    {
        //Get the path of specified file
        filePath = openFileDialog.FileName;
        //Read the contents of the file into a stream
        var fileStream = openFileDialog.OpenFile();
        using (StreamReader reader = new StreamReader(fileStream))
        {
            fileContent = reader.ReadToEnd();
        }
    }
}
MessageBox.Show(fileContent, "File Content at path: " + filePath, MessageBoxButtons.OK);

위와 같이 이벤트를 수정해 봅시다.

슬프게도 에러가 발생합니다. 심지어 "System.Windows.Forms.FileDialog"도 찾을 수 없습니다. 

. .Net 5.0 WPF 프로젝트에서 WinForm 사용하기.

사실 .Net5.0 WPF 프로젝트에서 WinForm은 사용할 수 없는 게 기본값입니다. WinForm을 사용하기 위해선 프로젝트 설정으로 가서 수동으로 WinForm을 사용하도록 설정해야 합니다.

프로젝트 파일을 열어 설정을 확인합니다.

<Project Sdk="Microsoft.NET.Sdk">
	<PropertyGroup>
		<OutputType>WinExe</OutputType>
		<TargetFramework>net5.0-windows</TargetFramework>
		<UseWPF>true</UseWPF>
	</PropertyGroup>
</Project>

별다른 설정을 하지 않았다면 위와 같은 설정을 확인할 수 있습니다. 이제 여기 "PropertyGroup"에 "UseWindowsForms" 항목을 추가해 줍니다.

<Project Sdk="Microsoft.NET.Sdk">
	<PropertyGroup>
		<OutputType>WinExe</OutputType>
		<TargetFramework>net5.0-windows</TargetFramework>
		<UseWPF>true</UseWPF>
		<UseWindowsForms>true</UseWindowsForms>
	</PropertyGroup>
</Project>

이제 다시 코드로 돌아가 봅시다.

이제 정상적으로 WinForm을 사용할 수 있습니다.