Journey of Cloud Data Engineer

1. 개요:

TCO(Total Cost Of Ownership 총 소유 비용) 는 IT 인프라를 운영하는데 드는 총 비용을 의미하는데요

단순히 VM, 스토리지 같은 리소스 가격 뿐만 아니라 하드웨어, 소프트웨어, 유지보수까지 전부 포함해서 비교하는 개념입니다.

정리하자면, 온프레미스 vs Azure 클라우드 비용을 비교해서 어떤 것이 더 합리적인지 알 수 있습니다.

2. 구성 요소:

크게 4가지 비용 요소를 고려하는데요

• 하드웨어 비용 (Hardware Costs)
• 소프트웨어 비용 (Software Costs)
• 운영  비용 (Operationa Costs)
• 보안 및 규정 준수 비용 (Security & Compliance Costs)

3. 진행 과정:

Azure TCO Calculator 접속

Total Cost of Ownership (TCO) Calculator | Microsoft Azure

기본 온프레미스 환경 입력

서버 설정 내에서는 워크로드, 환경, 운영 체제, 운영 체제 라이선스 (Windows Server -Standard/Datacenter), 환경 내의 서버 개수 등을 자세히 설정할 수 있습니다.

데이터베이스에서는 DBMS 엔진부터 해서 서버 개수 등 다양하게 설정할 수 있습니다.

스토리지와 네트워크 환경까지 온프레미스 실제 환경에 맞춰 구성해주면

가정 조정

가정 조정 부분에서는 온프레미스 환경에서 발생할 수 있는 다양한 비용 요소를 조정하고 좀 더 현실적으로 반영할 수 있도록 합니다

대표적으로는 하드웨어 교체주기, 전력 비용,  IT 인력 비용, 네트워크 비용, 디스크 비용, 백업 비용, 재해 복구 비용 까지 설정할 수 있는데요

최종적으로 절감되는 예상 비용을 확인할 수 있었습니다

참고 자료
Azure 가격 책정 계산기로 비용 예상 - Microsoft Cost Management | Microsoft Learn

1. 개요:

Azure나 AWS를 사용할 때 가장 주의해야 할 점은 비용입니다.

테스트용으로 서비스를 실행시킨 상태로 어디 잠깐 여행이라도 갔다온다면 꽤나 가슴 아픈 경험을 하게 될 수도 있고

클라우드 비용은 사용량에 따라 변동되기 때문에 예상 비용을 미리 계산하는 게 필수인데요

이 도구를 활용한다면 예상 사용량을 기반으로 미리 비용을 계산하고 다양한 절감 방법도 고려할 수 있습니다.

2. 구성 요소:

Azure의 대표적인 리소스는 다음과 같이 비용이 달라집니다

Virtual Machines (VM) : CPU, RAM, OS, 리전에 따라

Storage : 디스크 유형(SSD/HDD), 크기, 사용량에 따라

Networking : 아웃바운드 데이터 전송량에 따라

세부 구성 요소

3. 진행 과정:

가상 머신 가격 계산하기
Azure의 대표적인 가상 머신을 추가했을 때 가격 계산을 해보겠습니다.

가격 계산기 | Microsoft Azure

가격계산기 접속한 후 가상 머신을 클릭해주면

밑에 상세하게 설정할 수 있는 창이 나오고 표시된 것처럼 절약 플랜을 쓴다거나, 예약, 스팟 인스턴스 사용 시

비용 절감이 가능하다는 것을 확인할 수 있습니다.

라이선싱 프로그램이라고 맨 밑에서 4가지 정도를 볼 수 있는데요

MCA 는 Microsoft 고객 계약

EA는 기업 계약

CSP는 클라우드 솔루션 공급자이고

MOSA는 온라인 정기가입 예약 이라고 합니다 참고하면 될 듯 합니다.

이상 간단하게 가격 계산기에 대해서 알아봤는데요

Azure Cost Management나 온프레스 vs Azure 비용 비교(TCO 계산기) 에 대해서도 천천히 다뤄보도록 하겠습니다

1. 개요:

Azure에서 데이터를 관리하는데 있어, 특히 대용량 파일을 효율적으로 전송해야 할 때, AzCopy를 이용할 수 있습니다.

Storage 계정 간에 데이터를 복사, 업로드, 다운로드 할 수 있는 고성능 도구 입니다.

2. 진행 과정:

두 개의 컨테이너를 준비해줍니다.

업로드한 파일을 확인할 때와 마찬가지로 공유 엑세스(SAS)를 사용해줍니다.

Blob Service의 전체 URL을 복사해서 어디 메모장에 고이 모셔두도록 합시다

새로 만든 두번째 컨테이너도 공유 엑세스 토큰을 생성할건데 이때는 쓰기 권한을 무조건 넣어야 합니다.  

CLI를 열어주고 밑과 같은 코드를 입력해주면

azcopy copy "source_path" "destination_path" --recursive=true

Cjwoocontainer1 에 있던 파일들이 새롭게 생성한 cjwoocontainer2로 copy가 된 것을 확인할 수 있었습니다.

로컬 PC로 파일을 다운로드 하여 옮길 필요 없이 CLI 명령줄 하나로 간단하게 옮길 수 있었습니다.

Azcopy는 AWS 버킷으로도 복사가 된다고 합니다 추후에 확인해볼 필요가 있겠습니다.

(출처 및 참고자료)

AzCopy v10을 사용하여 Azure Storage로 데이터 복사 또는 이동 | Microsoft Learn

1. 개요:

Azure Portal에서 Storage 계정을 생성하고 간단한 파일을 업로드 해보겠습니다

2. 진행 과정:

Storage 계정 생성

리소스 만들기에서 스토리지 계정 만들기로 들어갑니다.

당연하지만 현재 위치와 멀리 떨어져 있을 수록 가격이 증가합니다

성능 - 표준을 선택했을 때 4가지의 유형이 나옵니다

성능 - 프리미엄을 선택하면 3가지의 유형이 나옵니다

적절한 성능을 선택해서 진행해줍니다.

테스트 환경에서 네트워크 엑세스는 퍼블릭 엑세스 사용으로 해주는 것이 좋습니다

나머지는 전부 디폴트 값으로 진행해주면

이렇게 스토리지 계정이 간단하게 생성되었습니다.

Storage 계정에 파일 업로드

현재 Blob Storage로 생성을 하였기 때문에 파일 업로드를 위해서는 컨테이너가 반드시 필요합니다

그러나 SMB 프로토콜을 사용하는 File Storage의 경우는 컨테이너가 아닌 파일 공유라는 개념을 사용합니다Table Storage, Queue Storage, Disk Storage 등 또한 컨테이너가 필요하지 않습니다.

생성한 스토리지 계정의 리소스로 이동합니다

컨테이너로 이동해서 첫번째 컨테이너를 만들어 보겠습니다

컨테이너를 생성한 뒤

업로드 버튼을 클릭하면 표준 파일 선택기가 나옵니다

파일을 업로드 합니다.

업로드 고급 옵션에 뜨겁니 차니 등등이 있는데요

핫 계층 : 자주 엑세스되는 데이터용

쿨 계층 : 자주 엑세스되지 않는 데이터용

아카이브 계층 : 장기 보관용 데이터 입니다

업로드가 완료 된 후 URL을 복사하여 접속해보면

접속이 불가능 합니다...!

공유 엑세스 서명(SAS) 생성
Bob Storage의 컨테이너는 기본적으로 Private 상태로 생성됩니다

따라서 외부의 사용자가 업로드된 파일에 접속하러면 일정 시간 동안 파일에 대한 읽기/쓰기 권한을 부여할 수 있는

SAS를 생성해야 합니다 (혹은 컨테이너 자체를 공용으로 생성해도 됩니다)

공유 엑세스 토큰에 들어가서 SAS 토큰을 생성한 뒤 접속하면

정상적으로 업로드한 이미지 파일을 볼 수 있습니다.

Storage 계정 생성(Blob),  파일 업로드, SAS URL 생성 까지 완료되었습니다

다음은 File Storage 사용과 Storage Explorer 사용 등을 포스팅 하겠습니다.

1. 개요:

AKS는 컨테이너화된 애프리케이션을 관리하기 위한 Kubernetes 서비스 입니다

Kubernetes는 수많은 컨테이너를 자동으로 관리하고 배달하는 시스템

(일종의 도시락을 배달하고 관리하는 음식 배달 센터)

Docker는 애플리케이션을 컨테이너라는 포장 상자에 담아 이동 가능하게 만드는 기술

(음식을 도시락에 담는 기술)

2. 구성 요소:

3. 진행 과정:

Container Instances 생성

다양한 서비스 중에 보통 단기 작업이나 테스트 용으로 많이 사용되는 Container Instances를 생성해보겠습니다

SKU는 표준은 보통 일반적인 컨테이너를 실행할 때 적합하고

기밀은 높은 보안 수준이 요구될 때 사용됩니다.

SKU는 클라우드 서비스의 특정 구성 또는 요금제를 의미 

빠른 시작 이미지는 가장 싼 요금을 선택하였습니다.

웹 앱 생성할 때 봤던 네트워킹 구성입니다. 퍼블릭 - 나머지는 기본값으로 진행합니다

이렇게 생성을 한 뒤

쩌어기 보이는 IP 주소를 복사하여 주소창에 입력하면

Azure Container Instances가 완성되었음을 확인할 수 있습니다

Container App 생성

컨테이너 앱은 비교적 최근에 나온 친구인데요

컨테이너화 된 애플리케이션을 실행하는 동안 비용을 좀 싸게 할 수 있는 플랫폼입니다

쿠버네티스 보다 사용하기 쉽고 관리하기 쉬운 방식으로 컨테이너를 호스팅 할 수 있게 해줍니다

컨테이너 앱은 각자의 컨테이너 환경을 가지고 있습니다 라는 말은

애플리케이션이 독립된 가상화된 실행 환경에서 동작한다는 뜻입니다.

컨테이너 인스턴스 처럼 빠른 시작 이미지를 사용해도 되고

컨테이너 레지스트리, Docker Hub 에서 선택할 수 있습니다.

그렇게 해서 기본값으로 쭈욱 생성하고 저 URL을 주소창에 복붙하게 되면

잘 생성이 된 것을 확인할 수 있었습니다.

1. 개요:

Azure의 PaaS 서비스로 웹 어플리케이션, 백엔드를 쉽게 배포 할 수 있는데요

간단하게 말해서 IIS의 클라우드 버전이라고 볼 수 있겠습니다

IIS + 클라우드 + 관리 자동화 = Azure Web App 입니다

2. 구성 요소:

App Service Plan : 웹 앱이 실행될 인프라를 정의

Resource Group : Azure에서 리소스를 논리적으로 묶어 관리

App Service Environment : 앱에 대한 고급 보안 네트워크와 격리된 환경 제공

Deployment Slots : 운영 중인 웹 앱의 테스트 버전 배포 가능

Custom Domains & SSL : 처음에 주어진 기본 도메인 (~~~.azurewebsites.net)를 사용자 지정 도메인으로 변경

Scaling Options : 자동 확장 및 부하 분산

Monitoring & Diagnostics : Azure Monitor,Application Insights등과 연계하여 모니터링

Idetify & Access Managemnet (IAM) : Azure AD로 사용자 인증 및 권한 관리 

Continuous Deployment : 자동화된 배포 파이프라인설정.

3. 진행 과정:

웹 앱 만들기

리소스 만들기에서 웹 앱을 클릭합니다.

모든 리소스는 리소스 그룹 안에 속해야 하므로 리소스 그룹을 생성해줍니다

코드, 컨테이너, 정적 웹 총 3가지 입니다

지금은 코드로 진행하겠습니다

런타임 스택은 C# 기반인 .NET Framework 부터 Node.js 등 다양하게 제공합니다

가격 또한 다양한 플랜이 있는데요 저는 일단 무료로 진행하고 추후에 바꿀 예정입니다.

전부 디폴트 값으로 진행하고 생성한 뒤 저 도메인을 클릭하게 되면

이렇게 웹 앱이 생성되었음을 확인할 수 있습니다.

Scale Up & Out

App Service Plan에서 더 큰 스케일 세트를 선택하거나, Virtual Machine을 더 높은 사양으로 변경한다면

(요금제를 비싼 것으로 바꾼다면)  Scale Up 하게 되고

 

인스턴스 수를 늘리게 된다면 스케일 아웃이 됩니다

인스턴스 수가 2배라면 비용도 2배가 됩니다

규칙 기반 자동 스케일링 (Auto Scaling)은 Azure에서 제공하는 자동 스케일링의 주요 방식 중 하나인데요

이 방식에서는 특정 규칙에 따라 시스템이 자동으로 스케일 업(성능 향상) 또는 스케일 아웃(인스턴스 추가)을 수행합니다.

규칙 기반 자동 스케일링을 사용하려면, Azure App Service는 Standard (S1) 이상, Azure Virtual Machines는 Standard 이상 요금제에서 가능합니다

최소값과 최대값을 설정해서

CPU 사용률을 기준으로 인스턴스를 추가 혹은 제거한다거나

메모리 사용률 기준으로 Scale Out, Scale In 할 수 있습니다.

 

용어	설명	주요 특징
Scale Up	기존 리소스의 성능(하드웨어)를 수직적으로 확장	더 큰 CPU, 메모리 저장소로 성능 개선
Scale Out	리소스를 수평적으로 확장하여 인스턴스 추가	인스턴스 추가, 부하 분산
Scale in	수평적으로 확장한 인스턴를 축소	과도한 인스턴스 제거

간단하게 Azure Web App을 알아보았습니다

Azure Function과 Azure Kubernetes and Container에 대해서도 차근차근 정립해나가겠습니다