Journey of Cloud Data Engineer

1. 개요:

직장 내에서 새로운 규칙이 생겼다고 가정해봅시다. "퇴근하는 마지막 사람이 불을 끄고 갈 것" 이라고 했을 때 과연 이 보안 규칙이 잘 유지가 될 지는...쉽지 않은 일입니다.

클라우드 환경에서도 마찬가지로 특정 보안 규칙을 수동으로 적용하기에는 아무래도 한계가 있습니다

하지만 우리의 친구 Azure에는 이러한 문제를 해결해주는 기능이 있는데요 Azure Policy 입니다.

Azure Policy는 조직의 거버넌스와 규정 준수를 자동화 하기 위한 도구 입니다.

2. 구성 요소:

정책 정의의 구성 요소

displayName :  정책의 이름

description : 정책에 대한 설명

mode : 정책이 적용 되는 리소스의 유형

parameters : 정책이 전달되는 매개 변수

policyRule : 정책의 조건과 효과를 정의

정책 효과의 종류

Deny :  정책 조건에 충족하지 않는다면 생성이나 업데이트를 거부

Audit : 조건에 충족되지 않는 리소스를 감사 로그에 기록

Append : 리소스에 추가적인 속성을 추가

Modify : 리소스의 속성 수정

DeployIFNotExists : 조건에 맞는 리소스가 없다면 자동으로 배포

3. 적용 과정:

먼저 정책에서 정의(Definition)에 들어가줍니다

보시면 아시겠지만 내장되어 있는 정책이 거의 수백가지인데요 

이걸 하나하나 보기에는 정신 건강에 해롭습니다. 그래서 검색을 해서 필요한 정책을 살펴봅니다

제가 찾은 건 'Azure 백업은 가상 머신에서 활성화되야 한다' 라는 정책입니다

보시는 것처럼 JSON으로 정책이 만들어져 있는데요 이 코드를 가져가서 커스텀 하는 것도 물론 가능합니다.

저는 이 정책을 그대로 Assign Policy 해서 범위를 할당시켜 보겠습니다.

구독과 특정 리소스 그룹에 대해 설정할 수 있고

해당 리소스 그룹 내에서 특정 리소스만 제외를 할 수도 있습니다

주의할 점이 하나 있는데요

기본적으로 정책을 할당하면 새로 생성한 리소스에만 적용이 됩니다

만약 기존 리소스에도 정책을 적용하고 싶다면 수정 조치(Remediation) 을 해야하는 겁니다

Remediation(수정 조치)의 동작 방식

1) DeployIfNotExists 정책이 있는 경우 → 정책 위반 리소스에 대해 지정된 템플릿을 배포

2) Modify 정책이 있는 경우 → 기존 리소스의 태그를 수정

Non-compliance messages 는 정책을 위한한 리소스가 있다면 왜 정책을 위반했는지 말해주는 메시지를 제공해줍니다

특정 리소스가 정책에 맞지 않아 거부되었을 때(Deny 효과 적용 시) 나 평가 결과에서 비준수(non-compliant) 상태로 표시될 때 이 메시지가 보이는 거죠

참고자료

Azure 정책 개요 - Azure Policy | Microsoft Learn

Azure Policy 정의 구조 기본 사항에 대한 세부 정보 - Azure Policy | Microsoft Learn

오랜만에 포스팅 합니다

다시 Azure 에 대해 달려보도록 하며 AWS 포스팅도 슬슬 시작해야겠습니다.

1. 개요:

TCO(Total Cost Of Ownership 총 소유 비용) 는 IT 인프라를 운영하는데 드는 총 비용을 의미하는데요

단순히 VM, 스토리지 같은 리소스 가격 뿐만 아니라 하드웨어, 소프트웨어, 유지보수까지 전부 포함해서 비교하는 개념입니다.

정리하자면, 온프레미스 vs Azure 클라우드 비용을 비교해서 어떤 것이 더 합리적인지 알 수 있습니다.

2. 구성 요소:

크게 4가지 비용 요소를 고려하는데요

• 하드웨어 비용 (Hardware Costs)
• 소프트웨어 비용 (Software Costs)
• 운영  비용 (Operationa Costs)
• 보안 및 규정 준수 비용 (Security & Compliance Costs)

3. 진행 과정:

Azure TCO Calculator 접속

Total Cost of Ownership (TCO) Calculator | Microsoft Azure

기본 온프레미스 환경 입력

서버 설정 내에서는 워크로드, 환경, 운영 체제, 운영 체제 라이선스 (Windows Server -Standard/Datacenter), 환경 내의 서버 개수 등을 자세히 설정할 수 있습니다.

데이터베이스에서는 DBMS 엔진부터 해서 서버 개수 등 다양하게 설정할 수 있습니다.

스토리지와 네트워크 환경까지 온프레미스 실제 환경에 맞춰 구성해주면

가정 조정

가정 조정 부분에서는 온프레미스 환경에서 발생할 수 있는 다양한 비용 요소를 조정하고 좀 더 현실적으로 반영할 수 있도록 합니다

대표적으로는 하드웨어 교체주기, 전력 비용,  IT 인력 비용, 네트워크 비용, 디스크 비용, 백업 비용, 재해 복구 비용 까지 설정할 수 있는데요

최종적으로 절감되는 예상 비용을 확인할 수 있었습니다

참고 자료
Azure 가격 책정 계산기로 비용 예상 - Microsoft Cost Management | Microsoft Learn

1. 개요:

Azure나 AWS를 사용할 때 가장 주의해야 할 점은 비용입니다.

테스트용으로 서비스를 실행시킨 상태로 어디 잠깐 여행이라도 갔다온다면 꽤나 가슴 아픈 경험을 하게 될 수도 있고

클라우드 비용은 사용량에 따라 변동되기 때문에 예상 비용을 미리 계산하는 게 필수인데요

이 도구를 활용한다면 예상 사용량을 기반으로 미리 비용을 계산하고 다양한 절감 방법도 고려할 수 있습니다.

2. 구성 요소:

Azure의 대표적인 리소스는 다음과 같이 비용이 달라집니다

Virtual Machines (VM) : CPU, RAM, OS, 리전에 따라

Storage : 디스크 유형(SSD/HDD), 크기, 사용량에 따라

Networking : 아웃바운드 데이터 전송량에 따라

세부 구성 요소

3. 진행 과정:

가상 머신 가격 계산하기
Azure의 대표적인 가상 머신을 추가했을 때 가격 계산을 해보겠습니다.

가격 계산기 | Microsoft Azure

가격계산기 접속한 후 가상 머신을 클릭해주면

밑에 상세하게 설정할 수 있는 창이 나오고 표시된 것처럼 절약 플랜을 쓴다거나, 예약, 스팟 인스턴스 사용 시

비용 절감이 가능하다는 것을 확인할 수 있습니다.

라이선싱 프로그램이라고 맨 밑에서 4가지 정도를 볼 수 있는데요

MCA 는 Microsoft 고객 계약

EA는 기업 계약

CSP는 클라우드 솔루션 공급자이고

MOSA는 온라인 정기가입 예약 이라고 합니다 참고하면 될 듯 합니다.

이상 간단하게 가격 계산기에 대해서 알아봤는데요

Azure Cost Management나 온프레스 vs Azure 비용 비교(TCO 계산기) 에 대해서도 천천히 다뤄보도록 하겠습니다

1. 개요:

Azure Portal에서 Storage 계정을 생성하고 간단한 파일을 업로드 해보겠습니다

2. 진행 과정:

Storage 계정 생성

리소스 만들기에서 스토리지 계정 만들기로 들어갑니다.

당연하지만 현재 위치와 멀리 떨어져 있을 수록 가격이 증가합니다

성능 - 표준을 선택했을 때 4가지의 유형이 나옵니다

성능 - 프리미엄을 선택하면 3가지의 유형이 나옵니다

적절한 성능을 선택해서 진행해줍니다.

테스트 환경에서 네트워크 엑세스는 퍼블릭 엑세스 사용으로 해주는 것이 좋습니다

나머지는 전부 디폴트 값으로 진행해주면

이렇게 스토리지 계정이 간단하게 생성되었습니다.

Storage 계정에 파일 업로드

현재 Blob Storage로 생성을 하였기 때문에 파일 업로드를 위해서는 컨테이너가 반드시 필요합니다

그러나 SMB 프로토콜을 사용하는 File Storage의 경우는 컨테이너가 아닌 파일 공유라는 개념을 사용합니다Table Storage, Queue Storage, Disk Storage 등 또한 컨테이너가 필요하지 않습니다.

생성한 스토리지 계정의 리소스로 이동합니다

컨테이너로 이동해서 첫번째 컨테이너를 만들어 보겠습니다

컨테이너를 생성한 뒤

업로드 버튼을 클릭하면 표준 파일 선택기가 나옵니다

파일을 업로드 합니다.

업로드 고급 옵션에 뜨겁니 차니 등등이 있는데요

핫 계층 : 자주 엑세스되는 데이터용

쿨 계층 : 자주 엑세스되지 않는 데이터용

아카이브 계층 : 장기 보관용 데이터 입니다

업로드가 완료 된 후 URL을 복사하여 접속해보면

접속이 불가능 합니다...!

공유 엑세스 서명(SAS) 생성
Bob Storage의 컨테이너는 기본적으로 Private 상태로 생성됩니다

따라서 외부의 사용자가 업로드된 파일에 접속하러면 일정 시간 동안 파일에 대한 읽기/쓰기 권한을 부여할 수 있는

SAS를 생성해야 합니다 (혹은 컨테이너 자체를 공용으로 생성해도 됩니다)

공유 엑세스 토큰에 들어가서 SAS 토큰을 생성한 뒤 접속하면

정상적으로 업로드한 이미지 파일을 볼 수 있습니다.

Storage 계정 생성(Blob),  파일 업로드, SAS URL 생성 까지 완료되었습니다

다음은 File Storage 사용과 Storage Explorer 사용 등을 포스팅 하겠습니다.

1. 개요:

Azure Storage는 클라우드 기반 저장소 서비스로 고가용성, 확장성, 보안성을 갖춘 데이터 저장소 입니다.

2. 주요 개념

서비스 종류

Blob Storage : 대규모 비정형 데이터 저장용, 데이터 계층 지원

Table Storage : NoSQL 데이터 저장, 키-값 쌍 데이터 관리

Queue Storage : 메시지 큐 서비스, 비동기 프로세싱

File Storage : SMB 프로토콜을 사용하는 파일 공유

Disk Storage : VM용 관리 디스크, SSD-HDD 지원

Azure Storage 계층

핫 계층 : 자주 엑세스되는 데이터용

쿨 계층 : 자주 엑세스되지 않는 데이터용

아카이브 계층 : 장기 보관용 데이터

데이터 복제 옵션

LRS : 동일 리전에 3번 복제

GRS : 다른 리전에 추가 복제

ZRS : 리전 내 여러 가용성 영역에 복제

RA-GRS : GRS에 읽기 전용 엑세스 추가

Storage 계정의 유형

데이터 이동 및 마이그레이션

AzCopy : 대규모 데이터를 전송할 때 사용하는 명령줄 도구

Data Box : 대량의 데이터를 물리적으로 Azure로 전송할 수 있는 솔루션

3. 진행 과정:

간단하게 스토리지 생성, 스토리지 업로드, AzCopy 쓰는 것 등등을 포스팅 할 예정 입니다.

Azure Infrastructure 에서ㅏ 이어서 진행하겠습니다

1. 개요:

Azure OpenAI 는 OpenAI의 언어 모델에 대한 엑세스를 제공해주는 서비스 입니다.

사용자는 이를 통해서 GPT4, GPT3.5 DALL-E 등 다양한 모델을 활용할 수 있습니다

2. 진행 과정:

OpenAI 리소스 생성

Azure Portal에서 OpenAI를 찾습니다

리소스를 배포할 위치와 고유 이름을 입력한 후

기본값으로 넘어가는게 정신 건강에 이롭습니다.

생성이 되었으면 리소스로 이동을 합니다.

리소스로 이동 후 Azure OpenAI Metrics Dashboard 혹은 https://oai.azure.com/

이쪽으로 이동하여 Auzre AI 스튜디오에 로그인 합니다.

작업할 구독과 Azure Open AI 리소스를 선택하고 리소스 사용을 선택합니다.

관리에서 배포를 선택한 후 새 배포 만들기를 선택합니다.

목록에서 적절한 모델을 선택한 후  

모델을 식별하기 위한 배포 이름을 입력한 후

배포가 완료되었음을 확인할 수 있습니다.

마지막으로 파이썬을 활용해서 Azure OpenAI API 호출을 할 수 있습니다

Python 코드 예시:

import requests

# API URL
url = "https://<리소스 이름>.openai.azure.com/openai/deployments/<배포 ID>/chat/completions?api-version=2023-03-15-preview"

# 헤더 설정
headers = {
    "Content-Type": "application/json",
    "api-key": "<구독 키>"
}

# 요청 데이터
data = {
    "messages": [{"role": "user", "content": "안녕하세요!"}],
    "max_tokens": 100
}

# API 호출
response = requests.post(url, headers=headers, json=data)

# 응답 확인
print(response.status_code)
print(response.text)

OpenAI 리소스를 생성하였고 곧이어 Copilot Studio를 활용하여 OpenAI 모델을 실제로 활용하는 과정을 진행하겠습니다.