Journey of Cloud Data Engineer

1. 개요:

TCO(Total Cost Of Ownership 총 소유 비용) 는 IT 인프라를 운영하는데 드는 총 비용을 의미하는데요

단순히 VM, 스토리지 같은 리소스 가격 뿐만 아니라 하드웨어, 소프트웨어, 유지보수까지 전부 포함해서 비교하는 개념입니다.

정리하자면, 온프레미스 vs Azure 클라우드 비용을 비교해서 어떤 것이 더 합리적인지 알 수 있습니다.

2. 구성 요소:

크게 4가지 비용 요소를 고려하는데요

• 하드웨어 비용 (Hardware Costs)
• 소프트웨어 비용 (Software Costs)
• 운영  비용 (Operationa Costs)
• 보안 및 규정 준수 비용 (Security & Compliance Costs)

3. 진행 과정:

Azure TCO Calculator 접속

Total Cost of Ownership (TCO) Calculator | Microsoft Azure

기본 온프레미스 환경 입력

서버 설정 내에서는 워크로드, 환경, 운영 체제, 운영 체제 라이선스 (Windows Server -Standard/Datacenter), 환경 내의 서버 개수 등을 자세히 설정할 수 있습니다.

데이터베이스에서는 DBMS 엔진부터 해서 서버 개수 등 다양하게 설정할 수 있습니다.

스토리지와 네트워크 환경까지 온프레미스 실제 환경에 맞춰 구성해주면

가정 조정

가정 조정 부분에서는 온프레미스 환경에서 발생할 수 있는 다양한 비용 요소를 조정하고 좀 더 현실적으로 반영할 수 있도록 합니다

대표적으로는 하드웨어 교체주기, 전력 비용,  IT 인력 비용, 네트워크 비용, 디스크 비용, 백업 비용, 재해 복구 비용 까지 설정할 수 있는데요

최종적으로 절감되는 예상 비용을 확인할 수 있었습니다

참고 자료
Azure 가격 책정 계산기로 비용 예상 - Microsoft Cost Management | Microsoft Learn

1. 개요:

Azure나 AWS를 사용할 때 가장 주의해야 할 점은 비용입니다.

테스트용으로 서비스를 실행시킨 상태로 어디 잠깐 여행이라도 갔다온다면 꽤나 가슴 아픈 경험을 하게 될 수도 있고

클라우드 비용은 사용량에 따라 변동되기 때문에 예상 비용을 미리 계산하는 게 필수인데요

이 도구를 활용한다면 예상 사용량을 기반으로 미리 비용을 계산하고 다양한 절감 방법도 고려할 수 있습니다.

2. 구성 요소:

Azure의 대표적인 리소스는 다음과 같이 비용이 달라집니다

Virtual Machines (VM) : CPU, RAM, OS, 리전에 따라

Storage : 디스크 유형(SSD/HDD), 크기, 사용량에 따라

Networking : 아웃바운드 데이터 전송량에 따라

세부 구성 요소

3. 진행 과정:

가상 머신 가격 계산하기
Azure의 대표적인 가상 머신을 추가했을 때 가격 계산을 해보겠습니다.

가격 계산기 | Microsoft Azure

가격계산기 접속한 후 가상 머신을 클릭해주면

밑에 상세하게 설정할 수 있는 창이 나오고 표시된 것처럼 절약 플랜을 쓴다거나, 예약, 스팟 인스턴스 사용 시

비용 절감이 가능하다는 것을 확인할 수 있습니다.

라이선싱 프로그램이라고 맨 밑에서 4가지 정도를 볼 수 있는데요

MCA 는 Microsoft 고객 계약

EA는 기업 계약

CSP는 클라우드 솔루션 공급자이고

MOSA는 온라인 정기가입 예약 이라고 합니다 참고하면 될 듯 합니다.

이상 간단하게 가격 계산기에 대해서 알아봤는데요

Azure Cost Management나 온프레스 vs Azure 비용 비교(TCO 계산기) 에 대해서도 천천히 다뤄보도록 하겠습니다

1. 개요:

Azure AI Search는 Azure 기반의 검색 서비스 인데요

구조화 되지 않은 데이터와 구조화된 데이터를 효과적으로 검색할 수 있답니다

Azure Blob Storage에 데이터 원본을 올리고 Azure AI Search를 연결하여

검색 가능한 데이터 원본으로 활용한 뒤

그 데이터 원본을 최종적으로 Copilot Studio에 연동하는 방법을 보여드리겠습니다.

2. 구성 요소:

• Azure Blob Storage : 비정형 데이터를 저장하는 Azure의 스토리지 서비ㅅ,
• Data Source
• Index : 데이터가 저장되어 있는 논리적 구조
• Indexer : 데이터 소스에서 데이터를 가져와 인덱스에 추가하는 역할

3. 진행 과정:

데이터 준비

먼저 Blob Storage에 데이터 원본을 업로드 했습니다

Storage 생성 후 업로드 하는 방법은 이전에 포스팅하였습니다 

Azure Storage 계정 생성 및 업로드

Azure AI Search 서비스 생성

만드는거야 사실 일반적인 서비스 만들 때 처럼 하면 됩니다만

가격 책정 계층을 주의해야 합니다. 저처럼 생각 없이 만들었다가는 계좌가 엉엉 우는 모습을 보게될 수도 있습니다 ;;

지금은 단순 테스트용이므로 저는 무료 계층으로 진행하였습니다

나머진 설정은 전부 디폴트 값으로 적용한 후

이런식으로 생성이 완료된 것을 볼 수 있었습니다.

데이터 원본 연결
데이터 원본을 연결시키는 과정 입니다.

다양하게 있는데요 그 중에서 Azure Blob Storage를 클릭해주고

기존 연결 선택을 클릭해줍니다.

생성해두었던 Storage 계정이 보이는데

이어서 컨테이너를 선택해줍니다.

데이터 원본 이름은 임의로 지정하면 됩니다.

인식 기술 추가는 데이터를 인식하는 과정에서 AI 기술을 활용해서 데이터를 좀더 풍부하게 만드는 과정 입니다.

저는 word 파일을 원본으로 추가한 지라 따로 추가 기술을 넣을 필요는 없었는데요

이미지 파일이라면 텍스트 인지 기술 추가 필요할 것 입니다.

대상 인덱스 사용자 지정은 데이터를 인덱싱 할 때 사용할 인덱스를 설정하는 기능인데요

지금은 그냥 기본값으로 넘어가지만, 만약 Word 파일 내에사 특정 필드 (제목, 작성자, 날짜) 등등을 검색 가능하게 하려면 인덱스를 설정하는것이 좋습니다.

인덱스 : 데이터의 구조를 정의하고 검색할 수 있도록 정리된 목록을 제공하는 것 ex) 도서관에서 책의 제목, 저자, 주제 등으로 정리된 목록

인덱싱 : 데이터를 인덱스에 추가하는과정 ex) 새로운 책이 들어왔을 때 사서가 책의 정보를 기록하고 추가하는 과정

그렇게 인덱스를 추가하면

열심히 데이터 원본을 긁어오는 진행률을 확인할 수 있었고

짜란 Word 파일, PDF 파일 둘 다 가져오는 것에 성공했습니다.

데이터 연결 테스트

연결한 데이터를 검색해보겠습니다.

저는 데이터 원본이 도쿄 여행 계획 인데요

도착 이라고 입력하면 다음과 같이 여행 계획을 확인할 수 있었습니다.

출처 및 참고자료

Azure AI 검색 설명서 | Microsoft Learn

데이터 가져오기 및 데이터 수집 - Azure AI Search | Microsoft Learn

Azure AI Search에 데이터 원본을 연동하는 것에 성공했습니다

다음 포스팅에서는 Copilot Studio + Azure AI Search 에 관련하여 포스팅 하겠습니다.

1. 개요:

Azure에서 데이터를 관리하는데 있어, 특히 대용량 파일을 효율적으로 전송해야 할 때, AzCopy를 이용할 수 있습니다.

Storage 계정 간에 데이터를 복사, 업로드, 다운로드 할 수 있는 고성능 도구 입니다.

2. 진행 과정:

두 개의 컨테이너를 준비해줍니다.

업로드한 파일을 확인할 때와 마찬가지로 공유 엑세스(SAS)를 사용해줍니다.

Blob Service의 전체 URL을 복사해서 어디 메모장에 고이 모셔두도록 합시다

새로 만든 두번째 컨테이너도 공유 엑세스 토큰을 생성할건데 이때는 쓰기 권한을 무조건 넣어야 합니다.  

CLI를 열어주고 밑과 같은 코드를 입력해주면

azcopy copy "source_path" "destination_path" --recursive=true

Cjwoocontainer1 에 있던 파일들이 새롭게 생성한 cjwoocontainer2로 copy가 된 것을 확인할 수 있었습니다.

로컬 PC로 파일을 다운로드 하여 옮길 필요 없이 CLI 명령줄 하나로 간단하게 옮길 수 있었습니다.

Azcopy는 AWS 버킷으로도 복사가 된다고 합니다 추후에 확인해볼 필요가 있겠습니다.

(출처 및 참고자료)

AzCopy v10을 사용하여 Azure Storage로 데이터 복사 또는 이동 | Microsoft Learn

1. 개요:

Azure Portal에서 Storage 계정을 생성하고 간단한 파일을 업로드 해보겠습니다

2. 진행 과정:

Storage 계정 생성

리소스 만들기에서 스토리지 계정 만들기로 들어갑니다.

당연하지만 현재 위치와 멀리 떨어져 있을 수록 가격이 증가합니다

성능 - 표준을 선택했을 때 4가지의 유형이 나옵니다

성능 - 프리미엄을 선택하면 3가지의 유형이 나옵니다

적절한 성능을 선택해서 진행해줍니다.

테스트 환경에서 네트워크 엑세스는 퍼블릭 엑세스 사용으로 해주는 것이 좋습니다

나머지는 전부 디폴트 값으로 진행해주면

이렇게 스토리지 계정이 간단하게 생성되었습니다.

Storage 계정에 파일 업로드

현재 Blob Storage로 생성을 하였기 때문에 파일 업로드를 위해서는 컨테이너가 반드시 필요합니다

그러나 SMB 프로토콜을 사용하는 File Storage의 경우는 컨테이너가 아닌 파일 공유라는 개념을 사용합니다Table Storage, Queue Storage, Disk Storage 등 또한 컨테이너가 필요하지 않습니다.

생성한 스토리지 계정의 리소스로 이동합니다

컨테이너로 이동해서 첫번째 컨테이너를 만들어 보겠습니다

컨테이너를 생성한 뒤

업로드 버튼을 클릭하면 표준 파일 선택기가 나옵니다

파일을 업로드 합니다.

업로드 고급 옵션에 뜨겁니 차니 등등이 있는데요

핫 계층 : 자주 엑세스되는 데이터용

쿨 계층 : 자주 엑세스되지 않는 데이터용

아카이브 계층 : 장기 보관용 데이터 입니다

업로드가 완료 된 후 URL을 복사하여 접속해보면

접속이 불가능 합니다...!

공유 엑세스 서명(SAS) 생성
Bob Storage의 컨테이너는 기본적으로 Private 상태로 생성됩니다

따라서 외부의 사용자가 업로드된 파일에 접속하러면 일정 시간 동안 파일에 대한 읽기/쓰기 권한을 부여할 수 있는

SAS를 생성해야 합니다 (혹은 컨테이너 자체를 공용으로 생성해도 됩니다)

공유 엑세스 토큰에 들어가서 SAS 토큰을 생성한 뒤 접속하면

정상적으로 업로드한 이미지 파일을 볼 수 있습니다.

Storage 계정 생성(Blob),  파일 업로드, SAS URL 생성 까지 완료되었습니다

다음은 File Storage 사용과 Storage Explorer 사용 등을 포스팅 하겠습니다.

1. 개요:

Azure Storage는 클라우드 기반 저장소 서비스로 고가용성, 확장성, 보안성을 갖춘 데이터 저장소 입니다.

2. 주요 개념

서비스 종류

Blob Storage : 대규모 비정형 데이터 저장용, 데이터 계층 지원

Table Storage : NoSQL 데이터 저장, 키-값 쌍 데이터 관리

Queue Storage : 메시지 큐 서비스, 비동기 프로세싱

File Storage : SMB 프로토콜을 사용하는 파일 공유

Disk Storage : VM용 관리 디스크, SSD-HDD 지원

Azure Storage 계층

핫 계층 : 자주 엑세스되는 데이터용

쿨 계층 : 자주 엑세스되지 않는 데이터용

아카이브 계층 : 장기 보관용 데이터

데이터 복제 옵션

LRS : 동일 리전에 3번 복제

GRS : 다른 리전에 추가 복제

ZRS : 리전 내 여러 가용성 영역에 복제

RA-GRS : GRS에 읽기 전용 엑세스 추가

Storage 계정의 유형

데이터 이동 및 마이그레이션

AzCopy : 대규모 데이터를 전송할 때 사용하는 명령줄 도구

Data Box : 대량의 데이터를 물리적으로 Azure로 전송할 수 있는 솔루션

3. 진행 과정:

간단하게 스토리지 생성, 스토리지 업로드, AzCopy 쓰는 것 등등을 포스팅 할 예정 입니다.

Azure Infrastructure 에서ㅏ 이어서 진행하겠습니다