Journey of Cloud Data Engineer

1. 개요:

Copilot Studio는 에이전트를 생성하고 자체 데이터와 시나리오로 비즈니스 프로세스를 발전 시킬 수 있는 AI 도구 입니다.

2. 세부 개념:

Copilot Studio vs Microsoft 365 Copilot

3. 주요 특징:

AI와 클라우드 기반 자동화

Azure OpenAI, Microsoft Graph API와의 연동을 통해 클라우드 데이터와 AI를 결합하여서 업무 프로세스 자동화를 실현 할 수 있다고 합니다.

Power Platform과의 통합

Power Automate와 Power Apps와의 연동을 통해 로우 코드로 비즈니스 프로세스 구현이 가능합니다.

워크플로 및 AI 모델 설계

AI 모델을 사용자가 직접 지정해서 설계 할 수 있습니다.

코파일럿 스튜디오는 비중을 한 20정도로 두고 Power Platform과의 연동이나, Azure OpenAI 등등과 연동 하는 법을 포스팅할 생각 입니다.

클라우드 데이터 엔지니어와도 꽤나 밀접해서 차근차근 공부해보도록 하겠습니다

1. 개요:

AKS는 컨테이너화된 애프리케이션을 관리하기 위한 Kubernetes 서비스 입니다

Kubernetes는 수많은 컨테이너를 자동으로 관리하고 배달하는 시스템

(일종의 도시락을 배달하고 관리하는 음식 배달 센터)

Docker는 애플리케이션을 컨테이너라는 포장 상자에 담아 이동 가능하게 만드는 기술

(음식을 도시락에 담는 기술)

2. 구성 요소:

3. 진행 과정:

Container Instances 생성

다양한 서비스 중에 보통 단기 작업이나 테스트 용으로 많이 사용되는 Container Instances를 생성해보겠습니다

SKU는 표준은 보통 일반적인 컨테이너를 실행할 때 적합하고

기밀은 높은 보안 수준이 요구될 때 사용됩니다.

SKU는 클라우드 서비스의 특정 구성 또는 요금제를 의미 

빠른 시작 이미지는 가장 싼 요금을 선택하였습니다.

웹 앱 생성할 때 봤던 네트워킹 구성입니다. 퍼블릭 - 나머지는 기본값으로 진행합니다

이렇게 생성을 한 뒤

쩌어기 보이는 IP 주소를 복사하여 주소창에 입력하면

Azure Container Instances가 완성되었음을 확인할 수 있습니다

Container App 생성

컨테이너 앱은 비교적 최근에 나온 친구인데요

컨테이너화 된 애플리케이션을 실행하는 동안 비용을 좀 싸게 할 수 있는 플랫폼입니다

쿠버네티스 보다 사용하기 쉽고 관리하기 쉬운 방식으로 컨테이너를 호스팅 할 수 있게 해줍니다

컨테이너 앱은 각자의 컨테이너 환경을 가지고 있습니다 라는 말은

애플리케이션이 독립된 가상화된 실행 환경에서 동작한다는 뜻입니다.

컨테이너 인스턴스 처럼 빠른 시작 이미지를 사용해도 되고

컨테이너 레지스트리, Docker Hub 에서 선택할 수 있습니다.

그렇게 해서 기본값으로 쭈욱 생성하고 저 URL을 주소창에 복붙하게 되면

잘 생성이 된 것을 확인할 수 있었습니다.

1. 개요:

Azure Function은 Serverless 컴퓨팅 서비스로 이벤트 기반으로 코드를 실행할 수 있는 환경 입니다.

AWS의 Lambda와 대응되는 친구입니다

2. 구성 요소:

Trigger : Azure Function의 실행을 시작하는 이벤트 소스 ex) HTTP 요청

Input Binding : 외부 데이터 소스에서 데이터를 가죠오기 위한 연결 ex) Cosmos DB

Output Binding : 결과를 외부 서비스로 전달할 수 있는 연결

Function Code : 비즈니스 로직을 수행하는 코드

Integration : Azure Logic Apps, Event Grid, API 관리도구 등과 연동해서 복잡한 워크 플로 구성

Monitoring : Azure Apllication Insights와 통합하여 로그 및 메트릭 관리

3. 진행 과정:

Azure Function 생성

당연히 리소스 그룹을 만들고 함수 앱 이름은 전역적으로 고유해야 합니다

웹 앱을 만드는 과정 매우 유사합니다

모니터링 기능은 항상 꺼두시는게 통장 건강에 이롭습니다

나머지는 전부 디폴트 값으로 진행한 다음

생성된 URL을 주소창에 붙여 넣으면

왠일로 MS가 디자인에 좀 신경을 썼네요? 푸르딩딩 합니다.

Azure Functions는 무궁무진 합니다.

웹 어플리케이션 백엔드 개발부터 데이터 처리, 변환, 자동화 등 할 것들이 굉장히 많아서

Azure Functions을 카테고리로 새롭게 만들 지 조금 고민이 됩니다

일단은 overview 부터 차근차근 끝내고 다양하게 구축해보겠습니다.

1. 개요:

Azure의 PaaS 서비스로 웹 어플리케이션, 백엔드를 쉽게 배포 할 수 있는데요

간단하게 말해서 IIS의 클라우드 버전이라고 볼 수 있겠습니다

IIS + 클라우드 + 관리 자동화 = Azure Web App 입니다

2. 구성 요소:

App Service Plan : 웹 앱이 실행될 인프라를 정의

Resource Group : Azure에서 리소스를 논리적으로 묶어 관리

App Service Environment : 앱에 대한 고급 보안 네트워크와 격리된 환경 제공

Deployment Slots : 운영 중인 웹 앱의 테스트 버전 배포 가능

Custom Domains & SSL : 처음에 주어진 기본 도메인 (~~~.azurewebsites.net)를 사용자 지정 도메인으로 변경

Scaling Options : 자동 확장 및 부하 분산

Monitoring & Diagnostics : Azure Monitor,Application Insights등과 연계하여 모니터링

Idetify & Access Managemnet (IAM) : Azure AD로 사용자 인증 및 권한 관리 

Continuous Deployment : 자동화된 배포 파이프라인설정.

3. 진행 과정:

웹 앱 만들기

리소스 만들기에서 웹 앱을 클릭합니다.

모든 리소스는 리소스 그룹 안에 속해야 하므로 리소스 그룹을 생성해줍니다

코드, 컨테이너, 정적 웹 총 3가지 입니다

지금은 코드로 진행하겠습니다

런타임 스택은 C# 기반인 .NET Framework 부터 Node.js 등 다양하게 제공합니다

가격 또한 다양한 플랜이 있는데요 저는 일단 무료로 진행하고 추후에 바꿀 예정입니다.

전부 디폴트 값으로 진행하고 생성한 뒤 저 도메인을 클릭하게 되면

이렇게 웹 앱이 생성되었음을 확인할 수 있습니다.

Scale Up & Out

App Service Plan에서 더 큰 스케일 세트를 선택하거나, Virtual Machine을 더 높은 사양으로 변경한다면

(요금제를 비싼 것으로 바꾼다면)  Scale Up 하게 되고

 

인스턴스 수를 늘리게 된다면 스케일 아웃이 됩니다

인스턴스 수가 2배라면 비용도 2배가 됩니다

규칙 기반 자동 스케일링 (Auto Scaling)은 Azure에서 제공하는 자동 스케일링의 주요 방식 중 하나인데요

이 방식에서는 특정 규칙에 따라 시스템이 자동으로 스케일 업(성능 향상) 또는 스케일 아웃(인스턴스 추가)을 수행합니다.

규칙 기반 자동 스케일링을 사용하려면, Azure App Service는 Standard (S1) 이상, Azure Virtual Machines는 Standard 이상 요금제에서 가능합니다

최소값과 최대값을 설정해서

CPU 사용률을 기준으로 인스턴스를 추가 혹은 제거한다거나

메모리 사용률 기준으로 Scale Out, Scale In 할 수 있습니다.

 

용어	설명	주요 특징
Scale Up	기존 리소스의 성능(하드웨어)를 수직적으로 확장	더 큰 CPU, 메모리 저장소로 성능 개선
Scale Out	리소스를 수평적으로 확장하여 인스턴스 추가	인스턴스 추가, 부하 분산
Scale in	수평적으로 확장한 인스턴를 축소	과도한 인스턴스 제거

간단하게 Azure Web App을 알아보았습니다

Azure Function과 Azure Kubernetes and Container에 대해서도 차근차근 정립해나가겠습니다

1. 개요:

이번 포스팅에서는 Exchange Server를 VM에 설치해보겠습니다.

Exchange Server는 Microsoft에서 제공하는 온프레미스 이메일 서버 인데요

이 포스팅 다음 곧바로 Hybrid Exchange를 구축할건데

Exchage Server (on-prem) + Exchange Online을 융합한 상태라고 생각하시면 됩니다.

2. 사전 준비:

Exchange Server는 AD에 조인되어 있어야 합니다.

.NET Framework 4.8
Visual C++ Redistributable
Windows Feature: RSAT-ADDS, IIS 관련 컴포넌트 (아래 명령으로 한번에 설치)

3. 진행 과정:

Active Directory 스키마 확장

Microsoft 사이트에서 내려 받은 Exchange Setup을 AD DS 서버로 이동시킨 뒤 스키마를 확장 시킵니다

저 명령어는 환경에 따라 달라질 수도 있으니 참고해주세요

뭔가 잘은 모르겠지만 슈루룩 설치가 됐다면 확인도 해봅시다

Active Directory 스키마 확인

AD 스키마를 확인하기 위해 먼저 스냅인을 파워셀로 등록해야 합니다.

스키마 관리 스냅인을 열고

파일 > 스냅인 추가/제거 메뉴 에서 Active Directory Schema를 선택하여 추가하면

거기서 msExchMailbox 어쩌구저쩌구 같은 것들이 있는 지 확인하면 됩니다

사실 그냥 본인의 명령어를 굳게 믿고 넘어가도 됩니다

새키.. 마 인지 스키마인지는 DB쪽 카테고리에서 자세히 다루도록 하겠습니다

Exchange Server 설치

이제 다시 Exchange Server VM으로 넘어와서

Exchange Server ISO를 (Hyper-V VM이라면)

이런식으로 적용시키고

죽쭉 진행해줍니다

쭉쭉2

사서함 역할과 관리 도구를 선택합니다

첨고로 저 Edge 전송 역할은 보통 보안 요구 사항이 높은 조직에서 인터넷과 내부 매엘 서버 간의 게이트웨이로 동작하는 친구입니다.

사실 저도 구축해본 적은 없습니다.

인내의 시간 첫번째 페이즈 입니다.

이런 식으로 미비된 프로그램에 대해 나올 수가 있는데요

당황하지 않고 가서 설치하면 됩니다  왜 나온거자?

64비트로 설치해줍니다

모든 필요파일이 설치되었다면

인내의 시간 페이즈 2가 시작됩니다.

설치가 완료된 후 재부팅을 한 뒤

http://로컬IP/ecp 를 웹 브라우저에 입력하면

Exchange 관리 센터가 짜잔 하고 나오게 됩니다.

다음 포스팅에서는 바로 Hybrid를 구성할 겁니다

SSL 인증서 등을 설치하는 법 부터 해서 메일 수/발신 테스트 까지 완료하도록 하겠습니다.

1. 개요:

하이브리드 AD 환경에서 Azure AD (이하 Entra ID)와 온프레미스 Active Directory를 연동하는 것은

조직이 클라우드와 온프레미스 리소스를 함께 사용할 수 있도록 도와준다고 합디다.

Azure AD connect를 사용해야하며 온프레미스 AD의 사용자 및 그룹을 Azure AD에 동기화하는 것이 핵심입니다.

2. 구성 요소:

- 온프레미스 Active Directory Domain Services(AD DS)가 설정되어 있어야 합니다 예전 포스팅에서 썼던 친구들을 재활용 할 겁니다

- Entra ID 관리자 권한이 있는 테스트 테넌트

Microsoft Customer Digital Experiences 아곳에서 90일 제한으로 생성할 수 있습니다.

3. 진행 과정:

Azure AD(Entra ID) Connect 설치

근데 설치하다가 TLS 1.2가 없다면서 설치가 안될 수도 있는데요

그럴 때는 powershell을 열어서

요녀석을 복붙해서 실행시키면 됩니다

설치를 진행해 봅시다

사용자 지정과 빠른 설정 사용 2가지가 있는데요

빠른 설정 사용 (권장) 으로 진행할건데 

다만, 사용자 지정을 선택할 경우 3가지의 인증 방식 중 하나를 선택하라고 나옵니다

그냥 간단하게 이런게 있구나! 하고 넘어가도록 하겠습니다

필수 구성 요소 중 하나인 Entra ID의 (테스트 테넌트) 관리자 계정을 입력해줍니다.

테스트 테넌트의 전역 관리자 계정을 입력하였습니다.

로그인에 성공 한 후 진행 중입니다.

온프레미스 AD의 도메인과 관리자 계정을 입력하시면 됩니다.

구성이 완료되었습니다.

Hybrid 테스트

온프레미스 AD 서버 상에 우리의 친구 Dider drogba를 추가해보겠습니다.

Entra ID와 동기화 주기는 보통 30분~1시간 정도 입니다.

다만 그 주기를 단축시키는 명령어가 있는데요

이걸 AADC 서버 상에서 실행해보도록 하겠습니다

우리의 친구 Didier Drogba가 추가 된 것을 확인할 수 있었습니다.

예전 포스팅에서 추기했던 IIS 1, 2 도 같이 동기화가 되어있군요

이렇게 Hybird AD 구축까지 완료하였습니다.

이젠 Exchange 서버를 구축하여 메일을 주고 받는 과정 까지 완료해보겠습니다.