탑을 쌓자

1. VM 실행동안 프로세스 활성화 문제2. 파일시스템 공유 문제  두 개의 문제를 해결해야 한다. 1번은 생각보다 쉬운데 바로 수정해 보자.  1. VM 실행동안 프로세스 활성화 문제 수정Firecracker 소켓을 여는 프로세스를 개별 프로세스로 실행하고, 일정 시간이 지나면 해당 프로세스가 종료되게 설정하면 된다.  private void firecrackerStart(Map env) throws IOException { ProcessBuilder firecrackerStartBuilder = new ProcessBuilder(FIRECRACKER_PATH + "/firecracker", "--api-sock", env.get("API_SOCKET"));..

쉘 스크립트로 지금까지 모두 구현했지만, 이제는 Java 애플리케이션으로 실행하는 것을 구현하려고 한다. 방법 자체는 어렵지 않다.이전에 작성한 스크립트를 Java 애플리케이션에서 환경 변수를 주입하고, 스크립트를 실행하면 된다. 바로 작성해 보자. Firecrakcer Controllerpackage firecracker_application.firecracker_instance.controller;import firecracker_application.firecracker_instance.controller.dto.StartVMRequest;import firecracker_application.firecracker_instance.controller.dto.ToWarmUpRequest;import ..

firecracker로 microVM을 생성해 보고, 비즈니스 로직을 만드려고 했다. 다만 내 노트북은 M2로 중첩 가상화를 지원하지 않아서, KVM을 이용할 수 없었다. 그래서 클라우드 가상 머신을 활용하려고 가능한 인스턴스 타입을 알아봤다.  나는 AWS가 가장 친숙하기에 AWS에서 진행하려 했으나 AWS는 기본적으로는 중첩 가상화를 지원하지 않는다. 따라서 베어메탈 인스턴스 타입을 사용해야 kvm을 사용할 수 있다. 그중에 가장 저렴한 것은 c6g.metal다. 64 vcpu, 128GB 메모리로 과분한 스펙이라서 가격이 시간당 2.464$다. 오류를 잡고 테스트를 진행하는 시간이 오래 걸릴 것으로 생각돼서 너무 큰 금액이다. 그래서 나는 azure를 선택했다.  azure는 신규 사용자에게 200..

이제 구현을 할 차례인데 나는 SpringBoot 백엔드 개발자 경력이 있기에 Web Application으로는 SpringBoot로 구축할 예정이다.  우선 아키텍처는 다음과 같다. 여기서 ALB와 연결된 Wab Application과 FireCracker에서 실행되는 Web Application이 2개가 있다. 이제 A, B로 칭하겠다. 요구사항을 한 번 정리해 보자. A Web Application 요구 사항1. 사용자가 요청을 보냈을 때 DynamoDB를 보고 리소스 여유가 있는 FireCracker EC2로 요청을 보내고 반환2. Warm Up 상태인 경우에 microVM을 다시 생성하지 않고, Warm Up 상태인 곳을 보내기. A Web Application(이하 WA)은 DynamoDB를 ..

요즘 AWS 인프라 중에서 많이 다루는 것이 Lambda여서 그런지 Lambda 내부 동작에 대해서 궁금증이 생겼다. Lambda는 어떻게 짧은 시간에 독립된 환경을 구성하고 코드를 실행키는 지 찾아봤다. 그러던 중 2018년 AWS 기술 블로그에서 확인할 수 있었다. AWS에서 오픈소스로 개발한 firecracker라는 가상화 기술이다. firecracker 문서 내용에 따르면, Lambda 혹은 Fargate같은 서버리스 서비스를 위해서 KVM을 기반으로 경량 가상화인 microVM을 만들어 125ms 만에 코드를 실행할 환경을 제공한다고 한다. Virtual Box로 VM을 생성했을 때 15초 ~ 1분 정도 걸렸었는데, 얼마나 놀라운 기술인가..! 그래서 단순히 firecracker를 실행해보는 게..

UserData(이하 UD) 스크립트는 EC2 인스턴스가 시작될 때 실행된다. UD를 이용해 필요한 패키지를 설치하거나 EC2 내부에서 스크립트를 실행할 수 있다.  실제로 작업할 때 EC2를 만들면 환경 변수랑 실행할 스크립트 때문에 UD의 최대 크기인 16KB를 넘기는 경우가 생겨서 에러가 발생한 적이 있었다. 이러한 문제를 해결 방법에 대해서 알아보려고 한다.  1. Machine Image 만들기EC2에 필요한 패키지를 미리 설치한 Machine Image를 준비하면, 패키지 설치 스크립트를 빼고도 되니까 UD 크기를 줄일 수 있다. 2. 실행할 스크립트 외부에 저장하기AWS S3 같은 외부 저장소에 실행할 스크립트를 저장해 놓고, 인스턴스에서 다운로드해서 실행하는 방법이다. 이렇게 하면 UD 크..

기존의 Private Subnet에서 동작하는 EC2와 Lambda 리소스들은 프로세싱을 작업을 위해서 S3에서 객체를 다운로드하고, 후처리 작업을 한다. 나는 이때 Compute Resource인 EC2와 Lambda에는 Data Transfer(이하 DT) 비용이 발생하지 않는 것으로 알고 있었다. 하지만 내 생각은 틀렸고 개선할 부분을 찾을 수 있었다.  우선 기존 아키텍처는 아래와 같다. 요청의 흐름은 다음과 같다. 1. Compute Resource -> Nat Gateway2. Nat Gateway -> Internet gateway3. Internet Gateway -> Internet4. Internet -> S35. 역순 이때 나는 S3는 같은 리전의 서비스가 접근할 때는 DT가 발생하지..

업무를 하다보니 파일을 읽어들이고 데이터를 생성하는 Lambda가 필요해졌다. S3에서 파일을 가져오는 방식으로 설계했지만 실패하고 결국 파일 시스템을 사용하게 됐다. 그 과정에서 생긴 이슈와 내가 놓친 부분들을 보려고 한다. Lambda와 S3 네트워크 나는 vpc endpoint gateway 유형을 사용하고 있었기에 Lambda에서 S3를 호출할 경우 Public 네트워크가 아닌 내부 네트워크를 이용하게 된다. 나는 이점에서 빠른 데이터를 다운로드 받을 수 있다고 생각했다. 하지만 난 틀렸다. 실제로 S3는 100Gbps를 지원한다. 내가 간과한 것은 Lambda의 네트워크 대역폭이었다. 실제로 AWS 측에서 세부적으로 밝힌 것은 없지만, 커뮤니티들을 살펴봤을 때 Lambda의 메모리를 올렸을 때 ..

서비스를 운영하며 수집되는 데이터는 방대하고 이러한 데이터들 속에서 어떻게 인사이트를 얻어서 서비스를 발전시킬 수 있을까?? 항상 진행하고 싶은 업무 중의 하나이다. 인사이트를 얻기 위해선 데이터를 분석할 수 있는 아키텍처가 필요하다. 이러한 아키텍처에서 요구되는 기능은 보통 아래와 같다.  1. 데이터 수집2. 데이터 처리 및 변환3. 변환 데이터 저장4. 데이터 분석 여기서 해당 기능들을 사용할 수 있는 다양한 서비스들을 사용할 수 있다. 하지만 나는 최대한 저렴하게 이용할 수 있는 아키텍처를 구성해보자.아키텍처 가격은 저렴하고, 확장성 있게 만들어보려고 한다. 그래서 나는 아래와 같이 선택했다.  1. 데이터 수집 -> Kinesis Data Firehose PUT API2. 데이터 처리 및 변환 ..

나는 Terraform(이하 테라폼)으로 cloud의 인프라 리소스를 관리하는 업무를 주로 맡고 있다. 테라폼은 모듈 구조를 지원하는데 활용법이 성숙도에 따라서 많이 달라진다고 느꼈다.  기존에 내가 모듈을 사용하는 방법은 여러 환경에서 환경 변수를 다르게 주입해서 리소스를 만들때 리소스 코드를 줄이기 위함이었다. 하지만 업무를 하다보니 틀은 동일하고 특정한 값만 바뀌는 리소스를 여러 개 생성하야 하는 경우가 많았다. 예를 들어서 서버리스로 서비스를 운영하는 경우 AWS 리소스인 Lambda를 주로 생성하게 된다. 그래서 나는 Lambda가 사용하는 리소스가 공통적으로 사용하는 틀을 모듈을 생성하는 방향을 생각했다.  Terraform 구조 구조 자체는 간단하다. 1. 전체 리소스를 관리하는 main...

입사하고 빌링을 봤을 때 가장 많은 비용을 차지하는 게 S3 저장 비용이었다. 라이프 싸이클의 옵션을 알고 있었고, 비용 절감 가능성에 대해서 알고 있었다. 하지만 문제는 비즈니스의 이해였다. 객체들의 액세스 패턴을 알지 못했기에 섣불리 적용할 수 없었다.  비즈니스를 파악하고, 적용하며 얻었던 지식이다. S3 라이프 사이클  aws s3의 라이프 사이클 옵션은 aws s3 lifecycle docs에서 확인할 수 있고, 중요점만 살펴보자. 기본적으로 s3를 만들고 객체를 생성하면 Standard 객체 클래스로 생성된다. 범용성 있게 사용할 수 있는 옵션이지만 저장 가격은 높다고 볼 수 있다. (ap-northeast-2 seoul 기준 GB당 0.025USD) 그렇기에 객체 액세스 패턴을 살펴보고 가격..

직장에서 backend 업무를 하며,  조금씩 접했던 DevOps의 업무가 너무 재밌었다. 일을 하고 있는 상태에서 구직을 했을 때 현재 직장이라는 든든한 보험이 있었기에 간절하지 않았던 부분도 있었던 거 같다. 그렇기에..! 퇴사를 하고 그나마 있던 보험을 없애고 직무 전환을 계획했다. 운이 좋았던 걸까?? 퇴사하고, 3주 뒤에 DevOps 직무에 최종합격하여 입사하게 됐다. 물론 대학교를 다니며 취업을 했기에 쉴 수 있는 기간이 없었어서, 쉬고 싶은 생각도 있었다. 하지만 언제 기회가 올지 몰라 입사를 결정했다. 내가 입사한 기업은 엔지니어링 회사다. 엔지니어링, 건설사들은 스마트화로 변화하는 중이다. 내가 있는 부서는 이러한 스마트화에 발맞춰 생성되는 데이터들을 가공하고, 효율적으로 관리할 수 있는..