Graph 공부하는 학생

보호되어 있는 글입니다.

보호되어 있는 글입니다.

DEA라는 자격 시험이 있습니다. Data Engineer Associate, 한마디로 데이터 엔지니어가 갖추어야할 기본 시험입니다. 준비한지 한달남짓 되었고, DEA 스터디를 시작한다는 말을 듣고 부리나케 준비하게 된 시험입니다.    참여 동기먼저 AWS DEA 자격증 스터디를 모집하는 글이 올라와서, 일단 신청하여 참여하게 됩니다.   규칙에 맞추어 아래와 같이 시작했습니다. 1. 먼저 시험을 등록합니다. 즉, 돈으로 결제를 합니다. 사람이 돈을 쓰게 되면, 그 돈이 아까워서 공부한다고 합니다. 같은 원리로 일단 제 돈을 써보려고 하는데, 마침 우연히 좋은 기회가 열립니다. https://pages.awscloud.com/GLOBAL-ln-GC-Traincert-Associate-Certificat..

MinIO의 두번째 배포방법으로 단일 노드 다중 저장소 방식이 있습니다. Single-Node Multi-Drive 이렇게 부르고, 줄여서 SNMD라고도 합니다. 서버는 한대로 해서, 단일 노드가 되는 것입니다. 다중 저장소라면 스토리지를 4개를 생성할 수도 있지만, 하나의 스토리지를 파티션으로 나눠서 마운트해줘도 됩니다. 저는 이 파티션으로 나누는 방식을 사용할 것입니다. 저장소(Drive)의 개수는 4의 배수로 하는 것을 권장하네요. 처음에는 노드라는 개념이 잘 이해가 가질 않았습니다. 그래서 그냥 '노드 = 서버'라고 생각하고 진행했습니다. 즉, SNMD는 서버 1대에 저장소 여러개로 생각하고 진행해보겠습니다.  1. 서버 생성 및 스토리지 추가이 작업은 이전 글과 동일하므로 생략합니다.  2. 스..

요새 MinIO라는 오픈소스를 공부하고 있습니다. 가장 좋은 것은 docs, 공식 문서를 잘 참고하는 것이지만, 이상하게 공식 문서도 어렵게 느껴질 때가 많습니다. 혼자 공식문서를 여러 사이트를 짜깁기하여 나름대로 구성해본 MinIO 구축 일대기를 정리해보려고 합니다. MinIO는 이전에도 소개한 것처럼, 사설 object storage를 구축하는 오픈소스 플랫폼입니다. 사설(private)라는 말처럼, 온프레미스 환경에서도 활용할 수 있습니다. 온프레미스에서 이걸로 스토리지를 만들고, 추가로 다른 클라우드의 공인 아이피를 활용해서 repo를 추가해주면, 온프레미스-클라우드 간 스토리지를 연동해볼 수도 있는 멋진 도구입니다. 그걸 일종의 Hybrid cloud라고도 부르는 것 같네요. 물론, 다양한 CS..

SAM(Serverless Application Model) 쌤, 줄임말입니다. 서버리스 애플리케이션 모델이라고 합니다. 서버리스 애플리케이션을 개발하고 배포하는 프레임워크입니다. 모든 configuration은 YAML 코드를 사용합니다. 단순한 SAM YAML 파일에서 복잡한 CloudFormation 생성합니다. 이 클라우드 포메이션(outputs, mappings, parameters, resources 등)에서 무엇이든 지원합니다.SAM은 람다 함수를 배포하는 CodeDeploy 사용할 수 있습니다. 그 외에도, 람다, API GW, DynamoDB를 로컬(localloy) 실행하도록 돕습니다. 원래 목적은 서버리스 애플리케이션을 사용하고 이를 통해 디버그하고 빠르게 배포하는 AWS 클라우드 서..

EC2Elastic Compute 라는 이름입니다. 소위 클라우드의 서버를 의미합니다. Bigdata에서 EC2는, 세가지 특성이 있습니다. 1. On demand, Spot & Reserved instances사용 방식에 따라 세가지 특징이 있습니다.Spot: 손실을 감안하고, 저 비용으로 사용합니다. 머신러닝 등에서 체크포인트 방식으로 활용하면 이 방식이 좋습니다.Reserved: 장기간 클러스터, 데이터베이스를, 최소 1년이상 사용할 때 저렴하게 쓸 수 있습니다.On demand: 그 외에 모든 워크로드에 해당합니다. (돈이 가장 많이 듭니다.) 2. Auto Scaling(자동확장)EMR의 레버리지 등으로 활용합니다.자동화된 DynamoDB, ASG 등의 사례가 있습니다. 3. EC2 is beh..