앞으로 어떤 글을 작성할지 고민하다가, 데이터엔지니어 시리즈에 대해 정리해서 실력을 쌓아보려고 합니다. 여러 종류가 있지만, 일단 JD를 살펴보면서 사람들의 관심을 가질 만한 도구로 시작해보려고 합니다. 요새 너무 급변하는 사회라, 관련 기술에 적절하게 대응해야 관심을 끌고, 그것을 위해 더 속도를 내야하는 상황입니다. 데이터 엔지니어 도구: Batch 작업용 도구부터 시작보통 데이터엔지니어를 한다고 하면, 실시간(Realtime)이나 배치(Batch)를 골라서 성장합니다. 마치 전직하는 게임 캐릭터같죠. 일단 Realtime streaming은 장기적으로 보기로 했고, 지금 관심있는 부분은 Batch를 위한 도구들입니다. 앞으로 이 Batch와 관련하여 공부한 내용을 블로그로 정리할 예정입니다...