안녕하세요😀
Tech. Recruiter 카일라입니다.
카카오와 카카오 공동체가 2018년부터 매년 선보이고 있는 if(kakao)dev에서
카카오엔터테인먼트가 선보였던 기술 세션들을 소개해볼까 합니다.
카카오엔터테인먼트 기술 직군에 계시는 크루들은
한 해, 또 한 해,
어떤 기술을 고민하고 확보하고 나아가고 있는지 다함께 느껴보셨으면 좋겠습니다.
이번에 만나보실 세션은 제목부터 알흠다움이 느껴지는
데이터전략그룹 브랜든의 세션입니다! 😎
📍 주제 : Airflow를 활용하여 아름다운 데이터 파이프라인 구성하기
📍 발표자 : 데이터전략그룹 Brandon
📍 소개글
Airflow는 데이터 파이프라인을 생성하고 관리하기 위한 플랫폼으로,2015년 Airbnb에 의해 소개된 이후 급성장하여 2018년말에는 Apache Top-Level 프로젝트로 지정되었다.
먼저 Airflow와 같은 workflow management tool이 왜 필요한지에 대해 살펴보고, 유사한 기능을 하는 Oozie, Azkaban, AWS Data Pipeline 등과 장단점을 비교하여 카카오페이지가 Airflow를 선택한 이유에 대해 설명한다. 그리고 Airflow에 익숙하지 않은 데이터 엔지니어를 위해 주요 개념 및 구조에 대해서 설명하고, 기본적인 활용법을 소개한다. 또한 해당 플랫폼의 가용성을 높게 유지하려면 어떠한 구성을 취하면 되는지 살펴본다.
마지막으로, Airflow를 활용하는 카카오페이지의 고유한 방식에 대하여 소개를 하고 끝을 맺는다.
#데이터 #파이프라인 #대용량 #노하우 #Airflow
📍 링크 : https://mk-v1.kakaocdn.net/dn/if-kakao/conf2019/conf_video_2019/1_102_04_m1.mp4
수많은 데이터와 치열하게 밀당중이신 데이터전략그룹 크루분들~~
므시따~ 므시따~ 👍🏻 👍🏻 👍🏻 👍🏻 👍🏻
감사합니다:)
'Events > if(kakao)' 카테고리의 다른 글
| [if(kakao)dev2020] 다크 모드로 알아보는 카카오페이지의 iOS 업데이트 (0) | 2021.12.21 |
|---|---|
| [if(kakao)dev2019] 카카오에서는 어떻게 OpenJDK를 활용하고 있을까? (0) | 2021.12.21 |
| [if(kakao)dev2019] 다음웹툰의 UX (New tab : Top) (0) | 2021.12.21 |
| [if(kakao)dev2019] 리액트: 그것마저 결정해주마 (1) | 2021.12.20 |
| [if(kakao)dev2018] 다음웹툰의 UX(Animation, Transition, Custom View) (0) | 2021.12.20 |