muse-data-engineer

• Technical Skills to becoming a data engineer

Data Ingestion

• Kafka
  • 이진로그 Binary log(Binlog)
  • 변경 데이터 캡처 CDC
• Embulk
  • Embulk & Digdag
  • Embulk 코드

Batch Processing

• Hadoop
  • Hadoop과 HDFS
  • Mapreduce와 YARN
  • Hadoop ECO System
• Spark
  • Spark 개요
  • Spark 튜닝
  • Spark 최적화
  • Spark Yarn
  • Spark 클러스터 매니저
  • Spark 조인과 셔플
• Batch SQL
  • Presto
    • Presto 개요
    • Presto 튜닝
    • Presto 쿼리 Processing
    • Trino 개요
    • Trino 최적화
  • Hive
    • Hive 개요
    • Hive 아키텍처
    • Hive 포맷
    • HiveQL

workflow

• Airflow
  • Airflow 개요
  • Airflow 아키텍처
• Dbt
  • dbt 개요
• Prefect
  • Prefect 개요

BI

• OLAP vs OLTP
• 데이터 모델링과 DW/DM
• 데이터 레이크와 클라우드 DW
• 데이터 메시와 데이터 패브릭
• Snowflake
  • Snowflake 개요
  • Snowflake_아키텍처
  • Snowflake 코드

Back-End Development

• 인프라 기초
• 클라우드와 온프레미스
• 모놀리틱 아키텍처와 마이크로서비스 아키텍처
• Kubernetes
  • Kubernetes 개요
  • Kubernetes 오브젝트 모델
  • Kubernetes 파드
  • Kubernetes 레플리케이션
  • Kubernetes 서비스
  • Kubernetes 볼륨
  • Kubernetes 컨피그맵과 시크릿
  • Kubernetes 디플로이먼트
• Docker
  • Docker 개요

Programming Language

• Python
  • Python과 프로파일링
  • Python 컴파일
  • Python 비동기
  • Python multiprocessing