본문 바로가기

데이터엔지니어링

Airflow설치 - docker기반

Docker를 이용한 Airflow 설치 과정

  1. git clone https://github.com/apache/airflow.git 을 사용해서 airflow를 설치
  1. airflow-setup 폴더로 이동, 원하는 버전에 해당하는 이미지 관련 yml 파일 다운로드
    ex) curl -LfO "https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml"
  1. docker-compose -f docker-compose.yaml pull #airflow설치에 사용되는 도커 이미지 다운로드
    docker-compose -f docker-compose.yaml up #해당 도커 이미지 실행
  1. airflow를 시작하기 전에, 성공/실패에 대한 log를 제대로 불러오기 위해, docker engine에 들어가서 webserver->opt->airflow->airflow.cfg를 들어감

  1. remote_logging = False와 executor = SequentialExecutor 를 찾아서 각각 True와 LocalExecutor로 변경
  1. http://127.0.0.1:8080 으로 접속하면 해당 화면이 보임. 아래 정보로 접속하면 완료
  1. Username: airflow / Password: airflow

'데이터엔지니어링' 카테고리의 다른 글

Dataproc과 Dataflow  (0) 2024.06.01
EC2 인스턴스 위에 Airflow 설치  (3) 2024.02.29
airflow Import MysqlDb 에러 해결과정  (1) 2023.12.21