Docker를 이용한 Airflow 설치 과정
- git clone https://github.com/apache/airflow.git 을 사용해서 airflow를 설치
- airflow-setup 폴더로 이동, 원하는 버전에 해당하는 이미지 관련 yml 파일 다운로드
ex) curl -LfO "https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml"
- docker-compose -f docker-compose.yaml pull #airflow설치에 사용되는 도커 이미지 다운로드
docker-compose -f docker-compose.yaml up #해당 도커 이미지 실행
- airflow를 시작하기 전에, 성공/실패에 대한 log를 제대로 불러오기 위해, docker engine에 들어가서 webserver->opt->airflow->airflow.cfg를 들어감
- remote_logging = False와 executor = SequentialExecutor 를 찾아서 각각 True와 LocalExecutor로 변경
- http://127.0.0.1:8080 으로 접속하면 해당 화면이 보임. 아래 정보로 접속하면 완료
- Username: airflow / Password: airflow
'데이터엔지니어링' 카테고리의 다른 글
Dataproc과 Dataflow (0) | 2024.06.01 |
---|---|
EC2 인스턴스 위에 Airflow 설치 (3) | 2024.02.29 |
airflow Import MysqlDb 에러 해결과정 (1) | 2023.12.21 |