Airflow와 연동하여 spark job을 수행하는데 있어서 'System.exit(0)'으로 종료 시 airflow에는 실패로 마킹된다.
'Sytem.exit(0)'가 아닌 spark context의 'stop()' method를 이용한다.
정리.
Airflow와 연동하여 spark job을 수행하는데 있어서 'System.exit(0)'으로 종료 시 airflow에는 실패로 마킹된다.
'Sytem.exit(0)'가 아닌 spark context의 'stop()' method를 이용한다.