전체 글
2021년 회고(5년차)
포기하면 편할까, 같은 로직을 하는 서비스, 예를 들어 S3에 접근해서 파일을 다루는 서비스가 각각의 도메인 마다 사용하고 있었다. 그러나 문제는 그 도메인의 레포가 다 분리되어 있어 같은 서비스의 코드도 분산되어 있었다. 도메인 엔티티는 그나마 jar파일을 만들어 관리를 하고 있는데, 이 마저도 jar가 최신화가 잘 되지 않았다. 실제로 버그 픽스한 버전이 S3 서비스에 다 적용하지 않아 문제를 만든 적이 있었다. 도메인 엔티티도 최신화를 하지 않아 이를 사용하는 서비스에도 문제를 발생시켰다. 그래서 나는 레포지토리 통합을 하고 싶었다. 그러나 하지 못했다. 6-7개로 분리된 레포를 멀티 모듈 프로젝트를 구성하기 위해 노력했다. 각각의 서비스를 각각의 애플리케이션 모듈로 넣어 놓고, 도메인의 로직을 모..
Airflow에서 스파크 앱이 실패로 마킹될 때
Airflow와 연동하여 spark job을 수행하는데 있어서 'System.exit(0)'으로 종료 시 airflow에는 실패로 마킹된다. 'Sytem.exit(0)'가 아닌 spark context의 'stop()' method를 이용한다. https://issues.apache.org/jira/browse/SPARK-1446