A seeker after truth

보호되어 있는 글입니다.

보호되어 있는 글입니다.

ch7. 외부 시스템과 통신하기 유익한 내용이 너무 많다. 배운게 너무 많다... 장고를 백엔드, cs, 파이썬에 대한 지식과 숙련도를 올리는 수단으로 썼을 때와 동일한 경험을 했다. 코드 차원서도 그렇고, 비슷한 문제를 이미 다른 프로젝트를 통해 경험해봤으며, 그 과정서 생겼던 은연 중의 의문들을 이 책을 통해 해소할 수 있었단 점에서 그랬다. 여기서 외부 시스템 = 에어플로 및 에어플로가 구동되는 시스템 외의 모든 기술. ex) 퍼블릭 클라우드 플랫폼 내 서비스들, spark 클러스터 여기서 다루는 건 데이터 이동 및 변환 작업이 주다. 뿐 아니라 또 MLOps 스러운걸 다룸. 그래서 sagemaker, 포스트그레스, 에어비앤비 데이터(http://insideairbnb.com/)를 사용한다. 하루 ..

1단원 - 그래프 기반 표현은 전체 작업을 하나의 모놀리식(단일) 스크립트 또는 프로세스로 구성되는 게 아니라 파이프라인을 작은 점진적 태스크로 명확히 분리할 수 있다. 전자가 구현 초기엔 그닥 문제 안되지만, 파이프라인 중간 태스크가 실패하면 전체 스크립트를 재실행해야 하기 때문에 비효율적. 그래프 기반 표현은 그 반대. - 에어플로 덕에 여러 시스템 간 데이터 프로세스를 결합할 수 있는 복잡한 데이터 파이프라인 구축이 가능해졌다. - 그림 1.8 12쪽 암기.. - 오퍼레이터와 태스크는 동일한 개념(용어)이다. 2단원 - 도커 컨테이너 활용해 운영 수준에서 격리하면 파이썬 패키지 세트 뿐 아니라 데베 드라이버, gcc 컴파일러 등 의존성 포함해 도커 컨테이너 생성 가능하단 점에 의의. 아, 글고 el..

보호되어 있는 글입니다.

보호되어 있는 글입니다.