일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- hive beeline
- 자소서 빨리
- 자소서 시간 줄이기
- is not allowed to impersonate hive (state=08S01
- 기업 조사 빨리 하는 법
- 이더리움 #ethereum
- hive beeline 에러
- Safe mode is ON
- code=0)
- 자소서 너무 오래 걸림
- 카카오 2020 코테
- mac hive 설정
- 카카오 자물쇠와 열쇠
- Failed to connect to localhost:10000
- mac hive
- Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000
- mac hadoop 설정
- mac hadoop 설치
- 자소서 빨리 쓰는 법
- hadoop safe mode
- Resources are low on NN
- mac hadoop
- mac hadoop 3
- 이더리움
- hadoop safe mode leave
- 카카오 2020 코딩테스트
- 백준 18428
- mac hive 3
- hive beeline 실행
- hive beeline 설정
- Today
- Total
목록전체 글 (270)
A seeker after truth
보호되어 있는 글입니다.
8단원 코드 자체가 좋음 이를테면 yield, 에러 및 예외처리 파트 등. 그리고 파이썬 패키지 만드는 방법 다루고 있는.. 챕터다. https://github.com/K9Ns/data-pipelines-with-apache-airflow/blob/main/chapter08/dags/custom/ranking.py 이를테면 위 코드에서 pd.NamedAgg란 클래스는 처음봄! logger = logging.getLogger(__name__) 그동안 이걸 안했구낳; 당황스럽
보호되어 있는 글입니다.
보호되어 있는 글입니다.
ch7. 외부 시스템과 통신하기 유익한 내용이 너무 많다. 배운게 너무 많다... 장고를 백엔드, cs, 파이썬에 대한 지식과 숙련도를 올리는 수단으로 썼을 때와 동일한 경험을 했다. 코드 차원서도 그렇고, 비슷한 문제를 이미 다른 프로젝트를 통해 경험해봤으며, 그 과정서 생겼던 은연 중의 의문들을 이 책을 통해 해소할 수 있었단 점에서 그랬다. 여기서 외부 시스템 = 에어플로 및 에어플로가 구동되는 시스템 외의 모든 기술. ex) 퍼블릭 클라우드 플랫폼 내 서비스들, spark 클러스터 여기서 다루는 건 데이터 이동 및 변환 작업이 주다. 뿐 아니라 또 MLOps 스러운걸 다룸. 그래서 sagemaker, 포스트그레스, 에어비앤비 데이터(http://insideairbnb.com/)를 사용한다. 하루 ..
1단원 - 그래프 기반 표현은 전체 작업을 하나의 모놀리식(단일) 스크립트 또는 프로세스로 구성되는 게 아니라 파이프라인을 작은 점진적 태스크로 명확히 분리할 수 있다. 전자가 구현 초기엔 그닥 문제 안되지만, 파이프라인 중간 태스크가 실패하면 전체 스크립트를 재실행해야 하기 때문에 비효율적. 그래프 기반 표현은 그 반대. - 에어플로 덕에 여러 시스템 간 데이터 프로세스를 결합할 수 있는 복잡한 데이터 파이프라인 구축이 가능해졌다. - 그림 1.8 12쪽 암기.. - 오퍼레이터와 태스크는 동일한 개념(용어)이다. 2단원 - 도커 컨테이너 활용해 운영 수준에서 격리하면 파이썬 패키지 세트 뿐 아니라 데베 드라이버, gcc 컴파일러 등 의존성 포함해 도커 컨테이너 생성 가능하단 점에 의의. 아, 글고 el..