일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- hadoop safe mode leave
- hive beeline 에러
- 이더리움
- Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000
- 자소서 빨리 쓰는 법
- hive beeline 설정
- Resources are low on NN
- 도커 교과서
- hive beeline 실행
- 카카오 2020 코테
- 기업 조사 빨리 하는 법
- mac hive
- 백준 18428
- 자소서 빨리
- mac hadoop 설정
- code=0)
- Failed to connect to localhost:10000
- 카카오 자물쇠와 열쇠
- mac hadoop 3
- hadoop safe mode
- hive beeline
- mac hadoop
- 자소서 시간 줄이기
- 이더리움 #ethereum
- 자소서 너무 오래 걸림
- Safe mode is ON
- 카카오 2020 코딩테스트
- mac hive 3
- mac hadoop 설치
- is not allowed to impersonate hive (state=08S01
- Today
- Total
목록Data (46)
A seeker after truth
보호되어 있는 글입니다.
보호되어 있는 글입니다.
보호되어 있는 글입니다.
보호되어 있는 글입니다.
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/bJKEad/btrFpQkxjft/cR25W3LujuzEy59jnlh83K/img.png)
https://datacadamia.com/db/spark/spark 위 문서 번역/참고해서 작성한 내용입니다. 지금까지 봤던 스파크 아키텍처 관련 자료 중 가장 정리가 잘된 자료였습니다. 1. 스파크 클러스터 구성 요소 스파크 클러스터는 - 스파크 애플리케이션 ⊃ 드라이버 ⊃ (SparkContext OR SparkSession - 클러스터매니저와 연결되어있음) - 클러스터 매니저 (executor를 갖고온다/얻을 수 있다. 책에선 드라이버(=마스터) 와 워커 개념을 갖고 있다고 함) - worker node ⊃ executors ⊃ tasks, cache ⊃ daemon process(얜 위치가 어딘지 모르겠 - 개별 워커 노드를 실행하고 관리한다) 로 구상되어있다. 자세한건 그림 보면서 외우자 각각..
![](http://i1.daumcdn.net/thumb/C150x150.fwebp.q85/?fname=https://blog.kakaocdn.net/dn/cgmcWd/btrClmZD0fL/7v18WyOzLhZetKDb9lowkk/img.png)
1. beeline 이 무엇이며, 왜 필요한가 일단 저는 beeline 이란 무엇인지, 어떤 역할을 하는 아이인지, 왜 등장한 것인지에 대해서 모릅니다. 현재 그걸 알아볼 여유가 없습니다. 다만 이게 꼭 필요하게 된 이유를 알게 된 계기가 있습니다. 저는 hive 에서 조회(show tables, select ~~~) 즉 dml 쿼리 말고 create 등의 ddl query 실행 작업이 필요했는데, hive 에서 이걸 하려 하면 자꾸 다음과 같은 에러가 발생했습니다. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.Conn..