A seeker after truth

https://datacadamia.com/db/spark/spark 위 문서 번역/참고해서 작성한 내용입니다. 지금까지 봤던 스파크 아키텍처 관련 자료 중 가장 정리가 잘된 자료였습니다. 1. 스파크 클러스터 구성 요소 스파크 클러스터는 - 스파크 애플리케이션 ⊃ 드라이버 ⊃ (SparkContext OR SparkSession - 클러스터매니저와 연결되어있음) - 클러스터 매니저 (executor를 갖고온다/얻을 수 있다. 책에선 드라이버(=마스터) 와 워커 개념을 갖고 있다고 함) - worker node ⊃ executors ⊃ tasks, cache ⊃ daemon process(얜 위치가 어딘지 모르겠 - 개별 워커 노드를 실행하고 관리한다) 로 구상되어있다. 자세한건 그림 보면서 외우자 각각..

1. beeline 이 무엇이며, 왜 필요한가 일단 저는 beeline 이란 무엇인지, 어떤 역할을 하는 아이인지, 왜 등장한 것인지에 대해서 모릅니다. 현재 그걸 알아볼 여유가 없습니다. 다만 이게 꼭 필요하게 된 이유를 알게 된 계기가 있습니다. 저는 hive 에서 조회(show tables, select ~~~) 즉 dml 쿼리 말고 create 등의 ddl query 실행 작업이 필요했는데, hive 에서 이걸 하려 하면 자꾸 다음과 같은 에러가 발생했습니다. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.Conn..

Name node is in safe mode. *Safe mode is ON. Resources are low on NN. Please add or free up more resources then turn off safe mode manually. NOTE: If you turn off safe mode before adding resources, the NN will immediately return to safe mode. Use "hdfs dfsadmin -safemode leave" to turn safe mode off.* hdfs 명령 관련 작업을 하는 중 이 에러 메시지를 만나는 중이라면, 많은 검색 결과들에서 hdfs dfsadmin -safemode leave (또는 hdfs dfsa..

하도 힘이 들었어서 서문(aka 구구절절) 조금만 추가하겠습니다... (저만 이렇게 힘이 들었나요? 다른 분들 포스트 보면 꼭 smooth 하게 성공한 것처럼 보이기도 해서...ㅠ) (*설치를 성공하기까지 총 3일(1일당 7시간)이 투입되었습니다) 제가 졸업한 학교 학과의 창시자이자 전설같은 구 학과장님께서 수업 중 이런 말씀을 해주신 적이 있습니다... 여러분께서 회사에 가면 가장 먼저 맡게될 일은 (아마) 뭔가를 설치해오는 일이 될겁니다. 그때 겪을 고통을 (과제를 통해) 미리 경험해보는게 좋겠죠?^_^ 아직 회사에 가보지 않아서 이게 진실인줄로는 모르겠습니다만,.. 적어도 하나는 아마도,,, 확신할 수 있을 것 같습니다. 그 대상이 hive 가 될 경우엔 만만치 않은 일이 되리란 것을...ㅠㅁㅠ 그..