A seeker after truth

Name node is in safe mode. *Safe mode is ON. Resources are low on NN. Please add or free up more resources then turn off safe mode manually. NOTE: If you turn off safe mode before adding resources, the NN will immediately return to safe mode. Use "hdfs dfsadmin -safemode leave" to turn safe mode off.* hdfs 명령 관련 작업을 하는 중 이 에러 메시지를 만나는 중이라면, 많은 검색 결과들에서 hdfs dfsadmin -safemode leave (또는 hdfs dfsa..

하도 힘이 들었어서 서문(aka 구구절절) 조금만 추가하겠습니다... (저만 이렇게 힘이 들었나요? 다른 분들 포스트 보면 꼭 smooth 하게 성공한 것처럼 보이기도 해서...ㅠ) (*설치를 성공하기까지 총 3일(1일당 7시간)이 투입되었습니다) 제가 졸업한 학교 학과의 창시자이자 전설같은 구 학과장님께서 수업 중 이런 말씀을 해주신 적이 있습니다... 여러분께서 회사에 가면 가장 먼저 맡게될 일은 (아마) 뭔가를 설치해오는 일이 될겁니다. 그때 겪을 고통을 (과제를 통해) 미리 경험해보는게 좋겠죠?^_^ 아직 회사에 가보지 않아서 이게 진실인줄로는 모르겠습니다만,.. 적어도 하나는 아마도,,, 확신할 수 있을 것 같습니다. 그 대상이 hive 가 될 경우엔 만만치 않은 일이 되리란 것을...ㅠㅁㅠ 그..

별 에러도 아닌데 해결한다고 많은 시간이 들어갔다. 때문에 pytorch 를 돌릴 때 gpu, cpu 각각에 작업을 분할해서(?) 한다는 사실이라던지 cpu, gpu 위에 올라가는 텐서 정의가 따로 있다던지 코어 라이브러리 코드, 공식 문서, 여러 에러 디버깅 질답사이트 등을 탐독했지만 정말 간단하게 해결됐다. 이것도 그냥 해본건데, 우연히 잘 되더라. 원래 model = Model() ... model = model.cuda() criterion = criterion.cuda() 와 같이 코드가 되어있었는데, 이를 model = Model().cuda() 이거 한줄로 바꿨더니, 걍 바로 해결됐다. ㅠㅠㅠㅠ 착안한 코드가 있는데, 위쪽에 다른 코드는 이렇게 되어있길래 혹시나 해서 이렇게 해봤더니 잘 되더..

1. 데이터 이해 정형/비정형, 데베, 빅데이터, 데이터사이언티스트 역량, 개인정보 비식별 기술 이렇게만 보면 될 듯 2. 분석 기획, 분석 방법론, 분석과제 발굴 방법론, 마스터 플랜형 분석(장기전을 의미함) 1) 분석 방법론 CRISP-DM 분석 방법론을 비롯한 몇몇 방법론 적혀있음. CRISP-DM 분석 방법론은 이미 정리해둔 내용이 있고, 학교 수업 및 교과서에도 나오는 방법론이니 간단하게 내용을 정리하고 간다. [CRISP-DM] (1) 비즈니스 이해 해결할 문제 파악/이해 -->문제 정의, 해결책 정의 적절한 해결책 공식이 나올 때까지 이 과정을 반복한다. 해결책 설계 작업에서 분류/회귀분석, 확률 추정 등의 모델을 이용해 우리가 해결할 수 있는 더 작은 문제로 분할하는 구조화 작업을 수행하기..