일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Resources are low on NN
- hive beeline
- mac hadoop 설정
- mac hadoop 설치
- code=0)
- 자소서 빨리 쓰는 법
- hadoop safe mode
- 자소서 시간 줄이기
- mac hadoop
- 카카오 자물쇠와 열쇠
- 자소서 너무 오래 걸림
- hadoop safe mode leave
- Failed to connect to localhost:10000
- 카카오 2020 코딩테스트
- mac hadoop 3
- 이더리움
- hive beeline 설정
- Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000
- hive beeline 에러
- hive beeline 실행
- 이더리움 #ethereum
- 자소서 빨리
- mac hive 3
- 기업 조사 빨리 하는 법
- mac hive
- mac hive 설정
- is not allowed to impersonate hive (state=08S01
- Safe mode is ON
- 백준 18428
- 카카오 2020 코테
- Today
- Total
목록Data (46)
A seeker after truth
웨ㅂ상에 있는 csv 를 복제해 온 담에 redshift에 적재하는 과정 그 자체를 자동화한다. 이걸 API 등 백엔드 활용해서 하는 건 다른 단계에서 한다...? 앞에서 나왔듯 dw는 프라이머리키의 고유성 보장 안하니 같은 값 갖는 레코드들이 다수 존재할 수 있다. 이걸 어케 지켜주느냐 그게 결국 데엔의 책임이고, 이게 멱등성 보장함에 있어 중요한 포인트 된다는 거. 실습 문제 해결 포인트 1. 헤더도 데이터로 적재돼버린 것 2. full refresh (delete 한번 수행 후 insert 반복) 문제: 테이블 커지면 사용 불가능한 방법(단순해서 장점이긴 함), 중간에 에러나면 데이터 정합성 깨져버림, 이 일련의 과정을 트랜잭션으로 정의 incremental update: 데이터 소스 커지면 쓸 수..
보호되어 있는 글입니다.
보호되어 있는 글입니다.
보호되어 있는 글입니다.
1. 특징 최소 기준 용량인 160기가 이상은 무조건 써야함 레드시프트를 포함한 DW들이 갖는 특징인데, 일반 RDBMS에서 했던 것처럼 레코드 단위로 insert into 해서 삽입하는 게 아니라 파일 write한걸 copy로 삽입 = 이게 bulk update. primary key uniqueness를 보장하지 않음: 다른 데이터 웨어하우스들도 이렇고, 내가 어떤 컬럼을 PK로 설정한다 한들 그게 유니크하단 걸 보장해주지 않는단 뜻 3가지의 고정 비용 옵션. 첫째는 스토리지(즉 컴퓨터 크기)쪽에 포커싱한 옵션, 두번째는 컴퓨팅 파워(즉 처리 속도) 라지->8xlarge 로 가는 이런게 스케일업. 스케일 아웃은 용량 부족해졌을 때 새로운 노드를 추가하는 것. 오토 스케일링 온 옵션 통해 첨부터 이를 ..
안써봤거나 어설프게 알고 있는 애들만 필기. 1. Elastic Beanstalk 아예 안써봄. 강의 듣고, 다른 분 블로그 꼼꼼히 읽고, 실습 한 번 해보는 걸로 끝. 뭔지 알게 됐고, 네트워크 구성 부분에 주목해서 봄 2. Route53 써봤지만 "이게 뭐다"라고 설명 못해서 필기. 도메인을 관리해주는 서비스. 도메인 등록, DNS 라우팅, 상태 확인을 조합하여 실행할 수 있다. Route53 = DNS(네임서버) + 모니터링 + L4 + GSLB 글로벌 네임서버 -> 지역 네임서버 -> 도메인 네임서버. admin.technara.com과 같이 서브 도메인 정의해 설정 가능. 엔드 포인트 즉 저 admin 서버가 구성된 건 ec2일수도, beanstalk일수도 등등. 프론트쪽으로가야한다 하면 s3 ..