A seeker after truth

16강. 뷰와 템플릿 개념은 이 링크에 정리 잘돼있다: https://soomers.tistory.com/28 뷰는 모델에서 불러온 정보를 활용한다. 아래와 같이 코드 작성 후 실행한 결과. {% for %}문이나 {% if %} 문으로 템플릿에서 제어문을 사용할수도 있다. 템플릿에서 역참조를 이용하여 object를 표현할 수 있는데, 템플릿 제어문을 사용할 때는 callable 형식을 사용하지 않는다. 따라서 위 사진의 코드는 역참조 및 템플릿 제어문 not callable 작성 예시다. render()함수는 Django의 내장 함수 중 하나로, HTTP 요청을 받아 해당 요청에 대해 원하는 템플릿 파일을 렌더링하여 응답하는 기능을 가지고 있습니다. render() 함수는 보통 Django의 뷰(Vie..

몰랐던것, 키포인트 중심 메모 느낌으로 작성 1. 프로젝트 & 앱 시작 manage.py는 Django 프로젝트를Terminal에서 조작할 수 있는 명령을 제공. 하나의 프로젝트는 여러 개의 앱으로 구성. 프로그래머스 커뮤니티 사이트로 치면 여기서 홈 스쿨 커리어 커뮤니티 요렇게 각각이 앱이라고 보면 됨. 또 앱이 하나의 플젝에만 속할 수 있는 게 아님. 앱은 하나의 플젝이 아닌 다른 플젝, 다른 사이트에서도 돌아갈 수 있. 위와 같이 초이스에 대해 외래키를 만들면, 마이그레이션 시 자동으로 초이스의 아이디에 대해 인덱싱을 한다(=인덱스를 만든다) views & urls 간 매핑 후 GET 요청 성공 화면 기본 URL은 메인 폴더의 urls.py를 복사하여 app폴더안에 생성한다. 그리고 path를 통해..

기상청 사이트에서 기온 일부 갖고 오는 것 목표 저기서 아이디 값 활용하면 뭔가 할 수 있을 것 같이 생김 태그들 추출해 빈도 계산하면 사람들이 어떤 분야에 질문 젤 많이 하는지 알 수 있을 것. ul 태그 모두 찾은 뒤 이 안에 있는 li태그 내 text를 추출하려 함.

오른쪽처럼 class 마다 서로 다른 희한한 값 갖고 있는 이유? 요즘 무차별적 스크래핑 방지하고자 부러 저렇게 랜더마이즈 된 값을 클래스에 넣고 있는 경우가 생기고 있다고 함. 위같은 경우 사이트 구조 따라 스크래핑 가능하게 해보자. 이 떄 사용할 수 있는 방법 중 하나가 XPath ! 위치를 사용하는 방법이다. 이때 보면 클래스 값은 바뀌지 않지만, 클래스 내 위치는 계속 동일. 개발자 도구를 확인해보면 저 로그인 탭으로 간다는 걸 알 수 있. 이 떄 클래스가 nav-link, nav-signin 2개가 있는데, 클래스를 2개 사용하므로써 이렇게 계층 구조 2개로 존재할 수도 있다. => 스크래핑 시에는 이를 "nav-link.nav-signin" 이렇게 할 수 있. 그럼 이걸 어떻게 누르는가? 오 ..

크롤링 대상 사이트: https://books.toscrape.com/catalogue/category/books/travel_2/index.html 를 분석해보자. 여기서 부터 시작해, div 이하로만 타고타고 하위 요소로 들어가면 우리가 원하는 '책 제목' 데이터가 어디있는지 찾아낼 수 있다. 결국 우리가 찾는 건 section 태그 안 2번째 div 안에 표(Ordered List) 형식으로 나열돼 있는 걸 볼 수 있음. 마침내 찾아냈다 요거다. 여기 있는 "It's only the Himalayas". 이걸 컨텐츠 기반으로 스크래핑 한다고 하는데, 타겟팅 하는 사이트 대상으로 모두 이 방법으로 크롤링 하는건 그렇게 좋은 행위는 아니다. 왜냐면 구조가 바뀌기 때문임. 그래서 특정 태그를 타겟팅해 스..

1. HTTP 이미지, 동영상, 오디오, 텍스트를 포함한 Hypertext 즉, Hyperlink와 같은 링크 기반의 데이터를 주고 받기 위한 프로토콜이다. FTP, 텔넷 등이 들어있는 OSI Layer 7(응용 계층)에 속해있다. 웹 브라우저에서 HTTP request의 head, method, path 등을 볼 수 있는 이유? 브라우저란 게 알고 보면 http 요청, 응답 송수신을 도와주는 하나의 프로그램이라 그렇다. 그래서 코드 없이 이 모든 동작이 가능한 것. 그 기능 일부를 파이썬으로 구현해볼 수 있으며, 이 때 사용되는 라이브러리가 urllib3, requests 인 것. 2. HTML 웹 브라우저마다 지원하는 태그와 속성이 다르다. 그 비교표도 있음. 웹 스크래핑 관점에서 html을 정리하면..