정구리의 우주정복

오늘은 주피터 노트북 사용방법을 알아보자 Jupyter Notebook 이란 ? 파이썬 코드를 작성할 수 있고 그 결과 (output) 을 바로 볼 수 있는 '웹' 기반의 컴파일러 ! 웹에 설명을 자세하게 적을 수 있어 문서화에도 좋고 교육용으로도 많이 이용되고 있다 1. 주피터 노트북 다운로드 및 파일 생성 우선 다운로드를 받아야 하는데 나는 아나콘다 다운받으니까 옆에 딸려왔다 아나콘다 다운로드 링크 https://www.anaconda.com/distribution/#download-section Anaconda Python/R Distribution - Free Download Anaconda Distribution is the world's most popular Python data scienc..

mac 기준으로 작성되었으며 윈도우는 comm -> ctrl / opt -> alt 라고 생각하고 쓰면 됩니다 이전으로 돌아가기 : comm + z 이전으로 돌아간거 원상복귀 : comm + shift + z 줄 선택 : comm + l 줄 지우기 : comm + shift + k 행 잘라내기 : comm + x (붙여넣기는 comm + v) 행 위아래 이동 : opt + up,down (방향키) 윗줄에 행 삽입 : comm + shift + enter 아랫줄에 행 삽입 : comm +enter 커서추가하기 : comm + opt + up , down 같은 단어 선택하기 : comm + d 한꺼번에 모든 단어 수정 : 단어선택 ->comm + shift+l 들여쓰기 : comm + ] 내어쓰기 : com..

공부용이라 소스코드 들쭉날쭉할 수 있음 (참고할 사람들은 소스코드 유의깊게보기) 참고는 프로그래머 김플 스튜디오 유튜브 오늘은 맨날 네이버만 크롤링 하다가 구글을 크롤링 해볼거당 야호 웹 크롤링 3번 게시글을 참고하면 이번께 더 쉬울듯 1. 웹 사이트 분석하기 구글에 들어가 파이썬 이라고 검색을 해보면 세상에서 제일 복잡한 url 이 나온다 , 이렇게 복잡하면 분석하기가 힘듬 이때 search?q = '. . . ' 여기 부분이 실질적으로 검색을 하는 부분인데 이 뒷부분을 모두 지우고 검색을 해보쟈 놀랍게도 url 이 바뀌었지만 검색 결과는 똑같다 ! 이렇게 우리는 기본 url 을 얻어버림 html 코드를 분석해보자 div class = r 안에 내가 원하는 href 와 title 을 가지고 있다 따라서..

공부용이라 과정이 틀릴수도 있고 위에서 쓴 구문을 아래에선 안 쓸 수도있음 코드 잘 확인하기 참고는 프로그래머 김플 스튜디오 유튜브 오늘은 CSV 파일을 만들어 볼거당 일단 CSV 파일이란 ? 몇가지 필드를 쉼표(,) 로 구분한 텍스트 데이터 및 텍스트 파일 이라고 한다 사실 나도 오늘 첨 들어봄 데이터 수집 -> csv 파일로 저장 하는 방식 이전까지는 그냥 터미널에서 다루었다면 이제는 파일단위로 다루는걸 해볼거다 csv 는 처음이라 강의를 보면서 따라해보도록 할것임 ! 오늘의 준비물 : 모바일 네이버 모바일 네이버를 사용하는 이유 : 소스코드가 조금 더 어렵고 pc 에는 없는 view 탭이 있다 그리고 페이지단위가 아니라 자바스크립트로 작성되어 페이지가 따로 없음 오늘은 제목과 링크를 가져올 예정임 ..

공부용이라 과정이 틀릴수도 있고 위에서 쓴 구문을 아래에선 안 쓸 수도있음 코드 잘 확인하기 저번에 했던 네이버 검색 블로그 결과 출력의 업그레이드 버전이다 저번엔 블로그 결과의 한페이지를 가져왔다면 이번엔 많은 페이지를 가져와보자 아직 초보라 html 태그를 뭘 가져와야 잘 가져왔다 소문이 날 지 헷갈린다 구상(내 생각) 1. url 분석 2. html 분석 (필요한거 가져오기) 3. 출력해보기 페이지가 넘어갈때 마다 url 이 바뀌니까 반복문으로 url 을 바꿔주고 내용 출력 -> url 바꾸고 -> 내용 출력 이런식으로 반복을 해보자 1. url 분석 내가 원하는건 1페이지만 출력이 되는게 아니라 그 다음페이지도 쭉쭉 나오는거기 때문에 각각의 url 부터 확인해 보겠다 1번 페이지에서 2번으로 넘어..

공부용이라 과정이 틀릴수도 있고 위에서 쓴 구문을 아래에선 안 쓸 수도있음 참고는 프로그래머 김플 스튜디오 오늘은 인스타그램의 해시태그를 입력하면 사진을 크롤링 할 수 있는 프로그램을 만들거다 ! 과정 (내 생각임) 1. html 불러오기 2. html 분석 3. 다운로드 ! 네이버 크롤링이랑 비슷할것같다 ! 우선 먼저 준비해야할 것이 있다 (BeautifulSoup4 를 설치했다는 가정하에) 구글에 chromedriver 을 검색후 맨 위에있는거에 들어가서 자신의 크롬 버전과 맞는 걸 다운받으면 된다 https://chromedriver.chromium.org/downloads 크롬 버전 확인하는 법 : chrome://version/ 이걸 검색창에 넣으면 버전이 나옵니다 그리고 다운로드 받은걸 파이썬..

참고는 프로그래머 김플 스튜디오 유튜브 오늘은 네이버에다 검색어를 검색하면 이미지 검색결과를 자동으로 다운받는걸 만들어볼거다 ! 과정 (내 생각임) 1. 검색부분 구현 및 html 불러오기 2. html 분석을 통해 이미지 찾기 3. 다운로드하기 (여기서부턴 모르니까 영상참조) 1. 검색부분 구현 및 html 불러오기 import urllib.request from urllib import parse from bs4 import BeautifulSoup import ssl context = ssl._create_unverified_context() search = input("저장하고 싶은 사진의 검색어 입력 : ") url = 'https://search.naver.com/search.naver?whe..

오늘은 콘솔창에 검색을 하면 자동으로 네이버 블로그 결과를 가져오는 걸 만들어볼거다 구상도 1. search 변수를 만들어 검색어를 입력받기 2. url ((1) 참조) 맨 뒤 query 부분에 search 변수 합쳐주기 3. 짜잔 검색 두두둥 ! 1. search 변수를 만들어 검색어를 입력받기 import urllib.request from bs4 import BeautifulSoup import ssl context = ssl._create_unverified_context() search = input("검색어를 입력하세요") url = 'https://search.naver.com/search.naver?where=post&sm=tab_jum&query='+search print(url) #ht..