데이터 누락 다루기 pandas는 결측치를 numpy.nan 을 사용해서 표기하는데 이는 숫자와 달라 혼동을 피할 수 있다. 또 pandas는 결측치를 탐지하고 보정하는 함수를 제공한다. 결측치는 반드시 삭제하거나 맥락에 맞는 다른 값으로 교체해서 보정해야한다. 결측치 삭제 dropna() 함수는 결측치를 가진 열(axis=0,기본값) 이나 행(axis=1)의 일부 (how="any",기본값) 또는 전체 (how="all")를 삭제하고, '정제된' 데이터 프레임 복사본dmf 반환 한다. 데이터 프레임의 구조자체를 파괴하지 않는 한 결측치만 제거할 수는 없다.. nan_alco Beer Wine Spirits Water State South Carolina 1.36 0.24 0.77 NaN South Da..

Pandas 파이썬의 데이터 구조 셋은 이미 잘갖추어져 있지만, pandas 모듈은 여기에 두가지 컨테이너인 Series와 DataFrame을 추가한다. 시리즈는 레이블이 붙은 1차원 벡터다. 프레임은 레이블이 붙은 행과 열로 구성된 테이블이다. 프레임의 각 열은 시리즈다. 몇 가지 예외를 제외하면 pandas는 프레임을 시리즈와 유사하게 취급한다 프레임과 시리즈는 다음과 같이 다양한 데이터 전처리함수를 가진다. - 단순 혹은계층적 인덱싱 - 결측치 처리 - 전체 열과 테이블에서 사칙 ,논리 연산 - 데이터 베이스 - 타입연산 (결합이나 집계 등) - 단일 열이나 전체 테이블 시각화 - 파일에서 데이터 읽고 쓰기 시리즈 : 1차원 벡터 import pandas as pd series = pd.Series..

지도 시각화 카카오 맵 api와 '위치명 ' 데이터를 이용하여 위도 경도를 추출한다. foilum 을 이용하여 지도에 마커를 그려준다. #위치정보 가져오기 위치_빈도수 = df['위치'].value_counts( ) 위치_빈도수 Busan 釜山, South Korea 92 Busan, South Korea 82 부산 광안리해수욕장 - 廣安里海水浴場 GwangalliBeach, Busan, South Korea 52 Haeundae, Busan 22 흰여울문화마을 17 .. 부산주당 1 0731커피로스터스 1 수영구 광안동 1 한창정보타운 1 카페밀유 1 Name: 위치, Length: 578, dtype: int64 #등록된 위치정보별 빈도수 데이터 위치_빈도수 = pd.Da..

워드클라우드 해쉬태그의 빈도수를 워드 클라우드로 표현해 보자. 먼저 크롤링한 데이터에서 해쉬태그만 불러옵니다. 그리고 빈도수를 확인한후 워드 클라우드로 시각화 합니다. df['해쉬태그'] 0 ['#KPGA', '#시티원골프연습장', '#레슨프로', '#부산', '#부산골프레... 1 [] 2 ['#부산맛집', '#부산밥집', '#food', '#foodstagram', '#... 3 ['#부산맛집', '#신평맛집', '#영진돼지국밥', '#수육백반', '#돼지국밥'] 4 [] ... 2413 ..

인스타그램 크롤링 인스타그램 URL을 만들어서 접속 제일 처음 게시물을 클릭하여 내용을 가져온다. 그다음 차례대로 옆으로 이동하며 내용을 가져온다. 인스타그램 접속하기 chorme driver를 통해 인스타그램에 접속 해보자. from selenium import webdriver driver = webdriver.Chrome('chromedriver.exe') import time # 인스타그램 접속하기 driver.get('https://www.instargram.com') #로딩하는데 시간이 걸릴 수 있으므로 3초간 대기 time.sleep(3) 인스타그램은 계정을 로그인하여야 원활한 크롤링을 진행 할 수 있다. # 인스타계정으로 로그인 insta_id = '인스..

프로젝트 개요 인스타그램에 키워드를 검색 (나는 부산맛집, 부산데이트, 부산여행 검색) 검색해서 나오는 게시글들의 본문, 좋아요 수, 해쉬태그,위치 등등을 크롤링 해쉬태그 빈도수를 이용하여 워드 클라우드 크롤링 내용중 위치 정보를 기반으로 하여 지도 시각화(foilum 라이브러리를 이용)