Input & Output 강좌이다.

pandas는 정말 다양한 방법으로 엑셀은 물론, html, json파일,sql파일, csv형식등을 지원한다. 그렇기에 pandas가 대중적으로 많이 쓰이는 것이겠지.

금번엔 어떻게 읽고 쓰는지에 대해 간략히 설명해 보도록 하겠다.

들어가기 전에...

pd.까지 작성한뒤, shift+tab을 클릭하면 다양한 함수들을 확인할 수 있을 것이다.

위와 같이 준비한다. 또한, example 파일이 정상적으로 준비되었다면, jupyter notebook에서 read_csv('e 까지 누르고 tab버튼을 눌렀을 때, 자동완성이 될 것이다.

read_csv함수, to_csv함수

read_excel함수, to_excel함수

read_html함수

sqlalchemy를 를 통한 sql 활용

굉장히 심플하고 자주쓰이는 세가지를 정리해보자.

Join, Merge, Concatenating!!

먼저 이해를 하려면 백문이 불여일견... 우선 아래와 같은 테이블을 작성해보도록 하자.

Concat

Merge

Merge는 특정 key를 중심으로 하여 각 테이블간의 데이터를 합치는 것이다.

합치는 방법은 inner방식과 outer 방식이 있는데, inner 방식은 key를 중심으로 합치는 것이라고 생각하면되고,

outer방식은 key가 갖고 있는 모든 값들까지 생각해서 모두 합치는 방식이라고 생각하면 된다. 

일단 아래 처럼 left, right 테이블을 만들어보자.

이해가 가면 좋겠다. ㅜㅠ

inner, outer, 혹은 table을 기준으로 만들 수 있다.

join

궁금한 사항있으면 적어주세용.. 대답해드릴게용

Groupby기능에 대해서 논해보자.

일단 상기와 같이 입력하면 테이블와 같은 값이 나온다. 각각 인력별로 얼마씩 sales를 했는지 나오는데... 저렇게 된 모습은 그냥 정리를 한 것이지, 활용을 한다고는 볼 수 없다.

groupby 함수

다양한 유틸리티가 존재한다..

groupby().count(), groupby().max()등의 기능들이 있다.

groupby의 describe 함수

근데 이런 내용들은 모두 describe라는 곳에서 다 관리해준다. 진짜 유용하므로 필수 암기!! 적절히 확인하요 배치하기만 하면 된다.

한편 describe().transpose()를 통해 행과 열을 역전하여 볼 수 있으니까 참조... 

(버전별에 따라 기본 보기가 거꾸로인 곳도 있었다. 그러니까 당황해하지 마시길..)

Missing Data

아래와 같이 Sample Data를 만들어보자.

Dropna 함수의 활용

한편 dropna(axis=1)과 같은 경우 반대다. 열을 삭제해버린다.

dropna(thresh=2)라면 thresh는 threshold(임계값)을 설정할 수 있는데, NaN이 2개 이상 있는 것에 대해서만 삭제해버린다는 의미이다.

fillna()함수

Pandas는 정말 많이 사용된다.  주식과 같은 Financial Chart를 자동화하여 만들때 기초중의 기초이다. 이에 따라서 Pandas를 활용하는 법을 연재하려한다.

Data Frame 사용방법

위와 같이 5,4에 랜덤한 숫자로서 테이블을 채워보자

type을 보면 df['W']는 Series지만 전체 df를 선택하면 DataFrame의 속성임을 알 수 있다.

df.drop('E') 명령어를 통해 row을 삭제할 수도 있다.

보다시피 df.shape는 Data Frame의 크기를 안내하는 것이고,

loc에서 ['A']나 [0]이나 의미하는 것은 동일하다.

내가 특정내용만 원하서 보여주길 원한다면 다름과 같이 입력해주면 되겠다.

자 이번엔 좀더 복잡하게 만들어보자

numpy.random에서 random seed값을 통해 동일한 랜덤값을 추출할 수 있음을 잊지 말자.

df>0 은 0이상이 내용들에 대해 True/False로 나눠보라는 이야기다. 

조금더 복잡하게는 다음과 같이 응용될 수 있겠지.

Data Frame에서 Index 사용하기

느낌이 왔는지 모르겠다. 일단 outside와 inside에 있는 값을 각 합쳐주고, list(zip)~구문을 통해서 G1/1~3, G2/1~3으로 만들어준 것이다.

data frame의 index.name을 통해서 각 Column 명을 변경할 수 있으며, 특정 cell의 값을 조회할 수 도 있다.