이젠 익숙해졌을 때가 되었을 것 같다. import 하는 것. 기본적으로 외우자.

데이터를 import 해야하는데, import 하는 방식은 크게 두가지가 있다.

첫번째로, 약간은 길지만 여러가지 상세 세팅이 가능한 방식

두번째로, 짧지만 아예 specific하게 설정이 정해진 방식

이번 강의에는 두가지 모두 소개하는 시간을 갖도록 해보겠다.

1. 약간은 길지만 좀 더 상세 세팅이 가능한 방식

일단 약간은 길지만 좀 더 수정 가능한 방식에 대해 소개한다

일단 rea_csv 함수로 파일을 읽어와본다.

정상으로 가져왔다.

이때 data type을 상세히 보면, date가 그냥 string형식으로 import 것을 확인할 수 있다. 이렇게 해서는 시간들을 원하는 바꿀 수 없다. 즉 resampling이 불가하다.!

어떻게 해야할까?

import가 완료된 다음 python에서 String인 Data type을 Datetime으로 변경해주려면 다음함수를 사용해야한다.

df['Date'] = pd.to_datetime(df['Date'])

이 함수 엄청 자주 사용할 것이다. 이미 데이터가 import 된 것에 대해 type을 변경을 해줄 일이 많기 때문이다.

오옷 정상적으로 변경이 되었다. date column의 data type이  datetime64으로 변경된 것으로 확인할 수 있다. 

그리고 이제 해줘야할 일은.... df.set_index('Date', inplace=False)를 써서 date column을 index행으로 바꿔줘야한다.

실행이 되면, Date에 있는 값들이 굵게 표시되는 것을 확인할 수 있다.

2. 짧게, 빠르게 세팅하는 방식

지금까지 한 일련의 행동들을 좀 축약할 수 있다.

df = pd.read_csv('walmart.csv', index_col='Date')라고 한다면

import할 때, Date colum을 index로 선정을 하겠다고 하는 것이다.

거기에다가 parse_dates라고 하면 엄청난 옵션이 되어버리는데,

왠지 날짜인것 같으면 그냥 날짜 형식으로 바꿔버리라는 command인것이다. 엄청 편하다. 그냥 년월일 형식과 같은 경우 그냥 parse_dates라고 하면 index로 선정해버리면서 data type도 converting 해버린다.

참고로, df.index를 보니까 DatetimeIndex로 data type이 변형된 것을 확인할 수 있다. 혹은 type(df.index)라고 해도 된다.

이제 원했던 time resampling에 대해서 봐보도록 하자.

df.resampling(rule='A')

이렇게 받아온다음에, 그것에 대한 평균값들을 구할 수 있다.

가령 다음과 같이 작업하면, 매년간의 모든 데이터 값의 평균으 제공해준다.

만약 평균을 구하고자 한다면 'Q'를 선택하면, 아래와 같이 3, 6, 9, 12.. 이런 식으로 알아서 값을 제공해준다.

mean() 함수만 있는 것이 아니다. max값을 구할 수 있다.!!!

mean이나 max이외에 resample할 때 내가 원하는 함수를 등록하여 적용할 수도 있다.

나의 함수는 다음과 같은 방식으로 삽입할 수 있다. 

상기의 함수는 매년, 데이터의 첫번째 값을 구하라는 것이었는데, 잘 구해져 온다라는 것을 확인된다.

마지막으로 차트~

한편 파라메터를 'M'으로 변경한다면 매월을 의미하는 것이기 때문에 적어도 60개 정도의 데이터가 보여져야겠다.

이쁘게 나오질 않는다. 그럼 뭘 해야한다고 했지?

그렇다 figsize를 통해서 figsize함수를 사용하여 인치수를 조정하자.

오늘도 이쁘장한 데이터를 작성하는데 성공했다.

다음엔 각각 시간과 데이터들이 매치되지 않을때, shift 하여 확인하고 참조하는 방법에 알아보도록 하겠다.!

혹시 궁금한 사항 있으면 댓글이나 메시지 주세요~ 감사합니다~

주식 차트 만들 때 필수로 쓰이는 기술에 대해 논하고자 한다.

차트를 만들때 datetime을 index로 처리를 해줘야할 때가 있다.

종종 시간과 날짜 정보는 별도의 열에 있을뿐만 아니라 실제 색인이 되기도 한다.

그럴 때를 위하여 index로 처리를 해줘야할 필요가 있다.

이번 강의에서는 서로 서로 다르게 모여진 자료들을 모으고 모아서 하나의 DataFrame으로 구성해보는 시간을 갖겠다.

백문이 불여일견

우선 아래와 같이 작업을 해보자.

지금까지 배워왔던 library들이 지속적으로 쓰일 것이니, 항상 붙여주도록하자.

datetime함수

Python의 datetime 함수는 정말 굉장히 쓰기 용이하다.

대략적인 스트링을 내가 작성한다음에 이렇게 시간을 구성해줘~ 라고 외치면 알아서 시간化 해준다.

아래와 같이 년, 월, 일, 시간, 분, 초를 작성해봤다.

년, 월, 일 세가지만 작성해도 정상적으로 작동한다.

정상적으로 보이는지 확인해보자.

datetime.datetime의 형태로 보여지는 것을 확인할 수 있다.

또 우리가 바랬던 것 처럼, 시간, 분, 초까지 작성하니 그 내용도 제대로 보이는 것이 보인다.

아울러 등록한 이후엔, 내가 원하는 시간을 뽑아서 사용할 수 있는 것도 확인할 수 있다. (my_date_time.day는 일자를 뜻하는 것이겠지..)

본격적으로 시간을 만들어보자.

index 및 Data 만들기

DatetimeIndex함수

column 만들기

그냥 cols라고 해서 a, b를 넣어보았다. 설마 잃어버린 건아니겠지... 

합산하여 Data Frame으로 만들기

df = pd.DataFrame(data,dt_ind,cols)

그리고 df를 찍어보면 값이 정상적으로 찍히는 것을 확인할 수 있다.

DataFrame에 datetimeindex가 된이상

type(df.index)를 찍어보니, datetimes,DatetimeIndex라는 속성을 갖고 있다.
아까전에 말했던 것처럼, pandas.core.indexes.datetimes.DatetimeIndex은 다양한 내용을 제공해준다.
argmax(), max(), argmin(), min()등.. 정말 다양한 값을 제공해준다.

자 여기까지 DataFrame을 작성하는 내용을 만들어보았다.

내일, 아니면 모레.. 시간이 난다면 Time Resampling에 대한 강좌를 작성해보겠다.

Time Resampling은 정말 꿀정보다.! 매일갖고 있는 데이터를 month단위로, year단위로 데이터를 변경하여 작성하는 것이니 말이다.

암튼 많은 기대 해주시고~ 궁금한 내용 있으면 댓글 부탁부탁드려요~

조금씩 우리가 하려던 것을 진행할 때가 된 것 같다.

지금까지 좀 먼 길을 걸어왔다. 

pands와 matplotlib를 통하여 엑셀 파일, csv 파일, 혹은 웹사이트에 있는 데이터를 가져와서 차트로 만들어보기도 했다.

차트를 만들 때 그냥 그래프가 아니라 plot, scatter, histogram 등 다양한 방식의 그래프를 제공했었다.

아, numpy와 pandas의 차이에 대해서 물어보는 사람이 있었다.

numpy는 수치배열등의 계산을 빠르게 하기 위해 만들어진 패키지이다. 파이썬의 기본 리스트 성능이 느려서이기 때문이다.

반면 pandas는 numpy 기반으로 만들어진, 통계와 관련된 기능을 수행하는 패키지이다. 즉 pandas를 잘 다루려면 numpy의 기본을 잘 알고 있어야 한다.

Pandas와 Google API를 이용하여 주식정보 가져오기!

start, end 를 통해 시간을 설정해주고, web.DataReader 함수를 사용하여 데이터를 가져온 이후, facebook.head()를 입력하면 정상적으로 데이터를 가져온 것을 확인할 수 있다. 

참고로, 각 column에 대한 설명을 하자면

Open: 개장가, High는 고가, Low:저가 Close: 마감가, Volume: 거래량

한국 코스피 정보도 확인할 수 있다.!

그렇다면 나스닥에 있는 정보만 가져올 수 있는것이냐? 라고 물으신다면 절대 아니다. 한국도 된다.

선물 옵션 정보도 가져올 수 있다.

챠트 그리기로 마무리

충분한 설명이 되었을지 모르겠다.

다음편엔 quandl (http://www.quandl.com)을 통해서 정보 가져 오는 것을 진행해 보도록 하겠다.

진행하다가 궁금하시거나 막히는 부분있으면 언제든지 댓글로 남겨주세요~ 

Pandas에 대해 알아보도록 하자.

Imports 

Style Sheets

hist함수를 통해 표현할 수 있다. 굉장히 편하다.

물론 plot함수로도 동일한 방법으로 표현도 되고.. 다른 방식으로도 가능하다. 

Plot Type에 대해 보도록하자

Plot은 아래와 같이 여러가지 타입을 제공한다.

• df.plot.area
• df.plot.barh
• df.plot.density
• df.plot.hist
• df.plot.line
• df.plot.scatter
• df.plot.bar
• df.plot.box
• df.plot.hexbin
• df.plot.kde
• df.plot.pie

자 다시 df2를 한번 확인해보도록 하자. 한 번씩 확인해보면 다음과 같다.

Area와 Bar

사실 df2 파일은 index가 10까지로 구성되어 있다.

따라서 그냥 데이터를 표시하는 것도 좋지만 뭔가 의미 있게 보는 방법도 필요하겠지.

Barplot 

plot.bar(stacked=True)

이뿐만이 아니다. figsize를 통하여 챠트의 크기를 변경하고, 특정 그래프만 보여줄 수도 있으며,

Line Plot과 Scatter Plot

한편 심도를 표기할 때 윗처럼 보이면 뭐가 중요한지 차이점을 구분할 수가 없다. 

그때, cmap등의 값을 활용하여 다음과 같이 매우 잘 활용할 수 있다.

BoxPlot

Hexagonal Bin Plot

Kernel Density Estimation Plot(KDE)

여러개를 동시에 진행할 수도 있다.

이 정도만 보면 일단 Pandas 가지고 Visualization을 하는 기본정도는 알고 있네... 라고 생각할 수 있겠다.

특히 matplotlib를 사용하는 것보다 훨씬 사용하기 쉽다는 것이 느껴졌을 것이다~!!! 즉 엥간하면 pandas를 쓰자~ 라고 생각하면 되겠다~

다음편에는 조금더 상세한 Pandas 응용편을 소개하도록 하겠다.!

Groupby기능에 대해서 논해보자.

일단 상기와 같이 입력하면 테이블와 같은 값이 나온다. 각각 인력별로 얼마씩 sales를 했는지 나오는데... 저렇게 된 모습은 그냥 정리를 한 것이지, 활용을 한다고는 볼 수 없다.

groupby 함수

다양한 유틸리티가 존재한다..

groupby().count(), groupby().max()등의 기능들이 있다.

groupby의 describe 함수

근데 이런 내용들은 모두 describe라는 곳에서 다 관리해준다. 진짜 유용하므로 필수 암기!! 적절히 확인하요 배치하기만 하면 된다.

한편 describe().transpose()를 통해 행과 열을 역전하여 볼 수 있으니까 참조... 

(버전별에 따라 기본 보기가 거꾸로인 곳도 있었다. 그러니까 당황해하지 마시길..)

Missing Data

아래와 같이 Sample Data를 만들어보자.

Dropna 함수의 활용

한편 dropna(axis=1)과 같은 경우 반대다. 열을 삭제해버린다.

dropna(thresh=2)라면 thresh는 threshold(임계값)을 설정할 수 있는데, NaN이 2개 이상 있는 것에 대해서만 삭제해버린다는 의미이다.

fillna()함수