블로그 이미지
shadowchaser
이곳 저곳 이것 저것

calendar

1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

Notice

'matplotlib'에 해당되는 글 4

  1. 2017.10.08 2. Quandl을 사용하여 주식정보 가져오기1
  2. 2017.10.07 3. Pandas Visualization 개요
  3. 2017.10.06 2. Matplotlib 활용하기1
  4. 2017.10.06 1. Matplotlib 기초

Quandl에 대해서 공부를 하는 시간을 갖도록 하겠다.

한국에서는 quandl이 별로 유명하지 않다. 몇몇 애널리스트들이나 data scientist들에겐 익숙하긴 한데..
일반 사람들에게는 딱히 유명하지 않다. 
google api나 키움 api나.. 그런 것 몇개만 있으면 충분히 주식 자동 매매를 돌릴 수 있으니까..
헌데 Quandl은 그런 쪽의 perspective 뿐만이 아니라 굉장히 다양한 경제, 주식, 의료, 집값등.. 정말 다양한 perspective를 제공한다.

왜냐면, 하나의 Market이기 때문이라 그렇다.
아 걱정하지 않아도 된다. 내가 얘기하고 싶은 것은 Quandl을 어떻게 사용하느냐에 대해서 안내해주고 싶은 것이지,
무조건 주식 거래 자동화하는 것을 하기 위해서 quandl에 있는 특정 data를 사야한 다거나 하는 것은 아니기 때문이다.

Quandl 사이트 알아보기

일단 quandl site에 들어가보면 대략 어떤 느낌인지 알 것이다.
이 사이트를 이용하려면 우선 가입이 필요하다. 구글 계정등 다양한 계정을 통해 가입을 할 수 있으니 일단 가입을 해보자.

가입후 다시 정신을 차려다 보면 아래와 같이 두가지 메뉴가 있다.
alternative data는 일단 모두 유료니까 Core Financial Data를 들여보도록 하자.


일단 화면으로 들어가면 바로 Free를 클릭하자. 일단 테스트용이니까.... 나중에 데이터가 마음에 든다면, 이것을 통해 뭔가를 진행해도 된다. 


Wiki EOD Stock Prices를 나는 선택했다. 

선택을 하면 바로 다음과 같은 데이터가 뜬다.

그렇다. 모든 주식들에 대한 데이터가 있다.

Quandl을 모든 주식 데이터를 조회할 수 있는 것이다! 

googleapi와 같다고 생각하면 되겠다.


또한 이 사이트는 data를 csv, xls등의 다운로드 타입이라던지 query 타입이라던지, 다양한 방식으로 정보를 제공한다. 짱이다!


아래에 있는 USAGE 화면을 보면, 일단 PYTHON을 클릭해보자. 

내게 고유의 key가 제공이되는데, 내가 갖고 있는 API key를 통해서 작업을 할 수 있다. (특정 작업의 경우 키 없이도 가능함)



이제 진짜로 quandl을 통해 데이터를 가져와보도록 하자.

Quandl을 import를 해보자.

quandl.get은 하나의 함수다. 그 안에 들어있는 IEA/PET_RWTC_D는 세계 유가 지수이다.

심플하게도 그날의 지수를 모두 가져올 수 있다.

엄청 심플하지 않나? 대박이다~


물론 데이터를 통해 matplotlib를 통해 차트로 만들어서 보여줄 수도 있다. 아마 지금까지 내 강의를 봤다면, 문제없이 따라 할 수 있었을것이라 믿는다.. (아닌가.. --;;)


방금 quandl.get을 했을 때는 그냥 data값들만 우르르 내려 왔는데, 이번엔 아예 array로 받아와보자.

그렇다 returns 파라메터에 원하는 속성의 값만 쓰면 바로 array 값으로 원하는 형태로서의 return type을 맞춰줄 수 있다.

아래 보이면 1986, 1, 2, 0, 0이라고 써있는데 이 것은 1986년 1월 2일 이라는 의미이다.


조금 화제를 바꾸어보자.

Quandl을 통해 부동산 정보 조회하기

아까 주식 차트 뿐만 아니라고 했었던 것 기억하는지 모르겠다.

샌프란시스코의 평당렌탈비를 알아보도록 하자.


zillow에서 제공하는 real estate 가격를 추출해보자. 

1억1천만이 넘는 가구에서 발생한 데이터들이니까 믿을 수 있겠지.

아쉽게도 약 1~1개월 반정도 늦은 정보로 업데이트가 된다. 그래도 추이를 보는데는 큰 무리가 없다. 

아래 보이는 바와 같이 2012년을 기점으로 큰 폭으로 상승하고 있다는 사실... 



암튼 위 상단의 내용과 같이 quandl에 대한 code가 ZILLOW/C9_ZRIFAH임을 확인했으니, 이것도 그대로 가져와보자.

오오... 너무 쉽게 뽑힌다.




자 그럼 Quandl을 통해, 애플 주식 회사의 정보를 가져와볼까?

문제 없다.  

음 느끼는게 있는지 모르겠는데, 이전 강좌에서 배웠던, pandas-datareader보다 조금 더 자세한 값들을 제공한다.

사실 모든 컬럼에 대한 내용을 가져오면, query를 가져오는 데 시간이 오래걸리겠지.

그래서 아래와 같이 특정컬럼만 가져올 수도 있다. .1, .2, .3 이런 식으로 선택적으로 조회하기 원하는 column을 선택할 수 있다.


지난 3일 동안 많은 내용을 알아본 것 같다. 



나름대로 알고있었던 사항, 모르고 있었던 사항 테스트 해가면서 상세히 써봤는데, 이해가 쉽게 되려는지 모르겠다.

사실 사람들이 이 사이트 강좌를 얼마나 보는지도 모르겠고...

궁금한 사항 있으면 알려주세요~

posted by shadowchaser

Pandas에 대해 알아보도록 하자.

앞에서 Pandas를 통해 데이터를 관리하는 방법을 배웠다. 이번에도 Pandas를 통해 Data를 Visualization을 하는 방법을 알아보자.
진행하면서 matplotlib와 어떻게 다른지, 뭐가 좀 더 편한지 비교해보면서 진행한다면, 값진 시간이 될 것이다. 


Imports 

일단 df1 파일과 df2파일음 다음링크에서 다운 받고, 아래와 같이 준비를 하도록하자.


Style Sheets

hist함수를 통해 표현할 수 있다. 굉장히 편하다.


물론 plot함수로도 동일한 방법으로 표현도 되고.. 다른 방식으로도 가능하다. 



Plot Type에 대해 보도록하자

Plot은 아래와 같이 여러가지 타입을 제공한다.

  • df.plot.area
  • df.plot.barh
  • df.plot.density
  • df.plot.hist
  • df.plot.line
  • df.plot.scatter
  • df.plot.bar
  • df.plot.box
  • df.plot.hexbin
  • df.plot.kde
  • df.plot.pie

자 다시 df2를 한번 확인해보도록 하자. 한 번씩 확인해보면 다음과 같다.


Area와 Bar


사실 df2 파일은 index가 10까지로 구성되어 있다.

따라서 그냥 데이터를 표시하는 것도 좋지만 뭔가 의미 있게 보는 방법도 필요하겠지.


Barplot 

plot.bar(stacked=True)

위 함수는 굉장히 유용하다. 



이뿐만이 아니다. figsize를 통하여 챠트의 크기를 변경하고, 특정 그래프만 보여줄 수도 있으며,

Line Plot과 Scatter Plot

scatter를 통해서 심도를 구분해서 활용할 수도 있다.


한편 심도를 표기할 때 윗처럼 보이면 뭐가 중요한지 차이점을 구분할 수가 없다. 

그때, cmap등의 값을 활용하여 다음과 같이 매우 잘 활용할 수 있다.

BoxPlot



Hexagonal Bin Plot

scatter plot의 변형으로서, Bivariate(두 개의 변수[변량]을 갖는) Data를 처리할 때 매우 유용하다. 
이것도 색상을 좀 이쁘게 처리하면 더 일목요연하게 볼 수 있겠지. 똑같은 데이터인데 정말 달라보인다.


Kernel Density Estimation Plot(KDE)

커널 밀도 추청이라고 하는 KDE(Kernel Density Estimation)를 보아보자. 
다음과 같이 하나만 보여줄 수도 있고, 

여러개를 동시에 진행할 수도 있다.


이 정도만 보면 일단 Pandas 가지고 Visualization을 하는 기본정도는 알고 있네... 라고 생각할 수 있겠다.


특히 matplotlib를 사용하는 것보다 훨씬 사용하기 쉽다는 것이 느껴졌을 것이다~!!! 즉 엥간하면 pandas를 쓰자~ 라고 생각하면 되겠다~


다음편에는 조금더 상세한 Pandas 응용편을 소개하도록 하겠다.!

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

4. Pandas를 통한 시간별 시각화  (2) 2017.10.07
2. Matplotlib 활용하기  (1) 2017.10.06
1. Matplotlib 기초  (0) 2017.10.06
0. 들어가기전에  (0) 2017.10.06
posted by shadowchaser

Matplotlib을 상세히 다뤄보도록 하자.


들어가기전에

여기에서는 matplotlib를 활용하여 챠트를 만들어보는 작업을 하도록 한다.
아래와 같이 작업해보자


그렇게 입력하고 shit + tab을 눌러보면..

아래와 같은 결과를 확인할 수 있다.



몇가지 기능을 하나씩 소개하겠다.

Funtional로 구현하는 방식

전 장에서 이야기했지만, mtplotlib를 구현하는 방식은 Functional로 사용하는 방법과 객체지향(Object Oriented)방식으로 구현하는 방법 두가지로 나뉠 수 있다. 일단 Functional로 구현하는 방식에 대해서 이야기 하겠다. (후에 기술하겠지만 Object Oriented 방식으로 개발하는 것이 훨씬 용이하다.)

xlabel, ylabel, title  

xlabel은 Xlabel을 추가하는 함수이고
ylabel은 Ylabel을 추가하는 함수이고
title은 Title을 추가하는 함수이다.

즉, 실행하면 다음과 같이 만들 수 있겠다.




헌데 그래프를 작성할 때, 그냥 하나만 작성해서 보여줄 일은 실상 별로 많지 않다.

비교표로 두 개의 그래프를 동시에 작성하던지, 아예 두개의 차트로서 표현을 해야할 때가 있다.

subplot 함수

그래서 subplot함수가 엄청 유요하다. subplot에는 파라메터를 최소 3개를 요구한다. 몇개의 행과 열로 구성될 것이고, 그중에 몇 번째것인지.

plot 함수

plot(x,y)만 써줘도 되지만 세번째 파라미터에 색상을 집어 넣어주면 색상까지 입혀져있는 모습을 확인할 수 있다.


Object Oriented로 구현하는 방식

우리가 class를 초기화하는 것처럼 fig = plt.figure()라는 방식으로 빈 figure object를 만들고 거기에 각 속성을 집어넣는 방식이다.
생각보다 매우 쉬우니까 이 방법으로 개발하자.

아래 이미지를 보면 아까전에 봤던 것과 비슷한 모습이 보이기도 하고, 새로운 녀석들이 보이기도 한다.
예를 들어 plt.Xlabel('X Label')axes.set_xlabel('XLabel')로 변경된 것을 확인할 수 있다.
눈치가 있으면 느꼈겠지만 fig.add_axes가 뭔가 중요한 역할을 하는 것 같다... 후술하겠다.


기본적으로 fig = plt.figure() 후 axes = fig.add_axes([.1, .1, .8, .8])은 암기하자

아래와 같이 두개의 챠트를 중복해서 그릴 수도 있다. 

( 옛날에 이런 거 한 번 그릴려면 정말 난리가 났었다. 옛날 activeX 컴포넌트에서는 저것을 그릴 수 있는 유료콤포넌트가 없어서 외주 고객에게 정말 많이 깨졌었는데.. 이런 게 무료라니.. 이런 게 이렇게 쉽게 구현된다니.. 정말 기가 차다. 하긴 벌써 15년전 이야기니까... )


fig.add_axes함수

이 함수는 각각의 위치를 지정하는 함수다. 
axes1과 같은 경우 0.1, 0.1, 0.8, 0.8이라고 작성이 되어있는데 , 첫 0.1은 이미지의 x축의 위치, 두번째 0.1은 이미지의 y축의 시작위치, 세번째 0.8은 이미지의 가로길이, 네번째 0.8은 높이를 의미한다.
0~1까지 값을 입력할 수 있으며 모두 상대적인 길이이다.
axes2도 마찬가지다. 훨씬 이해하기 쉬울 것이다. 0.2정도의 가로 위치에, 0.5정도의 높이에, 0.4정도의 너비, 0.3정도의 높이로 표현을 하겠다는 것이다.

혹시나 이해가 안될까봐 하나씩 바꾸면서 작성을 해보았다. 이래도 이해가 안가면 나도 난감해질 수 있다.


복합편

자 이제, 기초적인, 주요하게 사용되는 함수들을 배웠다.  활용을 해보도록 하자.
챠트 두개에 지금까지 배웠던 모든 것을 다 입력해보도록 하자.

쪼개기

functional api를 사용할 때 subplot함수를 활용했었던 것을 기억하는지 모르겠다.
마찬가지로서 객체지향 방식 구현에서도 동일하게 활용할 수 있다.
한 화면에 이미지를 6개를 넣을수도 3개를 넣을 수도 있다.

tight_layout 함수

tight_layout은 각 챠트들이 겹치지 않도록 해주는 정말 고마운 함수다.  항상 사용하도록 하자.


Size와 DPI 조절

챠트를 그리다 보면 width와 height를 조절해야할 필요가 있다. 이때, figsize가 사용된다.
"인치"가 단위로서 사용되는 것을 필히 유의하자.


Legend의 활용

한 챠트에 여러개의 그래프 표현이 필요할 때가 있다. 그럴 때는 색상 혹은 marker로서 구분을 하는데 이때, legend가 있으면 굉장히 편리하다.

legend함수

legend함수를 통해서 legend가 어디에 위치할지를 결정할 수 있다. parameter 속성을 확인해보면 다양한 값이 있으니 직접 확인해보도록.
예를 들어 10이라고 하면 정가운데에 위치한다.

또한 상대수치를 입력하여 옮길 수도 있다. 어쩔대는 아예 외부에다가 둘때 더 이쁘더라.



Plot 모양새 바꾸기 정리

plot 함수를 총정리해보았다.
color, linewidth, alpha, linestyle, marker, markersize, markerfacecolor, markeredgewidth, markeredgecolor등 여러가지가 있다.
나는 아래이미지처럼 초록색의 외곽선 마커를 갖고 있고 노란색으로 채워져있으며 선이 ":" 로 구성되어있는 챠트로 만들어보았다. 어떤가?


수치 변경에 따른 결과는 아래 챠트의 내용과 같다. 총정리랄까...




축의 모양 변경

set_xlim함수, set_ylim함수

set_xlim함수와 set_ylim함수는 x와 y축에서 데이터가 표시될 구간을 결정한다.
예를 들어, 데이터값들이 1~100까지 있다고 하더라도, [0,1]이라고 지정했다면 1~100값은 표시되지 않고 0~1까지만의 값이 표시되는 것이다.

그이외의 방법들

scatter함수

scatter함수는 값들을 말그대로 흩뿌리는 효과를 낸다.

hist함수

hist함수는 데이터의 값을 히스토그램으로 만들어준다.


여기까지 Matplotlib를 활용하여 챠트를 만들어 보는 방법을 정리해보았다.


이외에도

아래의 사이트는 꼭 들어가볼 것을 권한다.


간략하게 정리해보았는데, 어땠는지 모르겠다.

궁금한 사항있으면 언제든지 댓글 남겨주세요. 감사합니다.

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

4. Pandas를 통한 시간별 시각화  (2) 2017.10.07
3. Pandas Visualization 개요  (0) 2017.10.07
1. Matplotlib 기초  (0) 2017.10.06
0. 들어가기전에  (0) 2017.10.06
posted by shadowchaser

Matplotlib은 python 2D plotting library로서 png, jpg등의 파일 형식으로 이미지를 생성해주는, cross platform의 라이브러리이다.


Matplotlib를 통해 무엇을 만들 수 있냐면, plot, histogram, power spectra, bar chart, error chart, scatterplot 등등을 매주 적은 코드만을 가지고 만들 수가 있다. 


Python에서 

최고로 유용하고 강력한 !!!

Visualization 라이브러리라는 것을 잊지 말자!!!



사실 Matlab의 plotting 기능을 베낀 거...

Matlab의 plotting 기능을 차용하여 동일하게 만든 것이긴한데

상세정보는 https://matplotlib.org에

Matplotlib는 https://matplotlib.org 에서 자세한 내용을 확인할 수 있다. 특히 gallery에서 내가 원화는 화면을 클릭하면 어떻게 구현할 수 있는지에 대한 코드가 나와 있는데, 굉장히 유효하다.


갤러리는 꼭 들어가보자

barh_demo
barh_demo
 
fill_demo
fill_demo
fill_demo_features
fill_demo_features
 
line_demo_dash_control
line_demo_dash_control

customized_violin_demo
customized_violin_demo
 
errorbar_demo
errorbar_demo
 
errorbar_demo_features
errorbar_demo_features
errorbar_limits
errorbar_limits
 
errorbars_and_boxes
errorbars_and_boxes
 
histogram_demo_cumulative
histogram_demo_cumulative
 
histogram_demo_features
histogram_demo_features
histogram_demo_histtypes
histogram_demo_histtypes
 
histogram_demo_multihist
histogram_demo_multihist
 

사람들이 matplot을 별로 안좋아하는 이유

이렇게 강력한 기능을 소지하고 있음에도 불구하고, 안좋아하는 사람들이 있다. 
첫번째이유는 객체지향(object oriented) API 구조이기 때문이다.
두번째이유는 function API oriented 구조이기 때문이다. 
그래서 이 두가지가 사람들을 헷갈리게 만드는데 그래서 사람들이 사용하길 원하지 않더라. (어느 부분을 어떻게 수정해야할지 감이 잘 안와서..)
그렇기에 이 두가지를 제대로 마스터 해야한다.


그럼 함 진행해보자!

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

4. Pandas를 통한 시간별 시각화  (2) 2017.10.07
3. Pandas Visualization 개요  (0) 2017.10.07
2. Matplotlib 활용하기  (1) 2017.10.06
0. 들어가기전에  (0) 2017.10.06
posted by shadowchaser
prev 1 next