블로그 이미지
shadowchaser
이곳 저곳 이것 저것

calendar

1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

Notice

'Python/02_Visualization with Matplotlib, Pandas'에 해당되는 글 5

  1. 2017.10.07 4. Pandas를 통한 시간별 시각화2
  2. 2017.10.07 3. Pandas Visualization 개요
  3. 2017.10.06 2. Matplotlib 활용하기1
  4. 2017.10.06 1. Matplotlib 기초
  5. 2017.10.06 0. 들어가기전에

지난 장에서 Pandas를 통한 Visualization에 대한 기초를 맛보았다.

이번엔 조금 더 잘 활용하는 방법에 대해서 알아보겠다.

예를 들어서 

1. 챠트에서 년/월등 시간이 겹쳐보일 때 해결하는 방법이라던지, 

2. 챠트의 표시선을 하나가 아닌 두개로 늘려서 보여준다던지

3. active한 chart를 만든다던지..


이 모든 것을 pandas에서 해줄 수 있다.

다음과 같이 작업해주자

명확한 이해를 위해서 파일이 하나 필요하다. mcdonalds.csv 파일을 통해서 그래프를 그려보자.


mcdonalds.csv


아래와 같이 우선 작업해준다.


csv파일엔 위와같이 Adj.Close, Adj.Volume 데이터가 매일마다 기록되어있다. 

이 두 컬럼의 내용을 한 챠트에 그래프로 그려보도록하자.


어떤가? 이상한가? 왜 하나만 보이는가? (궁예 말투로... --;;) 

그렇다. 하나의 데이터가 하나의 데이터에 가려지고 있는 현상이 생기는 것이다.

이런 일을 피하기 위해서 하나의 데이터만 선택하여 그래프로만들어보도록하자.



물론 데이터를 만들 때,꼭 figsize를 조절하여 적절한 모양으로 보이게 하는 것을 잊지 말자.


아까전보다 좀 나아졌다. 챠트를 해석해 보면 2007년도에 무슨 일이 발생했던 것만 같다. 이게 무슨일이지?

하지만 모든 데이터를 historical하게 보여주고 있어서 특정 일자만을 상세하게 볼 수 없어 답답하다.


그래, 이럴 때를 위해서 xlim과 ylim을 사용하는 것이다.

이전 장에서 배웠던 xlim함수와 ylim함수를 활용하자.


너무 ylim을 높였나보다 조금더 사실적으로 보이도록 몇가지 customization을 해보자.

ylim을 조절하고, linespace와 color를 조절해보았다.


어떤가? 조금 더 나아 보이는가??


동일한 방법으로 xlim과 ylim 를 설정하지 말고 , 명시적으로  2007-01-01과 2007-05-01까지의 index를 뽑아서 만들어 줄 수도 있다. 

일단 날짜만 한 번 뽑아보면 다음과 같다.


정상적으로 된 것같으니 해당하는 날짜의 Adj. Close까지 뽑아보자.



감이 왔는지 모르겠다. 일단 이렇게 해서 plot_date에 맞춰서 작성해보면 다음과 같다.

뭔가 점으로만 찍혀서 있어서 이쁘지 않은 것을 확인할 수 있다.

이를 피하기 위하여 좀더 이쁘게 선으로 연결해보자. 



좀 적당히 보인다. 근데 또 맘에 안드는 화면이 보인다. 각 챠트에서 년/월등 시간이 겹쳐 보이는 것이 확인된다.


이때, autofmt_xdate()를 쓰면, 자기가 알아서 시간에 맞추어 indentation 해준다. (대박 기능중 하나)


따라서 fig.autofmt_xdate()와 plt.tight_layout() 함수는 항상 맨 아래쪽 코드에 자리하고 있어야 한다.


깔끔해진 것을 발견할 수 있다.


챠트에 그리드(grid)도 넣고 뺄 수 있다.

yaxis.grid(), xaxis.grid() 두가지 함수를 통해 각 축별 그리드를 추가/삭제할 수 있다.


마지막으로 Major, Minor를 통해 챠트를 이쁘게 만들어보도록 하겠다.

백문이 불여일견이라고 아래 이미지를 보면 느낌이 올듯하다.
Major에 우선 월별로 간격을 만들어주고, formatting을 한뒤, Minor에는 weekly로 간격을 만들어주고 요일을 작성한다. 
일반적으로 Major만 작성해도 된다.
  • ax.xaxis.set_major_locator
  • ax.xaxis.set_major_formatter
  • ax.xaxis.set_minor_locator
  • ax.xaxis.set_minor_formatter
(참고: byweekday=0값이 월요일을 의미하기 때문에 Mon이라고 아래에 모두 찍혀있는 것임)



Bonus!

보너스로 jupyter notebook에서는 챠트를 좀더 dynamic하게 사용할 수 있다.
맨위에서 %matplotlib inline이라고 작성 후 실행했었는데,
이것을 %matplotlib notebook이라고 수정하고 다시 실행해주면 (이때 kernel restart가 한번 필요하다)
아래와 같이 완전 멋있는 챠트로 변신한다.


아래와 같은 챠트로 변신한다. 

다양한 키들을 제공한다. 엥간한 컴포넌트보다 높은 수준의 기능을 제공한다.

특정 화면으로 이동도 가능하다.

특정부분의 확대도 가능하다.

  -> 



지금까지 pandas를 통한 데이터 visualization을 알아보았다.

다음장에서는 외부에서 실시간 데이터를 가져오면서 챠트를 갱신하는 기능을 보여주도록 하겠다.


혹시 블로그 보다가 궁금한 내용 있으면 물어보세요. 누가 이 블로그 글을 볼런지는 모르겠지만.. --;;

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

3. Pandas Visualization 개요  (0) 2017.10.07
2. Matplotlib 활용하기  (1) 2017.10.06
1. Matplotlib 기초  (0) 2017.10.06
0. 들어가기전에  (0) 2017.10.06
posted by shadowchaser

Pandas에 대해 알아보도록 하자.

앞에서 Pandas를 통해 데이터를 관리하는 방법을 배웠다. 이번에도 Pandas를 통해 Data를 Visualization을 하는 방법을 알아보자.
진행하면서 matplotlib와 어떻게 다른지, 뭐가 좀 더 편한지 비교해보면서 진행한다면, 값진 시간이 될 것이다. 


Imports 

일단 df1 파일과 df2파일음 다음링크에서 다운 받고, 아래와 같이 준비를 하도록하자.


Style Sheets

hist함수를 통해 표현할 수 있다. 굉장히 편하다.


물론 plot함수로도 동일한 방법으로 표현도 되고.. 다른 방식으로도 가능하다. 



Plot Type에 대해 보도록하자

Plot은 아래와 같이 여러가지 타입을 제공한다.

  • df.plot.area
  • df.plot.barh
  • df.plot.density
  • df.plot.hist
  • df.plot.line
  • df.plot.scatter
  • df.plot.bar
  • df.plot.box
  • df.plot.hexbin
  • df.plot.kde
  • df.plot.pie

자 다시 df2를 한번 확인해보도록 하자. 한 번씩 확인해보면 다음과 같다.


Area와 Bar


사실 df2 파일은 index가 10까지로 구성되어 있다.

따라서 그냥 데이터를 표시하는 것도 좋지만 뭔가 의미 있게 보는 방법도 필요하겠지.


Barplot 

plot.bar(stacked=True)

위 함수는 굉장히 유용하다. 



이뿐만이 아니다. figsize를 통하여 챠트의 크기를 변경하고, 특정 그래프만 보여줄 수도 있으며,

Line Plot과 Scatter Plot

scatter를 통해서 심도를 구분해서 활용할 수도 있다.


한편 심도를 표기할 때 윗처럼 보이면 뭐가 중요한지 차이점을 구분할 수가 없다. 

그때, cmap등의 값을 활용하여 다음과 같이 매우 잘 활용할 수 있다.

BoxPlot



Hexagonal Bin Plot

scatter plot의 변형으로서, Bivariate(두 개의 변수[변량]을 갖는) Data를 처리할 때 매우 유용하다. 
이것도 색상을 좀 이쁘게 처리하면 더 일목요연하게 볼 수 있겠지. 똑같은 데이터인데 정말 달라보인다.


Kernel Density Estimation Plot(KDE)

커널 밀도 추청이라고 하는 KDE(Kernel Density Estimation)를 보아보자. 
다음과 같이 하나만 보여줄 수도 있고, 

여러개를 동시에 진행할 수도 있다.


이 정도만 보면 일단 Pandas 가지고 Visualization을 하는 기본정도는 알고 있네... 라고 생각할 수 있겠다.


특히 matplotlib를 사용하는 것보다 훨씬 사용하기 쉽다는 것이 느껴졌을 것이다~!!! 즉 엥간하면 pandas를 쓰자~ 라고 생각하면 되겠다~


다음편에는 조금더 상세한 Pandas 응용편을 소개하도록 하겠다.!

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

4. Pandas를 통한 시간별 시각화  (2) 2017.10.07
2. Matplotlib 활용하기  (1) 2017.10.06
1. Matplotlib 기초  (0) 2017.10.06
0. 들어가기전에  (0) 2017.10.06
posted by shadowchaser

Matplotlib을 상세히 다뤄보도록 하자.


들어가기전에

여기에서는 matplotlib를 활용하여 챠트를 만들어보는 작업을 하도록 한다.
아래와 같이 작업해보자


그렇게 입력하고 shit + tab을 눌러보면..

아래와 같은 결과를 확인할 수 있다.



몇가지 기능을 하나씩 소개하겠다.

Funtional로 구현하는 방식

전 장에서 이야기했지만, mtplotlib를 구현하는 방식은 Functional로 사용하는 방법과 객체지향(Object Oriented)방식으로 구현하는 방법 두가지로 나뉠 수 있다. 일단 Functional로 구현하는 방식에 대해서 이야기 하겠다. (후에 기술하겠지만 Object Oriented 방식으로 개발하는 것이 훨씬 용이하다.)

xlabel, ylabel, title  

xlabel은 Xlabel을 추가하는 함수이고
ylabel은 Ylabel을 추가하는 함수이고
title은 Title을 추가하는 함수이다.

즉, 실행하면 다음과 같이 만들 수 있겠다.




헌데 그래프를 작성할 때, 그냥 하나만 작성해서 보여줄 일은 실상 별로 많지 않다.

비교표로 두 개의 그래프를 동시에 작성하던지, 아예 두개의 차트로서 표현을 해야할 때가 있다.

subplot 함수

그래서 subplot함수가 엄청 유요하다. subplot에는 파라메터를 최소 3개를 요구한다. 몇개의 행과 열로 구성될 것이고, 그중에 몇 번째것인지.

plot 함수

plot(x,y)만 써줘도 되지만 세번째 파라미터에 색상을 집어 넣어주면 색상까지 입혀져있는 모습을 확인할 수 있다.


Object Oriented로 구현하는 방식

우리가 class를 초기화하는 것처럼 fig = plt.figure()라는 방식으로 빈 figure object를 만들고 거기에 각 속성을 집어넣는 방식이다.
생각보다 매우 쉬우니까 이 방법으로 개발하자.

아래 이미지를 보면 아까전에 봤던 것과 비슷한 모습이 보이기도 하고, 새로운 녀석들이 보이기도 한다.
예를 들어 plt.Xlabel('X Label')axes.set_xlabel('XLabel')로 변경된 것을 확인할 수 있다.
눈치가 있으면 느꼈겠지만 fig.add_axes가 뭔가 중요한 역할을 하는 것 같다... 후술하겠다.


기본적으로 fig = plt.figure() 후 axes = fig.add_axes([.1, .1, .8, .8])은 암기하자

아래와 같이 두개의 챠트를 중복해서 그릴 수도 있다. 

( 옛날에 이런 거 한 번 그릴려면 정말 난리가 났었다. 옛날 activeX 컴포넌트에서는 저것을 그릴 수 있는 유료콤포넌트가 없어서 외주 고객에게 정말 많이 깨졌었는데.. 이런 게 무료라니.. 이런 게 이렇게 쉽게 구현된다니.. 정말 기가 차다. 하긴 벌써 15년전 이야기니까... )


fig.add_axes함수

이 함수는 각각의 위치를 지정하는 함수다. 
axes1과 같은 경우 0.1, 0.1, 0.8, 0.8이라고 작성이 되어있는데 , 첫 0.1은 이미지의 x축의 위치, 두번째 0.1은 이미지의 y축의 시작위치, 세번째 0.8은 이미지의 가로길이, 네번째 0.8은 높이를 의미한다.
0~1까지 값을 입력할 수 있으며 모두 상대적인 길이이다.
axes2도 마찬가지다. 훨씬 이해하기 쉬울 것이다. 0.2정도의 가로 위치에, 0.5정도의 높이에, 0.4정도의 너비, 0.3정도의 높이로 표현을 하겠다는 것이다.

혹시나 이해가 안될까봐 하나씩 바꾸면서 작성을 해보았다. 이래도 이해가 안가면 나도 난감해질 수 있다.


복합편

자 이제, 기초적인, 주요하게 사용되는 함수들을 배웠다.  활용을 해보도록 하자.
챠트 두개에 지금까지 배웠던 모든 것을 다 입력해보도록 하자.

쪼개기

functional api를 사용할 때 subplot함수를 활용했었던 것을 기억하는지 모르겠다.
마찬가지로서 객체지향 방식 구현에서도 동일하게 활용할 수 있다.
한 화면에 이미지를 6개를 넣을수도 3개를 넣을 수도 있다.

tight_layout 함수

tight_layout은 각 챠트들이 겹치지 않도록 해주는 정말 고마운 함수다.  항상 사용하도록 하자.


Size와 DPI 조절

챠트를 그리다 보면 width와 height를 조절해야할 필요가 있다. 이때, figsize가 사용된다.
"인치"가 단위로서 사용되는 것을 필히 유의하자.


Legend의 활용

한 챠트에 여러개의 그래프 표현이 필요할 때가 있다. 그럴 때는 색상 혹은 marker로서 구분을 하는데 이때, legend가 있으면 굉장히 편리하다.

legend함수

legend함수를 통해서 legend가 어디에 위치할지를 결정할 수 있다. parameter 속성을 확인해보면 다양한 값이 있으니 직접 확인해보도록.
예를 들어 10이라고 하면 정가운데에 위치한다.

또한 상대수치를 입력하여 옮길 수도 있다. 어쩔대는 아예 외부에다가 둘때 더 이쁘더라.



Plot 모양새 바꾸기 정리

plot 함수를 총정리해보았다.
color, linewidth, alpha, linestyle, marker, markersize, markerfacecolor, markeredgewidth, markeredgecolor등 여러가지가 있다.
나는 아래이미지처럼 초록색의 외곽선 마커를 갖고 있고 노란색으로 채워져있으며 선이 ":" 로 구성되어있는 챠트로 만들어보았다. 어떤가?


수치 변경에 따른 결과는 아래 챠트의 내용과 같다. 총정리랄까...




축의 모양 변경

set_xlim함수, set_ylim함수

set_xlim함수와 set_ylim함수는 x와 y축에서 데이터가 표시될 구간을 결정한다.
예를 들어, 데이터값들이 1~100까지 있다고 하더라도, [0,1]이라고 지정했다면 1~100값은 표시되지 않고 0~1까지만의 값이 표시되는 것이다.

그이외의 방법들

scatter함수

scatter함수는 값들을 말그대로 흩뿌리는 효과를 낸다.

hist함수

hist함수는 데이터의 값을 히스토그램으로 만들어준다.


여기까지 Matplotlib를 활용하여 챠트를 만들어 보는 방법을 정리해보았다.


이외에도

아래의 사이트는 꼭 들어가볼 것을 권한다.


간략하게 정리해보았는데, 어땠는지 모르겠다.

궁금한 사항있으면 언제든지 댓글 남겨주세요. 감사합니다.

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

4. Pandas를 통한 시간별 시각화  (2) 2017.10.07
3. Pandas Visualization 개요  (0) 2017.10.07
1. Matplotlib 기초  (0) 2017.10.06
0. 들어가기전에  (0) 2017.10.06
posted by shadowchaser

Matplotlib은 python 2D plotting library로서 png, jpg등의 파일 형식으로 이미지를 생성해주는, cross platform의 라이브러리이다.


Matplotlib를 통해 무엇을 만들 수 있냐면, plot, histogram, power spectra, bar chart, error chart, scatterplot 등등을 매주 적은 코드만을 가지고 만들 수가 있다. 


Python에서 

최고로 유용하고 강력한 !!!

Visualization 라이브러리라는 것을 잊지 말자!!!



사실 Matlab의 plotting 기능을 베낀 거...

Matlab의 plotting 기능을 차용하여 동일하게 만든 것이긴한데

상세정보는 https://matplotlib.org에

Matplotlib는 https://matplotlib.org 에서 자세한 내용을 확인할 수 있다. 특히 gallery에서 내가 원화는 화면을 클릭하면 어떻게 구현할 수 있는지에 대한 코드가 나와 있는데, 굉장히 유효하다.


갤러리는 꼭 들어가보자

barh_demo
barh_demo
 
fill_demo
fill_demo
fill_demo_features
fill_demo_features
 
line_demo_dash_control
line_demo_dash_control

customized_violin_demo
customized_violin_demo
 
errorbar_demo
errorbar_demo
 
errorbar_demo_features
errorbar_demo_features
errorbar_limits
errorbar_limits
 
errorbars_and_boxes
errorbars_and_boxes
 
histogram_demo_cumulative
histogram_demo_cumulative
 
histogram_demo_features
histogram_demo_features
histogram_demo_histtypes
histogram_demo_histtypes
 
histogram_demo_multihist
histogram_demo_multihist
 

사람들이 matplot을 별로 안좋아하는 이유

이렇게 강력한 기능을 소지하고 있음에도 불구하고, 안좋아하는 사람들이 있다. 
첫번째이유는 객체지향(object oriented) API 구조이기 때문이다.
두번째이유는 function API oriented 구조이기 때문이다. 
그래서 이 두가지가 사람들을 헷갈리게 만드는데 그래서 사람들이 사용하길 원하지 않더라. (어느 부분을 어떻게 수정해야할지 감이 잘 안와서..)
그렇기에 이 두가지를 제대로 마스터 해야한다.


그럼 함 진행해보자!

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

4. Pandas를 통한 시간별 시각화  (2) 2017.10.07
3. Pandas Visualization 개요  (0) 2017.10.07
2. Matplotlib 활용하기  (1) 2017.10.06
0. 들어가기전에  (0) 2017.10.06
posted by shadowchaser

주식등 다양한 financial technique들은 visualize가 필요하다. 

Python에는 다양한 library가 있는데, 그중에서도 Matplotlib와 panda's visualization이 최고이다.

(물론 seaborn, cufflinks, plotly, bokeh, vincent 등의 훌륭한 라이브러리가 있긴하지만)

Matplotlib은 다양한 플랫폼들에서 png,jpg등과 같은 형식들의 작성을 지원하는 python 2D plotting이다. 


따라서 우선 Matplotlib에 대해서 알아보는 시간을 갖도록 한다.

본 강좌는 다음과 같이 구성하려한다.

  • Matplotlib
  • Pandas Visualization
  • Pandas Time Series Visualization


Matplotlib을 통해서는 다음과 같은 챠트들을 그릴 수 있다. 참고로 아래 챠트는 단 5줄로 그려진 차트이다. 대단하지 않은가?



진행하다가 궁금한 사항있으면 말씀주세요~ 즐겨찾기 꾸욱~

'Python > 02_Visualization with Matplotlib, Pandas' 카테고리의 다른 글

4. Pandas를 통한 시간별 시각화  (2) 2017.10.07
3. Pandas Visualization 개요  (0) 2017.10.07
2. Matplotlib 활용하기  (1) 2017.10.06
1. Matplotlib 기초  (0) 2017.10.06
posted by shadowchaser
prev 1 next