You don't have to download any GPU drivers from another website like Nvidia if you follow below instruction.!

1. Install ubuntu 18.04

2. Update ubuntu 18.04

3. install anaconda

 - simply download anaconda website(https://www.anaconda.com/distribution/#download-section) and install it!

4.  nvidia driver: 

5. cuDnn : conda install -c anaconda cudatoolkit

6. Tensorflow GPU: create -n tensorflow tensorflow-gpu

7. Pytorch: create -n pytorch pytorch

이젠 익숙해졌을 때가 되었을 것 같다. import 하는 것. 기본적으로 외우자.

데이터를 import 해야하는데, import 하는 방식은 크게 두가지가 있다.

첫번째로, 약간은 길지만 여러가지 상세 세팅이 가능한 방식

두번째로, 짧지만 아예 specific하게 설정이 정해진 방식

이번 강의에는 두가지 모두 소개하는 시간을 갖도록 해보겠다.

1. 약간은 길지만 좀 더 상세 세팅이 가능한 방식

일단 약간은 길지만 좀 더 수정 가능한 방식에 대해 소개한다

일단 rea_csv 함수로 파일을 읽어와본다.

정상으로 가져왔다.

이때 data type을 상세히 보면, date가 그냥 string형식으로 import 것을 확인할 수 있다. 이렇게 해서는 시간들을 원하는 바꿀 수 없다. 즉 resampling이 불가하다.!

어떻게 해야할까?

import가 완료된 다음 python에서 String인 Data type을 Datetime으로 변경해주려면 다음함수를 사용해야한다.

df['Date'] = pd.to_datetime(df['Date'])

이 함수 엄청 자주 사용할 것이다. 이미 데이터가 import 된 것에 대해 type을 변경을 해줄 일이 많기 때문이다.

오옷 정상적으로 변경이 되었다. date column의 data type이  datetime64으로 변경된 것으로 확인할 수 있다. 

그리고 이제 해줘야할 일은.... df.set_index('Date', inplace=False)를 써서 date column을 index행으로 바꿔줘야한다.

실행이 되면, Date에 있는 값들이 굵게 표시되는 것을 확인할 수 있다.

2. 짧게, 빠르게 세팅하는 방식

지금까지 한 일련의 행동들을 좀 축약할 수 있다.

df = pd.read_csv('walmart.csv', index_col='Date')라고 한다면

import할 때, Date colum을 index로 선정을 하겠다고 하는 것이다.

거기에다가 parse_dates라고 하면 엄청난 옵션이 되어버리는데,

왠지 날짜인것 같으면 그냥 날짜 형식으로 바꿔버리라는 command인것이다. 엄청 편하다. 그냥 년월일 형식과 같은 경우 그냥 parse_dates라고 하면 index로 선정해버리면서 data type도 converting 해버린다.

참고로, df.index를 보니까 DatetimeIndex로 data type이 변형된 것을 확인할 수 있다. 혹은 type(df.index)라고 해도 된다.

이제 원했던 time resampling에 대해서 봐보도록 하자.

df.resampling(rule='A')

이렇게 받아온다음에, 그것에 대한 평균값들을 구할 수 있다.

가령 다음과 같이 작업하면, 매년간의 모든 데이터 값의 평균으 제공해준다.

만약 평균을 구하고자 한다면 'Q'를 선택하면, 아래와 같이 3, 6, 9, 12.. 이런 식으로 알아서 값을 제공해준다.

mean() 함수만 있는 것이 아니다. max값을 구할 수 있다.!!!

mean이나 max이외에 resample할 때 내가 원하는 함수를 등록하여 적용할 수도 있다.

나의 함수는 다음과 같은 방식으로 삽입할 수 있다. 

상기의 함수는 매년, 데이터의 첫번째 값을 구하라는 것이었는데, 잘 구해져 온다라는 것을 확인된다.

마지막으로 차트~

한편 파라메터를 'M'으로 변경한다면 매월을 의미하는 것이기 때문에 적어도 60개 정도의 데이터가 보여져야겠다.

이쁘게 나오질 않는다. 그럼 뭘 해야한다고 했지?

그렇다 figsize를 통해서 figsize함수를 사용하여 인치수를 조정하자.

오늘도 이쁘장한 데이터를 작성하는데 성공했다.

다음엔 각각 시간과 데이터들이 매치되지 않을때, shift 하여 확인하고 참조하는 방법에 알아보도록 하겠다.!

혹시 궁금한 사항 있으면 댓글이나 메시지 주세요~ 감사합니다~

주식 차트 만들 때 필수로 쓰이는 기술에 대해 논하고자 한다.

차트를 만들때 datetime을 index로 처리를 해줘야할 때가 있다.

종종 시간과 날짜 정보는 별도의 열에 있을뿐만 아니라 실제 색인이 되기도 한다.

그럴 때를 위하여 index로 처리를 해줘야할 필요가 있다.

이번 강의에서는 서로 서로 다르게 모여진 자료들을 모으고 모아서 하나의 DataFrame으로 구성해보는 시간을 갖겠다.

백문이 불여일견

우선 아래와 같이 작업을 해보자.

지금까지 배워왔던 library들이 지속적으로 쓰일 것이니, 항상 붙여주도록하자.

datetime함수

Python의 datetime 함수는 정말 굉장히 쓰기 용이하다.

대략적인 스트링을 내가 작성한다음에 이렇게 시간을 구성해줘~ 라고 외치면 알아서 시간化 해준다.

아래와 같이 년, 월, 일, 시간, 분, 초를 작성해봤다.

년, 월, 일 세가지만 작성해도 정상적으로 작동한다.

정상적으로 보이는지 확인해보자.

datetime.datetime의 형태로 보여지는 것을 확인할 수 있다.

또 우리가 바랬던 것 처럼, 시간, 분, 초까지 작성하니 그 내용도 제대로 보이는 것이 보인다.

아울러 등록한 이후엔, 내가 원하는 시간을 뽑아서 사용할 수 있는 것도 확인할 수 있다. (my_date_time.day는 일자를 뜻하는 것이겠지..)

본격적으로 시간을 만들어보자.

index 및 Data 만들기

DatetimeIndex함수

column 만들기

그냥 cols라고 해서 a, b를 넣어보았다. 설마 잃어버린 건아니겠지... 

합산하여 Data Frame으로 만들기

df = pd.DataFrame(data,dt_ind,cols)

그리고 df를 찍어보면 값이 정상적으로 찍히는 것을 확인할 수 있다.

DataFrame에 datetimeindex가 된이상

type(df.index)를 찍어보니, datetimes,DatetimeIndex라는 속성을 갖고 있다.
아까전에 말했던 것처럼, pandas.core.indexes.datetimes.DatetimeIndex은 다양한 내용을 제공해준다.
argmax(), max(), argmin(), min()등.. 정말 다양한 값을 제공해준다.

자 여기까지 DataFrame을 작성하는 내용을 만들어보았다.

내일, 아니면 모레.. 시간이 난다면 Time Resampling에 대한 강좌를 작성해보겠다.

Time Resampling은 정말 꿀정보다.! 매일갖고 있는 데이터를 month단위로, year단위로 데이터를 변경하여 작성하는 것이니 말이다.

암튼 많은 기대 해주시고~ 궁금한 내용 있으면 댓글 부탁부탁드려요~

지금까지 pandas를 통해 업무를 어떻게 수행하는지 이해해보았다. 이제는 시계열 데이터(Time Series Data)를 갖고 놀아볼 때다.

• 우리가 다루는 데이터(주식, 금융, 부동산 등)의 대부분은 DateTime타입으로 만들어진 index와 그에 해당하는 값을 갖는 시계열의 형태로 나타내어진다.

• 그럼으로, 우리는 이번 챕터를 통해 panda의 특별한 시계열(Time Series) feature를 통해 데이터를 분류하고 작업하는 방법을 배울 것이다.

• 따라서 본 챕터에는 다음 내용이 포함될 것이다.

• DateTime Index

• Time Resampling

• Time Shifts

• Rolling and Expanding

Quandl에 대해서 공부를 하는 시간을 갖도록 하겠다.

Quandl 사이트 알아보기

일단 화면으로 들어가면 바로 Free를 클릭하자. 일단 테스트용이니까.... 나중에 데이터가 마음에 든다면, 이것을 통해 뭔가를 진행해도 된다. 

Wiki EOD Stock Prices를 나는 선택했다. 

선택을 하면 바로 다음과 같은 데이터가 뜬다.

그렇다. 모든 주식들에 대한 데이터가 있다.

Quandl을 모든 주식 데이터를 조회할 수 있는 것이다! 

googleapi와 같다고 생각하면 되겠다.

또한 이 사이트는 data를 csv, xls등의 다운로드 타입이라던지 query 타입이라던지, 다양한 방식으로 정보를 제공한다. 짱이다!

아래에 있는 USAGE 화면을 보면, 일단 PYTHON을 클릭해보자. 

내게 고유의 key가 제공이되는데, 내가 갖고 있는 API key를 통해서 작업을 할 수 있다. (특정 작업의 경우 키 없이도 가능함)

이제 진짜로 quandl을 통해 데이터를 가져와보도록 하자.

Quandl을 import를 해보자.

quandl.get은 하나의 함수다. 그 안에 들어있는 IEA/PET_RWTC_D는 세계 유가 지수이다.

심플하게도 그날의 지수를 모두 가져올 수 있다.

엄청 심플하지 않나? 대박이다~

물론 데이터를 통해 matplotlib를 통해 차트로 만들어서 보여줄 수도 있다. 아마 지금까지 내 강의를 봤다면, 문제없이 따라 할 수 있었을것이라 믿는다.. (아닌가.. --;;)

방금 quandl.get을 했을 때는 그냥 data값들만 우르르 내려 왔는데, 이번엔 아예 array로 받아와보자.

그렇다 returns 파라메터에 원하는 속성의 값만 쓰면 바로 array 값으로 원하는 형태로서의 return type을 맞춰줄 수 있다.

아래 보이면 1986, 1, 2, 0, 0이라고 써있는데 이 것은 1986년 1월 2일 이라는 의미이다.

조금 화제를 바꾸어보자.

Quandl을 통해 부동산 정보 조회하기

아까 주식 차트 뿐만 아니라고 했었던 것 기억하는지 모르겠다.

샌프란시스코의 평당렌탈비를 알아보도록 하자.

zillow에서 제공하는 real estate 가격를 추출해보자. 

1억1천만이 넘는 가구에서 발생한 데이터들이니까 믿을 수 있겠지.

아쉽게도 약 1~1개월 반정도 늦은 정보로 업데이트가 된다. 그래도 추이를 보는데는 큰 무리가 없다. 

아래 보이는 바와 같이 2012년을 기점으로 큰 폭으로 상승하고 있다는 사실... 

암튼 위 상단의 내용과 같이 quandl에 대한 code가 ZILLOW/C9_ZRIFAH임을 확인했으니, 이것도 그대로 가져와보자.

오오... 너무 쉽게 뽑힌다.

자 그럼 Quandl을 통해, 애플 주식 회사의 정보를 가져와볼까?

문제 없다.  

음 느끼는게 있는지 모르겠는데, 이전 강좌에서 배웠던, pandas-datareader보다 조금 더 자세한 값들을 제공한다.

사실 모든 컬럼에 대한 내용을 가져오면, query를 가져오는 데 시간이 오래걸리겠지.

그래서 아래와 같이 특정컬럼만 가져올 수도 있다. .1, .2, .3 이런 식으로 선택적으로 조회하기 원하는 column을 선택할 수 있다.

지난 3일 동안 많은 내용을 알아본 것 같다. 

나름대로 알고있었던 사항, 모르고 있었던 사항 테스트 해가면서 상세히 써봤는데, 이해가 쉽게 되려는지 모르겠다.

사실 사람들이 이 사이트 강좌를 얼마나 보는지도 모르겠고...

궁금한 사항 있으면 알려주세요~

조금씩 우리가 하려던 것을 진행할 때가 된 것 같다.

지금까지 좀 먼 길을 걸어왔다. 

pands와 matplotlib를 통하여 엑셀 파일, csv 파일, 혹은 웹사이트에 있는 데이터를 가져와서 차트로 만들어보기도 했다.

차트를 만들 때 그냥 그래프가 아니라 plot, scatter, histogram 등 다양한 방식의 그래프를 제공했었다.

아, numpy와 pandas의 차이에 대해서 물어보는 사람이 있었다.

numpy는 수치배열등의 계산을 빠르게 하기 위해 만들어진 패키지이다. 파이썬의 기본 리스트 성능이 느려서이기 때문이다.

반면 pandas는 numpy 기반으로 만들어진, 통계와 관련된 기능을 수행하는 패키지이다. 즉 pandas를 잘 다루려면 numpy의 기본을 잘 알고 있어야 한다.

Pandas와 Google API를 이용하여 주식정보 가져오기!

start, end 를 통해 시간을 설정해주고, web.DataReader 함수를 사용하여 데이터를 가져온 이후, facebook.head()를 입력하면 정상적으로 데이터를 가져온 것을 확인할 수 있다. 

참고로, 각 column에 대한 설명을 하자면

Open: 개장가, High는 고가, Low:저가 Close: 마감가, Volume: 거래량

한국 코스피 정보도 확인할 수 있다.!

그렇다면 나스닥에 있는 정보만 가져올 수 있는것이냐? 라고 물으신다면 절대 아니다. 한국도 된다.

선물 옵션 정보도 가져올 수 있다.

챠트 그리기로 마무리

충분한 설명이 되었을지 모르겠다.

다음편엔 quandl (http://www.quandl.com)을 통해서 정보 가져 오는 것을 진행해 보도록 하겠다.

진행하다가 궁금하시거나 막히는 부분있으면 언제든지 댓글로 남겨주세요~ 

지난 장에서 Pandas를 통한 Visualization에 대한 기초를 맛보았다.

이번엔 조금 더 잘 활용하는 방법에 대해서 알아보겠다.

예를 들어서 

1. 챠트에서 년/월등 시간이 겹쳐보일 때 해결하는 방법이라던지, 

2. 챠트의 표시선을 하나가 아닌 두개로 늘려서 보여준다던지

3. active한 chart를 만든다던지..

이 모든 것을 pandas에서 해줄 수 있다.

다음과 같이 작업해주자

csv파일엔 위와같이 Adj.Close, Adj.Volume 데이터가 매일마다 기록되어있다. 

이 두 컬럼의 내용을 한 챠트에 그래프로 그려보도록하자.

어떤가? 이상한가? 왜 하나만 보이는가? (궁예 말투로... --;;) 

그렇다. 하나의 데이터가 하나의 데이터에 가려지고 있는 현상이 생기는 것이다.

이런 일을 피하기 위해서 하나의 데이터만 선택하여 그래프로만들어보도록하자.

물론 데이터를 만들 때,꼭 figsize를 조절하여 적절한 모양으로 보이게 하는 것을 잊지 말자.

아까전보다 좀 나아졌다. 챠트를 해석해 보면 2007년도에 무슨 일이 발생했던 것만 같다. 이게 무슨일이지?

하지만 모든 데이터를 historical하게 보여주고 있어서 특정 일자만을 상세하게 볼 수 없어 답답하다.

그래, 이럴 때를 위해서 xlim과 ylim을 사용하는 것이다.

이전 장에서 배웠던 xlim함수와 ylim함수를 활용하자.

너무 ylim을 높였나보다 조금더 사실적으로 보이도록 몇가지 customization을 해보자.

ylim을 조절하고, linespace와 color를 조절해보았다.

어떤가? 조금 더 나아 보이는가??

동일한 방법으로 xlim과 ylim 를 설정하지 말고 , 명시적으로  2007-01-01과 2007-05-01까지의 index를 뽑아서 만들어 줄 수도 있다. 

일단 날짜만 한 번 뽑아보면 다음과 같다.

정상적으로 된 것같으니 해당하는 날짜의 Adj. Close까지 뽑아보자.

감이 왔는지 모르겠다. 일단 이렇게 해서 plot_date에 맞춰서 작성해보면 다음과 같다.

뭔가 점으로만 찍혀서 있어서 이쁘지 않은 것을 확인할 수 있다.

이를 피하기 위하여 좀더 이쁘게 선으로 연결해보자. 

좀 적당히 보인다. 근데 또 맘에 안드는 화면이 보인다. 각 챠트에서 년/월등 시간이 겹쳐 보이는 것이 확인된다.

이때, autofmt_xdate()를 쓰면, 자기가 알아서 시간에 맞추어 indentation 해준다. (대박 기능중 하나)

따라서 fig.autofmt_xdate()와 plt.tight_layout() 함수는 항상 맨 아래쪽 코드에 자리하고 있어야 한다.

깔끔해진 것을 발견할 수 있다.

챠트에 그리드(grid)도 넣고 뺄 수 있다.

yaxis.grid(), xaxis.grid() 두가지 함수를 통해 각 축별 그리드를 추가/삭제할 수 있다.

마지막으로 Major, Minor를 통해 챠트를 이쁘게 만들어보도록 하겠다.

• ax.xaxis.set_major_locator
• ax.xaxis.set_major_formatter
• ax.xaxis.set_minor_locator
• ax.xaxis.set_minor_formatter

Bonus!

아래와 같은 챠트로 변신한다. 

다양한 키들을 제공한다. 엥간한 컴포넌트보다 높은 수준의 기능을 제공한다.

특정 화면으로 이동도 가능하다.

특정부분의 확대도 가능하다.

  -> 

지금까지 pandas를 통한 데이터 visualization을 알아보았다.

다음장에서는 외부에서 실시간 데이터를 가져오면서 챠트를 갱신하는 기능을 보여주도록 하겠다.

혹시 블로그 보다가 궁금한 내용 있으면 물어보세요. 누가 이 블로그 글을 볼런지는 모르겠지만.. --;;

Pandas에 대해 알아보도록 하자.

Imports 

Style Sheets

hist함수를 통해 표현할 수 있다. 굉장히 편하다.

물론 plot함수로도 동일한 방법으로 표현도 되고.. 다른 방식으로도 가능하다. 

Plot Type에 대해 보도록하자

Plot은 아래와 같이 여러가지 타입을 제공한다.

• df.plot.area
• df.plot.barh
• df.plot.density
• df.plot.hist
• df.plot.line
• df.plot.scatter
• df.plot.bar
• df.plot.box
• df.plot.hexbin
• df.plot.kde
• df.plot.pie

자 다시 df2를 한번 확인해보도록 하자. 한 번씩 확인해보면 다음과 같다.

Area와 Bar

사실 df2 파일은 index가 10까지로 구성되어 있다.

따라서 그냥 데이터를 표시하는 것도 좋지만 뭔가 의미 있게 보는 방법도 필요하겠지.

Barplot 

plot.bar(stacked=True)

이뿐만이 아니다. figsize를 통하여 챠트의 크기를 변경하고, 특정 그래프만 보여줄 수도 있으며,

Line Plot과 Scatter Plot

한편 심도를 표기할 때 윗처럼 보이면 뭐가 중요한지 차이점을 구분할 수가 없다. 

그때, cmap등의 값을 활용하여 다음과 같이 매우 잘 활용할 수 있다.

BoxPlot

Hexagonal Bin Plot

Kernel Density Estimation Plot(KDE)

여러개를 동시에 진행할 수도 있다.

이 정도만 보면 일단 Pandas 가지고 Visualization을 하는 기본정도는 알고 있네... 라고 생각할 수 있겠다.

특히 matplotlib를 사용하는 것보다 훨씬 사용하기 쉽다는 것이 느껴졌을 것이다~!!! 즉 엥간하면 pandas를 쓰자~ 라고 생각하면 되겠다~

다음편에는 조금더 상세한 Pandas 응용편을 소개하도록 하겠다.!

Matplotlib을 상세히 다뤄보도록 하자.

들어가기전에

그렇게 입력하고 shit + tab을 눌러보면..

아래와 같은 결과를 확인할 수 있다.

몇가지 기능을 하나씩 소개하겠다.

Funtional로 구현하는 방식

xlabel, ylabel, title  

즉, 실행하면 다음과 같이 만들 수 있겠다.

헌데 그래프를 작성할 때, 그냥 하나만 작성해서 보여줄 일은 실상 별로 많지 않다.

비교표로 두 개의 그래프를 동시에 작성하던지, 아예 두개의 차트로서 표현을 해야할 때가 있다.

subplot 함수

plot 함수

Object Oriented로 구현하는 방식

기본적으로 fig = plt.figure() 후 axes = fig.add_axes([.1, .1, .8, .8])은 암기하자

아래와 같이 두개의 챠트를 중복해서 그릴 수도 있다. 

( 옛날에 이런 거 한 번 그릴려면 정말 난리가 났었다. 옛날 activeX 컴포넌트에서는 저것을 그릴 수 있는 유료콤포넌트가 없어서 외주 고객에게 정말 많이 깨졌었는데.. 이런 게 무료라니.. 이런 게 이렇게 쉽게 구현된다니.. 정말 기가 차다. 하긴 벌써 15년전 이야기니까... )

fig.add_axes함수

혹시나 이해가 안될까봐 하나씩 바꾸면서 작성을 해보았다. 이래도 이해가 안가면 나도 난감해질 수 있다.

복합편

쪼개기

tight_layout 함수

Size와 DPI 조절

Legend의 활용

legend함수

또한 상대수치를 입력하여 옮길 수도 있다. 어쩔대는 아예 외부에다가 둘때 더 이쁘더라.

Plot 모양새 바꾸기 정리

수치 변경에 따른 결과는 아래 챠트의 내용과 같다. 총정리랄까...

축의 모양 변경

set_xlim함수, set_ylim함수

그이외의 방법들

scatter함수

hist함수

여기까지 Matplotlib를 활용하여 챠트를 만들어 보는 방법을 정리해보았다.

이외에도

간략하게 정리해보았는데, 어땠는지 모르겠다.

궁금한 사항있으면 언제든지 댓글 남겨주세요. 감사합니다.

Matplotlib은 python 2D plotting library로서 png, jpg등의 파일 형식으로 이미지를 생성해주는, cross platform의 라이브러리이다.

Matplotlib를 통해 무엇을 만들 수 있냐면, plot, histogram, power spectra, bar chart, error chart, scatterplot 등등을 매주 적은 코드만을 가지고 만들 수가 있다. 

Python에서 

최고로 유용하고 강력한 !!!

Visualization 라이브러리라는 것을 잊지 말자!!!

사실 Matlab의 plotting 기능을 베낀 거...

상세정보는 https://matplotlib.org에

Matplotlib는 https://matplotlib.org 에서 자세한 내용을 확인할 수 있다. 특히 gallery에서 내가 원화는 화면을 클릭하면 어떻게 구현할 수 있는지에 대한 코드가 나와 있는데, 굉장히 유효하다.

갤러리는 꼭 들어가보자

 

 

사람들이 matplot을 별로 안좋아하는 이유

그럼 함 진행해보자!