import pandas as pd
df_last = pd.read_csv("data/주택도시보증공사_전국 평균 분양가격(2019년 12월).csv", encoding="cp949", engine="python")
#encoding으로 한글 깨지는걸 방지 
# engine은 파이썬 
df_last.shape
 

df_last.head()

df_last.tail()
# NaN는 결측치

#%ls data
df_first = pd.read_csv("data/전국 평균 분양가격(2013년 9월부터 2015년 8월까지).csv", 
                       encoding="cp949")
df_first.shape

df_first.head()

df_first.tail()

df_last.info()
# 분양가격은 결측치도 있고 object형으로 되어있다.

df_last.isnull()
# null값은 true 

# 결측치 수 구하기
df_last.isnull().sum()

# object인 분양가격을 float형태로 바꿔주기(새로운 분양가격 칼럼을 만들어줌)
df_last["분양가격"] = pd.to_numeric(df_last["분양가격(㎡)"], errors='coerce')

df_last.info()

# df_last 분양가격에 3.3을 곱해서 평당분양가격을 맞추어주기
df_last["평당분양가격"] = df_last["분양가격"] * 3.3

df_last.head()

df_last.info()

# object형 describe
df_last["분양가격(㎡)"].describe()
#df_last.shape

# float형 describe
df_last["분양가격"].describe()

df_last["규모구분"].unique()

df_last["전용면적"] = df_last["규모구분"].str.replace("전용면적", "") 
# 앞에 전용면적 text가 사라진다. > 칼럼명 전용면적을 만든다.
df_last["전용면적"] = df_last["전용면적"].str.replace("초과","~")
# 초과text가 사라지고 ~을 넣어준다.
df_last["전용면적"] = df_last["전용면적"].str.replace("이하","")
#이하 text가 사라진다.
df_last["전용면적"].str.replace(" ", "").str.strip() 
# " "을 ""으로 바꾸고 strip을 써서 앞 뒤 공백을 없애기

df_last

# 규모규분, 분양가격(㎡) 칼럼을 없애기 drop이용 
df_last = df_last.drop(["규모구분","분양가격(㎡)"], axis=1)
#axis=1로 해야지 칼럼이 제거된다.(중요) 기본값이 0이다.

df_last

# 지역명이 같은거끼리 묶고, 평당분양가격의 평균값을 계산한다.
df_last.groupby(["지역명"])["평당분양가격"].mean()

# 전용면적 묶고, 평당분양가격의 평균값을 계산한다.
df_last.groupby(["전용면적"])["평당분양가격"].mean()

df_last.groupby(["지역명","전용면적"])["평당분양가격"].mean()
# 처음에 지역명으로 묶고, 두번째로 전용면적으로 묶는다.

df_last.groupby(["지역명","전용면적"])["평당분양가격"].mean().unstack()
# unstack을 이용하면 두번째로 있는 전용면적이 칼럼값으로 간다.

df_last.groupby(["지역명","전용면적"])["평당분양가격"].mean().unstack().round()
# round를 이용하면 소수점 한자리로 바꿀 수 있다.

#연도,지역명으로 평당분양가격 평균 구하기
g = df_last.groupby(["연도","지역명"])["평당분양가격"].mean()
g

df_last.groupby(["연도","지역명"])["평당분양가격"].mean().unstack().T
#unstack으로 지역명을 칼럼으로 보내고, T(transpose)로 칼럼과 행값을 바꿔준다.

#aggfunc으로 mean, sum같은 계산이 가능하다.
pd.pivot_table(df_last, index=["지역명"], values=["평당분양가격"], aggfunc="mean")

# 전용면적 그룹으로 평당분양가격 평균 구하기
pd.pivot_table(df_last, index="전용면적", values="평당분양가격", aggfunc="mean")

# 지역명,전용면적 그룹으로 평당분양가격 평균 구하기
df_last.pivot_table(index=["전용면적","지역명"], values="평당분양가격", aggfunc="mean")

# 지역명,전용면적 그룹으로 평당분양가격 평균 구하기 (unstack으로 지역명 칼럼으로가게하기)
df_last.pivot_table(index="전용면적",columns="지역명", values="평당분양가격", aggfunc="mean").round()

# 연도, 지역명으로 평당분양가격으로 평균 구하기

p = pd.pivot_table(df_last, index=["연도","지역명"], values="평당분양가격")

p.loc[2017] # loc는 행을 기준으로 가져온다.
# 2017년 데이터만 볼 수 있다.

#지역명으로 분양가격의 평균 구하고 선그래프

#한글 폰트 사용하기 

import matplotlib.pyplot as plt
plt.rc("font", family="Malgun Gothic")

g = df_last.groupby(["지역명"])["평당분양가격"].mean().sort_values(ascending=False)
#sort_values는 기본값 오름차순
#ascending=False는 내림차순
#g.plot(kind="bar")
g.plot.bar(rot=0, figsize=(10, 3))
#rot=0 글씨 똑바로 보기

#전용면적당 평당분양가격
df_last.groupby(["전용면적"])["평당분양가격"].mean().plot.bar(rot=0)

# 연도별 분양가격의 평균 막대그래프
df_last.groupby(["연도"])["평당분양가격"].mean().plot()

# boxplot으로 연도별 평당분양가격 확인
df_last.pivot_table(index="연도", values="평당분양가격").plot.box()

# 연도에 따른 전용면적
df_last.pivot_table(index="월", columns="연도", values="평당분양가격").plot.box()

p = df_last.pivot_table(index="월", columns=["연도","전용면적"], values="평당분양가격")
p.plot.box(figsize=(15, 3), rot=30)

p.plot.bar(figsize=(15, 3), rot=30)

p = df_last.pivot_table(index="연도", columns="월", values="평당분양가격")
p.plot.line(figsize=(15, 3), rot=30)
#분양가가 꾸준히 상승한것을 알 수 있다.

# seaborn으로 시각화

import seaborn as sns

plt.figure(figsize=(10,3))
sns.barplot(data=df_last, x="지역명", y="평당분양가격", #기본값 평균
           ci = None) # ci는 신뢰구간,sd= 표준편차, 기본값 95

#barplot으로 연도별 평당분양가격 그리기

sns.barplot(data=df_last, x="연도", y="평당분양가격")

# linplot으로 연도별 평당분양가격 그리기
plt.figure(figsize=(10,3))
sns.lineplot(data=df_last, x="연도", y="평당분양가격", hue="지역명")
#hue로 지역명에 따라 다른색으로 표현
#legend(범례값을 밖에 그리는 법)
plt.legend(bbox_to_anchor=(1.02, 1), loc=2, borderaxespad=0.)

#relplot는 col, coloption을 쓸 수 있다.
sns.relplot(data=df_last, x="연도", y="평당분양가격", 
            kind="line", hue="지역명", col="지역명", col_wrap=4, ci=None)
#col_wrap 4줄씩 지역명에 따라 그래프를 그려준다.
# relplot는 기본값 scatter이다.

#catplot으로 그리기 col, col_wrap 가능하다.
sns.catplot(data=df_last, x="연도", y="평당분양가격", 
           kind="bar", ci=None, col="지역명", col_wrap=4)

#boxplot과 violinplot

sns.boxplot(data=df_last, x="연도", y="평당분양가격")

# hue옵션을 주어 전용면적별로 다르게 표시해 보기
plt.figure(figsize=(12, 3))
sns.boxplot(data=df_last, x="연도", y="평당분양가격", hue="전용면적")

# 연도별 평당분양가격을 violinplot으로 그려보기

sns.violinplot(data=df_last, x="연도", y="평당분양가격")
# 데이터가 어디에 많은지 파악할 수 있다.

# lmplot과 swarmplot

sns.lmplot(data=df_last, x="연도", y="평당분양가격", hue="전용면적", 
           col="전용면적", col_wrap=3, x_jitter=.1)

# 연도별 평당분양가격을 swarmplot 으로 그려보기
# swarmplot은 범주형(카테고리) 데이터의 산점도를 표현하기에 적합
#plt.figure(figsize=(15, 3))
#sns.swarmplot(data=df_last, x="연도", y="평당분양가격", hue="전용면적")

#이상치 보기 

df_last["평당분양가격"].describe()

max_price = df_last["평당분양가격"].max()
max_price

df_last[df_last["평당분양가격"] == max_price]

h = df_last["평당분양가격"].hist(bins=10) # bins는 몇개의 구간에 담을것인가?

# 결측치 없는 데이터 가져오기 loc이용
price = df_last.loc[df_last["평당분양가격"].notnull(),"평당분양가격"]

price

# distplot으로 평당 분양가격을 표현

sns.distplot(price, hist=False, rug=True)

# subplot 으로 표현해보기 (산마루)
#g = sns.FacetGrid(df_last, row="지역명",
#                  height=1.7, aspect=4,)
#g.map(sns.distplot, "평당분양가격", hist=False, rug=True);

# pairplot
df_last_notnull = df_last.loc[df_last["평당분양가격"].notnull(),
                              ["연도","월","평당분양가격","지역명","전용면적"]]
sns.pairplot(df_last_notnull, hue="전용면적")

#전용면적 별로 value_counts를 사용하여 데이터를 집계

df_last["전용면적"].value_counts()

pd.options.display.max_columns = 100 # 칼럼 전체보기
df_first.head()

# 결측치 확인
df_first.isnull().sum()
# 0이면 결측치가 없는것

df_last.head()

# melt로 데이터형태를 바꿔서 같은 형태로 만들어주기
df_first_melt = df_first.melt(id_vars="지역", var_name="기간", value_name="평당분양가격")
# 지역만 칼럼으로 쓰고 나머지는 행으로 녹인다.
# var_name으로 variable 칼럼이름을 바꿔준다.
# value_name으로 평당분양가격으로 아름 바꿔줌
df_first_melt.head()

df_first_melt.columns = ["지역명", "기간", "평당분양가격"]
# columns로 칼럼이름 변경
df_first_melt.head()

# 기간에 있는 연도, 월을 빼고 칼럼으로 만들기

#년도 반환 함수
def parse_year(date):
    year = date.split("년")[0] # 년기준 앞
    year = int(year) # object를 int로 바꿔줌
    
    return year

date = "2013년12월"


parse_year(date)

#월 반환 함수
def parse_month(date):
    month = date.split("년")[-1].replace("월", "") # 년기준 맨 뒤
    month = int(month) # object를 int로 바꿔줌
    
    return month

parse_month(date)

df_first_melt["연도"] = df_first_melt["기간"].apply(parse_year) # 앞에서만든 parse_year함수 적용(apply)
df_first_melt.head()

df_first_melt["월"] = df_first_melt["기간"].apply(parse_month)
df_first_melt.head()

df_last[df_last["전용면적"] == "전체"]
#불리언인덱싱으로 전용면적이 전체인것만 가져오기

df_last.columns.to_list()
#리스트형태로 바꾸기

cols = ['지역명', '연도', '월', '평당분양가격']
# 필요한 칼럼만 뽑기

df_last_prepare = df_last.loc[df_last["전용면적"] == "전체",
                              cols].copy()
# 필요한 칼럼만저장
df_last_prepare

df_first_prepare = df_first_melt[cols].copy()
df_first_prepare.head()

# concat으로 두개의 데이터를 합치기

df = pd.concat([df_first_prepare, df_last_prepare])
df

#df.shape

df.shape

df["연도"].value_counts(sort=False)

#연도를 인덱스로, 지역명을 컬러믕로 평당분양가격을 피봇테일블로
t = pd.pivot_table(df, index="연도", columns="지역명",
               values="평당분양가격").round()

t

plt.figure(figsize=(15, 7))
sns.heatmap(t, cmap="Blues", annot=True, fmt=".0f") 
# cmap으로 색 지정
# annot으로 수치 표현
#fmt로 수치가 잘보이게 표현(소수점 없이)
#서울이 가장 높다.

# T는 transpose로 행과 열을 바꿔준다.
#t.T 
t.transpose()

plt.figure(figsize=(15, 7))
sns.heatmap(t.T, cmap="Blues", annot=True, fmt=".0f") 

g = df.groupby(["연도","지역명"])["평당분양가격"].mean().unstack().round()
# unstack이용하면 마지막 인덱스값이(지역명) 칼럼으로 간다
#round는 소수점 1자리 까지

plt.figure(figsize=(15, 7))
sns.heatmap(g.T, annot=True, fmt=".0f", cmap="Greens")
#fmt=".0f" 소수점 없이 표현

# barplot으로 연도별 평당분양가격 그리기

sns.barplot(data=df, x="연도", y="평당분양가격", ci=None)

# pointplot으로 연도별 평당분양가격 그리기
plt.figure(figsize=(12, 4))
sns.pointplot(data=df, x="연도", y="평당분양가격", hue="지역명")
# 범례(legend) 밖으로 빼기
plt.legend(bbox_to_anchor=(1.02, 1), loc=2, borderaxespad=0.)

# 서울만 barplot으로 그리기
df_seoul = df[df["지역명"] == "서울"].copy()
#df_seoul.shape

sns.barplot(data=df_seoul, x="연도", y="평당분양가격")
sns.pointplot(data=df_seoul, x="연도", y="평당분양가격")

#연도별 평당분양가격 boxplot 그리기
sns.boxplot(data=df ,x ="연도", y="평당분양가격")

#연도별 평당분양가격 boxenplot 그리기
sns.boxenplot(data=df ,x ="연도", y="평당분양가격")

#연도별 평당분양가격 violinplot 그리기
plt.figure(figsize=(10, 4))
sns.violinplot(data=df ,x ="연도", y="평당분양가격")

#연도별 평당분양가격 lmplot 그리기
plt.figure(figsize=(10, 4))
sns.lmplot(data=df ,x ="연도", y="평당분양가격", x_jitter=.1)

# barplot으로 지역별 평당분양가격을 그리기

plt.figure(figsize=(12, 4))
sns.barplot(data=df, x="지역명", y="평당분양가격")

# boxenplot으로 지역별 평당분양가격을 그리기

plt.figure(figsize=(12, 4))
sns.boxenplot(data=df, x="지역명", y="평당분양가격")

# violinplot으로 지역별 평당분양가격을 그리기

plt.figure(figsize=(24, 4))
sns.violinplot(data=df, x="지역명", y="평당분양가격")