집 값 예측 분석...1

명목형 데이터 변환 및 히트맵의 자세한 내용은 3장에서 다룰 예정

습작(연구중)

!pip install pandas
!pip install numpy
!pip install matplotlib
!pip install seaborn
!pip install sklearn

import pandas as pd 
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import LabelEncoder
# 1. train.csv : 학습 데이터
# id : 데이터 고유 id
# OverallQual : 전반적 재료와 마감 품질
# YearBuilt : 완공 연도
# YearRemodAdd : 리모델링 연도
# ExterQual : 외관 재료 품질
# BsmtQual : 지하실 높이
# TotalBsmtSF : 지하실 면적 
# 1stFlrSF : 1층 면적 
# GrLivArea : 지상층 생활 면적
# FullBath : 지상층 화장실 개수 
# KitchenQual : 부억 품질 
# GarageYrBlt : 차고 완공 연도
# GarageCars: 차고 자리 개수
# GarageArea: 차고 면적 
# target : 집값(달러 단위)

data=pd.read_csv('/content/drive/MyDrive/집값예측분석/train.csv')

data.drop('id',axis=1,inplace=True)

data

# 데이터를 가져온 뒤 결측치 확인은 필수다
def check(data):
    mcol = []
    for col in data.columns:
        mv = sum(data[col].isna())
        is_missing = True if mv >= 1 else False
        if is_missing:
            print(f'결측 {col}')
            print(f'{mv} 개')
            mcol.append([col, data[col].dtype])
    if mcol == []:
        print('x')
    return mcol

mcol = check(data)

data.describe()

data.info()

# 먼저 상관계수 계산을 위해 텍스트 형식의 데이터를 숫자로 변환해줌.
from sklearn.preprocessing import LabelEncoder

corr_df = data.copy()
corr_df[corr_df.columns[corr_df.dtypes=='O']] = corr_df[corr_df.columns[corr_df.dtypes=='O']].astype(str).apply(LabelEncoder().fit_transform)
corr_df['Exter Qual']
## 상관관계를 분석해보면 반비례적 요소가 많음 
이 부분은 sklearn을 통해 제대로 된 수치화가 이루어지지 않았다고 생각함.

 

#상관관계 분석도 이게 데이터 분석하는데에 제일 유용한 시각화가 아닌가 싶다
plt.figure(figsize=(15,10))

heat_table = corr_df.corr()
mask = np.zeros_like(heat_table)
mask[np.triu_indices_from(mask)] = True
heatmap_ax = sns.heatmap(heat_table, annot=True, mask = mask, cmap='coolwarm')
heatmap_ax.set_xticklabels(heatmap_ax.get_xticklabels(), fontsize=15, rotation=45)
 # 글자 기울이기 및 폰트사이즈 각도는 반시계 방향
heatmap_ax.set_yticklabels(heatmap_ax.get_yticklabels(), fontsize=15)
plt.title('correlation between features', fontsize=40)
plt.show()

# sns.heatmap 에 대한 전반적인 지식이 부족 서치가 필요...