단순회귀모형_단순회귀분석(1/2부)

 

단순회귀모형_단순회귀분석(1/2부)

 

: 방통대 '회귀모형' 수업을 들으며 '단순회귀모형'/'단순회귀분석'에 대해서 정리하고자 함

: Scikit-learn이나 stats에 있는 회귀 모델에 기술적 활용이 아니라 통계적 원리를 더 깊게 알아보고자 함

: 본 포스팅은 방통대 회귀모형 수업 강의와 교재 '회귀모형'을 참고함

 

회귀모형 참고 교재

book.naver.com/bookdb/book_detail.nhn?bid=10963375

회귀모형

 

 

1. 회귀분석이란?

 

: 어떤 현상에 대해서 원인과 결과에 관계를 파악하기 위해 사용하는 분석 방법

: 회귀 분석에서는 원인을 보통 '독립변수', '설명변수'라 표현하며 결과를 '종속변수', '반응변수'라 명명함

: 독립변수들과 종속변수들 간의 함수관계를 규명하는 통계적인 분방법을 '회귀분석'이라 함

 

---

회귀분석/회귀모형

---

 

 

2. 단순회귀모형

 

: 이번 포스팅에서는 회귀모형 중 '단순회귀모형'에 대해서 소개하고자 함

: 일반적인 사회문제나 현상에 대한 원인은 다수인 경우가 많지만 독립변수 1개, 종속변수 1개인 모형을 단순회귀모형이라 함

: 두 변인간의 관계를 살펴보기 위해 가장 먼저 해야하는 일은 산점도를 살펴봐야 함

: 단순회귀모형에 대한 쉬운 설명을 위해 광고비와 매출액에 대한 데이터로 활용

 

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

x=[4.2,8.5,9.3,7.5,6.3,12.2]
y=[9.3,18.5,22.8,17.7,14.6,27.9]

df = pd.DataFrame([x,y]).T
df.columns =['광고비','매출액']
plt.scatter(data=df,x='광고비',y='매출액')

---

광고비와 매출액 산점도

---

 

 

: 위 산점도를 살펴보면 광고비와 매출액의 관계가 우 상향하는 직선의 형태를 보이고 있음

: 즉 광고비가 증가하면 매출액 또한 같이 증가하는 양의 선형 관계를 보임

: 이를 두 변수간 적합모형으로 표현하면 다음 수식과 같음

 

---

단순회귀모형

---

 

 

: 위 모형 (1,1)을 단순회귀모형(simple regression model)이라고 함

: 단순이라는 말은 모형의 회귀계수로 볼 때 선형(linear in the regression coefficients)이며, 독립변수로 볼 때도 선형(linear in the independent variable)이며, 독립변수가 하나인 것을 의미

:  회귀모형이 성립하기 위해서 기본 4가지 가정은 다음과 같음

  (원 가정들은 오차항이 주체이지만 실제 분석에서는 표본집단을 모집단이라 가정하여 잔차를 가지고 이를 판단함)

1) 선형성 (독립변수와 종속변수간의 선형성)

2) 등분산성 (오차항/잔차의 분산이 등분산 가정) 

3) 독립성 (종속변수 y의 오차항들은 서로 독립, 오차항의 공분산=0)

4) 정규성 (오차항의 평균=0)

 

 

3. 회귀선의 추정

 

: 모형식 (1.1)을 추정하여 얻은 직선은 다음과 같음

: 여기서 b0, b1은 추정값이며, ^Y는 주어진 X에서의 기대값 E(Y)의 추정값

: b0은 절편이라 하며, b1은 기울기라 함

 

 

---

회귀선

---

 

 

: 위에 표현된 b0, b1을 구하기 위한 방법으로 '최소제곱법(method of least squares)'을 사용

: 아래 그림에 표현된 편미분 공식을 통해 b0, b1을 계산할 수 있음

 

---

최소제곱법을 이용한 b0,b1 계산 공식

---

 

 

---

본 포스팅이 도움이 되셨다면, 아래 광고 클릭 한번 부탁드립니다.

(더 좋은 포스팅을 쓸 수 있도록 커피 한잔의 도움 부탁드립니다)

 

 

---