[인공지능] 회귀분석

https://techscript24.com/how-to-start-with-numpy-for-beginners/

---

 

회귀 분석은 데이터간의 상관관계 모형을 구해서 데이터를 해석하거나 예측하는 기법을 의미한다. 간단한 예로는 들어 다음과 같은 데이터를 통과하는 직선을 찾는 기법이 있다.

import numpy as np 
import matplotlib.pyplot as plt

 

a = np.array([1,3,5,7,9])

물론 점들이 정확히 직선에 위치되어있다면 이는 매우 쉬운 문제일 것이다. 하지만 실제 데이터는 노이즈를 포함하여 복잡한 형태를 띄고 있기 때문에 이러한 데이터의 경향성을 파악하는 것은 결코 쉬운 일이 아니다.

다음과 같은 데이터를 생각해보자

 

b = a + np.random.normal(0,1,5)

위의 데이터에 정규분포 평균0, 편차1의 노이즈를 포함한 데이터를 포함한 경우이다. 위에서 다룬 직선은 분명 이번 데이터의 경향성도 어느정도 잘 다루고 있다. 하지만 이것이 얼마나 잘 표현한다고 볼 수 있는가?

 

위의 경우는 직선을 통해 표현된 모델과 실제 데이터의 오차를 통해 측정한다. 특히 이와 같이 데이터간의 상관관계를 연속된 선형관계로 해석하는 기법을 선형회귀분석이라고 한다.

 

a = np.array([1,3,5,7,9])
b = a + np.random.normal(0,1,5)
plt.plot(b,'o')
plt.plot(a)
plt.show()

 

 

 

 

선형 회귀분석의 기초

앞선 예제의 경우는 가장 오차가 적은 직선을 찾은 경우로서 이러한 직선은 x 의 1차항만을 ( x 제곱 이상은 무시 ) 포함한 모델을 의미한다. (2차항이 끼면 구부러지기 시작 ) 이러한 경우를 선형 단순 회귀분석이라 칭한다.

먼저 회귀분석을 위한 가장 단순한 형태의 데이터를 생성해보자

 

import numpy as np
import matplotlib.pyplot as plt

x = np.array([1,2,3])
y = np.array([2,4,6])
plt.ylim(0,10)
plt.xlim(0,5)
plt.plot(x,y,'o')
plt.show()

 

이는 y = x * 2 의 가장 단순한 형태의 데이터 배치이며이때 오차를 최소화하는 직선 모델은 y = x * 2 이다. 이를 얻기 위해서 여기서는 sklearn 라이브러리의 linear_model 을 사용하도록 하겠다.

 

from sklearn import linear_model 
regr = linear_model.LinearRegression()

위의 모델은 regr 은 선형 회귀분석을 수행할 수 있는 객체이며 fit 이라는 메소드를 통해 회귀분석을 수행한다. 그러면 이를 수행해보자.

 

회귀분석에서 x 는 하나이상의 변수를 가정한다. 변수가 하나인 [1,2,3] 이라면 이 형태로도 괜찮겠지만 [3,4,5] 가 포함될 경우 [[1,2], [2,4], [3,5]] 이런 식으로 입력되는 경우를 가정해서 설계되어있다.

그러므로 [1,2.3] 이 아니라

[[1],
 [2],
 [3]] 

의 형태가 되어야 하며 이는 (1,3) 의 배열을 (3,1) 로 바꾸어주어야만 함을 의미한다. 이 경우 reshape 를 사용하면 쉽게 변환이 가능하다.

 

coef_ : 상관계수

plt.ylim(0,10)
plt.xlim(0,5)
plt.plot(x,y, 'o')
plt.plot(x, x * regr.coef_)

 

연습 : 회귀분석 직접 해보기

다음의 x, y 에 대해 회귀분석을 한 후에 그래프로 출력해보자.

 

x = np.array([1,2,3,4])
y = np.array([1.5, 3, 4.5, 6])

 

x = np.array([1,2,3,4])
y = np.array([1.5, 3, 4.5, 6])
# 연습문제의 코드를 작성하세요
regr.fit(x.reshape(4,1),y)
plt.plot(x,y,'o')
plt.plot(x,x * regr.coef_)
plt.show()

 

intercept_ : 상수항

이번엔 다음과 같은 데이터를 보자

 

x = np.array([1,2,3])
y = np.array([3,5,7])
plt.ylim(0,10)
plt.xlim(0,5)
plt.plot(x,y,'o')

plt.show()

 

위의 데이터를 앞의 예제와 같이 처리하면 다음과 같은 결과가 나온다.

x = np.array([1,2,3])
y = np.array([3,5,7])
regr.fit(x.reshape(3,1), y)
plt.ylim(0,10)
plt.xlim(0,5)
plt.plot(x, y, 'o')
plt.plot(x, x * regr.coef_)

앞의 예제와 같이 기울기 .. 즉 상관계수는 2 지만 3,5,7 은 여기에 다시 1을 더해준 값이다. 요컨데 두 값의 관계는 다음과 같다.

y = x * 2 + 1 

2 라는 x 의 1차항 계수에 추가로 1이라는 상수항을 지닌 식이다. 이 상수항의 값은

  regr.intercept_

으로 저장된다.

 

연습 : 상수항을 포함 그래프 그리기

위의 x,y 에 대해 regr.coef_ 와 regr.interceipt_ 까지 포함해 다음과 같은 직선을 그려보자.

 

 

x = np.array([1,2,3])
y = np.array([3,5,7])
regr.fit(x.reshape(3,1), y)
plt.ylim(0,10)
plt.xlim(0,5)
# 연습문제의 코드를 작성하세요
plt.plot(x,y,'o')
plt.plot(x,x * regr.coef_+ regr.intercept_)
plt.show()

 

 

import numpy as np 
import matplotlib.pyplot as plt 

 

회귀분석

회귀 분석은 데이터간의 상관관계 모형을 구해서 데이터를 해석하거나 예측하는 기법을 의미한다. 간단한 예로는 들어 다음과 같은 데이터를 통과하는 직선을 찾는 기법이 있다.

a = np.array([1,3,5,7,9])

물론 점들이 정확히 직선에 위치되어있다면 이는 매우 쉬운 문제일 것이다.

하지만 실제 데이터는 노이즈를 포함하여 복잡한 형태를 띄고 있기 때문에 이러한 데이터의 경향성을 파악하는 것은 결코 쉬운 일이 아니다.

다음과 같은 데이터를 생각해보자.

 

b = a + np.random.normal(0,1,5)

 

위의 데이터에 정규분포 평균0, 편차1의 노이즈를 포함한 데이터를 포함한 경우이다. 위에서 다룬 직선은 분명 이번 데이터의 경향성도 어느정도 잘 다루고 있다. 하지만 이것이 얼마나 잘 표현한다고 볼 수 있는가?

위의 경우는 직선을 통해 표현된 모델과 실제 데이터의 오차를 통해 측정한다. 특히 이와 같이 데이터간의 상관관계를 연속된 선형관계로 해석하는 기법을 선형회귀분석이라고 한다.

a = np.array([1,3,5,7,9])
b = a + np.random.normal(0,1,5)
plt.plot(b,'o')
plt.plot(a)
plt.show()

선형 회귀분석의 기초

앞선 예제의 경우는 가장 오차가 적은 직선을 찾은 경우로서 이러한 직선은 x 의 1차항만을 ( x 제곱 이상은 무시 ) 포함한 모델을 의미한다. (2차항이 끼면 구부러지기 시작 ) 이러한 경우를 선형 단순 회귀분석이라 칭한다.

먼저 회귀분석을 위한 가장 단순한 형태의 데이터를 생성해보자

 

 

 

import numpy as np
import matplotlib.pyplot as plt

 

x = np.array([1,2,3])
y = np.array([2,4,6])
plt.ylim(0,10)
plt.xlim(0,5)
plt.plot(x,y,'o')
plt.show()

 

 

 

이는 y = x * 2 의 가장 단순한 형태의 데이터 배치이며이때 오차를 최소화하는 직선 모델은 y = x * 2 이다. 이를 얻기 위해서 여기서는 sklearn 라이브러리의 linear_model 을 사용하도록 하겠다.

sklearn.linear_model 사용법

 

from sklearn import linear_model 

regr = linear_model.LinearRegression()

 

위의 모델은 regr 은 선형 회귀분석을 수행할 수 있는 객체이며 fit 이라는 메소드를 통해 회귀분석을 수행한다. 그러면 이를 수행해보자.

 

회귀분석에서 x 는 하나이상의 변수를 가정한다. 변수가 하나인 [1,2,3] 이라면 이 형태로도 괜찮겠지만 [3,4,5] 가 포함될 경우 [[1,2], [2,4], [3,5]] 이런 식으로 입력되는 경우를 가정해서 설계되어있다.

 

그러므로 [1,2.3] 이 아니라

[[1],
 [2],
 [3]] 

의 형태가 되어야 하며 이는 (1,3) 의 배열을 (3,1) 로 바꾸어주어야만 함을 의미한다. 이 경우 reshape 를 사용하면 쉽게 변환이 가능하다.

 

 

coef_ : 상관계수

plt.ylim(0,10)

plt.xlim(0,5)

plt.plot(x,y, 'o')

plt.plot(x, x * regr.coef_)

 

연습 : 회귀분석 직접 해보기

다음의 x, y 에 대해 회귀분석을 한 후에 그래프로 출력해보자.

x = np.array([1,2,3,4])
y = np.array([1.5, 3, 4.5, 6])

 

 

 

x = np.array([1,2,3,4])

y = np.array([1.5, 3, 4.5, 6])

# 연습문제의 코드를 작성하세요

regr.fit(x.reshape(4,1),y)

plt.plot(x,y,'o')

plt.plot(x,x * regr.coef_)

plt.show()

 

 

intercept_ : 상수항

이번엔 다음과 같은 데이터를 보자

 

 

x = np.array([1,2,3])

y = np.array([3,5,7])

plt.ylim(0,10)

plt.xlim(0,5)

plt.plot(x,y,'o')

 

plt.show()

 

위의 데이터를 앞의 예제와 같이 처리하면 다음과 같은 결과가 나온다.

 

x = np.array([1,2,3])

y = np.array([3,5,7])

regr.fit(x.reshape(3,1), y)

plt.ylim(0,10)

plt.xlim(0,5)

plt.plot(x, y, 'o')

plt.plot(x, x * regr.coef_)

 

 

앞의 예제와 같이 기울기 .. 즉 상관계수는 2 지만 3,5,7 은 여기에 다시 1을 더해준 값이다. 요컨데 두 값의 관계는 다음과 같다.

y = x * 2 + 1 

2 라는 x 의 1차항 계수에 추가로 1이라는 상수항을 지닌 식이다. 이 상수항의 값은

  regr.intercept_

으로 저장된다.

 

 

연습 : 상수항을 포함 그래프 그리기

위의 x,y 에 대해 regr.coef_ 와 regr.interceipt_ 까지 포함해 다음과 같은 직선을 그려보자.

 

 

 

 

x = np.array([1,2,3])

y = np.array([3,5,7])

regr.fit(x.reshape(3,1), y)

plt.ylim(0,10)

# 연습문제의 코드를 작성하세요

plt.plot(x,y,'o')

plt.plot(x,x * regr.coef_+ regr.intercept_)

plt.xlim(0,5)

plt.show()

 

score : 결정계수

이번엔 노이즈를 포함한 3 * x + 2 데이터 50개를 생성해서 선형 단순회귀분석을 수행해보자 노이즈는 편차 5의 정규분포로 생성한다.

 

n = 50
x = np.arange(0,n,1)
y = x * 3 + 2 + np.random.normal(0,5,n)
plt.plot(x,y, 'o')
regr.fit(x.reshape(n,1),y)
plt.plot(x, x * regr.coef_ + regr.intercept_)
plt.show()
print(regr.score(x.reshape(n,1),y))

 

 

연습 : 결정계수 구하기

다음 데이터를 회귀분석하고 결정계수를 구해보세요.

x = np.array([0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9])
y = np.array([0.71, 0.79, 1.28, 1.28, 1.24, 1.41, 1.73, 1.88, 2.15, 2.42])

plt.plot(x,y,'o')
plt.plot(x,x * regr.coef_ +  regr.intercept_)


# 연습문제의 코드를 작성하세요
regr.fit(x.reshape(-1,1),y)
print(regr.score(x.reshape(-1,1),y))

 

 

다중 회귀분석

위의 회귀 분석은 x -> y 의 직선의 선형관계에 대한 회귀 분석이다. 하지만 만일 변수가 2차원 데이터라면 어떨까?

예를 들어 다음의 데이터를 보자.

2차원 시각화

다항 회귀분석

단순 회귀 분석은 모든 데이터의 연관성을 직선식으로 가정한다. 대부분의 비례관계가 대부분 직선적 성향을 띄는 것도 사실이지만 데이터의 제곱에 비례해 증가하는 곡선형태의 상관관계를 갖는 경우도 있다. 다항회귀분석은 다항식처럼 x 의 2차원 이상의 계수를 도출 하는 방법이다.

 

 

n = 100
x = np.linspace(-30,30,n)
y = x ** 2 * 5 + np.random.normal(0,300,n)
plt.plot(x,y, 'o')
plt.show()

 

이를 기존의 방식으로 단순 1차원 항만 가진 회귀분석으로 구할경우 거의 예측이 불가능한 모델을 얻게된다.

 

regr.fit( x.reshape(-1,1), y ) 
plt.plot(x, y, 'o')
plt.plot(x, x * regr.coef_ + regr.intercept_ )
plt.show()
print( "R2:", regr.score( x.reshape(-1,1), y))

결정계수가 0.001 도 안되는 처참한 모델이 탄생한다. 이는 1차식으로는 적합한 모델을 표현할 수는 없음을 의미한다.

하지만 여기에 x 대신 x의 제곱이 담긴 데이터를 입력하면 어떻게 될까?

 

 

둘의 관계가 직선에 가깝게 바뀐것을 볼 수 있을것이다. 이는 위의 식을

x2 = x ** 2
y = x2 * 5 

로 변환 했기 때문에 y 와 x2 의 1차항 문제로 변환되었기 때문이다. 이제 이것을 회귀 분석 하면 다음과 같다.

 

regr.fit( x2.reshape(-1,1), y )
plt.plot(x2, y, 'o')
plt.plot(x2, x2 * regr.coef_ + regr.intercept_ )
plt.show() 

 

이제 y 이것을 x 에 대해서 그리면 다음과 같이 그려진다.

regr.fit( x2.reshape(-1,1), y )
plt.plot(x, y, 'o')
plt.plot(x, x**2 * regr.coef_ + regr.intercept_ )
plt.show()