LiDARism

로지스틱 회귀를 써야만 하는 때 0/1,예/아니오 등 두개의 답 중 하나만 내놔야하는 경우에 로지스틱회귀(Logistic Regression)을 사용할 수 있다. 로지스틱 회귀에서 사용하는 함수를 활성화함수(activation function)이라고 하는데, 이 활성화 함수에는 시그모이드(Sigmoid), 렐루(ReLu) 등의 함수가 대표적이다. 그 중에서 시그모이드 함수는 $y = {1 \over 1+e^{-(ax+b)}}$이고, 로지스틱 회귀 문제는 이 함수에서의 $a, b$값을 구하는 것이다. 여기서 $a$는 함수의 경사도, $b$는 함수의 좌우 이동 정도를 나타내게 된다. 이번 포스팅의 주인공 시그모이드 함수 위의 sigmoid function은 0보다 큰 지점에서 1에 가까워져야하고, 0보다 작..

다중 선형 회귀 입력값이 많다면 그에 맞게 경사하강법을 사용해야한다. $y = a_1x_1 + a_2x_2 + b$에 대한 평균 제곱 오차를 $a_1, a_2, b$에 대해서 편미분해야한다. ${1 \over n}\sum(y_i-(a_1x_1 + a_2x_2 + b))^2$을 $a_1, a_2, b$로 편미분하면 ${2 \over n}\sum(y_i-(a_1x_1 + a_2x_2 + b))(-x_1) = -{1 \over n}\sum((error)_(x_1))$ ${2 \over n}\sum(y_i-(a_1x_1 + a_2x_2 + b))(-x_2) = -{1 \over n}\sum((error)*(x_2))$ ${2 \over n}\sum(y_i-(a_1x_1 + a_2x_2 + b))(-1) = -{..

경사하강법 경사하강법 : 미분을 통한 기울기를 이용해서 오차가 작아지는 방향으로 가중치를 이동시키는 방법이다. 오차와 우리가 구하는 가중치값(a,b)을 이차함수로 표현한다고 하면 여기서 최소값이 구해지는 기울기가 0인 지점을 찾는 것이 목적이된다. 물론 모든 오차가 이렇게 이차함수 형태로 표현되지 않을테고, 따라서 우리가 보통 경사하강법으로 구하게 되는 극소점은 국소적 극소점이 된다. 뭘까 이 라임은 Learning Rate : 학습률. 변하는 가중치값이 어느정도 속도로 변할지 조정하는 수치이다. 이 값을 적절히 바꾸면서 최적의 학습률을 찾는 것은 중요하다. $${1 \over n}\sum(y_i-y_{iavg})^2 = {1 \over n}\sum(y_i-(ax_i+b))^2$$ 여기서 a와 b로 편미..

참고도서 : 모두의 딥러닝, 제2판(조태호, 2020) 개발환경 : google colab 데이터를 입력하고 분석하는 과정을 training이라고한다. 텅빈 좌표평면에 data를 하나씩 놓고 이를 분류하는 과정이다. 이 data들을 분류하는 과정을 training하여 분류 경계선을 찾는 것이 machine learning의 목표다. # 파일 선택을 통해 예제 데이터를 내 컴퓨터에서 불러옵니다. from google.colab import files uploaded = files.upload() my_data = 'ThoraricSurgery.csv' # keras function from tensorflow.keras.models import Sequential from tensorflow.keras.l..