영덕의 연구소

[Logistic Regression] 굉장히 인기있고, 널리 쓰이는 모델 [Classification and Representation]1. Classficiation - Classification은 binary / multiclass 가 가능한데, 지금은 {0, 1} 로 표현할 수 있는 binary classficiation을 다룸 - linear regression에 threshold classifier output을 적용하는 예를 생각해보자. 만약 h(x) 가 있을 때, 어떤 값 a를 기준으로 그 이상이면 1 아니면, 0으로 구분하여 classification을 할 수 있다. 하지만, 만약 example data가 추가된다면 linear regression의 h(x)가 변화할 수 있고 이러한 변화..

[Multivariate Linear Regression]1. Multiple Features - 이전 시간까지는 variable이 1개, 2개인 것만 봤는데, 조금 더 변수가 많은 multiple featrue 모델을 보자 - n = number of features 이며, x^(i) = input of i_th training example. 만약 x^2라면 2번째 training example의 variable들이며 이는 n by 1 vector로 표현됨 - linear regression에서 x0, 즉 x_0^(i)는 1로 정의한다 - 이 경우, h함수는 0부터 n까지, n+1개의 feature로 이루어진 x벡터 그리고 n+1개의 θ로 이루어진 θ벡터의 inner product로 표현할 수 있다 ..

[Linear Algebra Review]1. Matrices and Vectors - 4 by 2 matrix를 IR^(4x2)로 표현하기도 함(matrix를 이루는 숫자들의 집합이 IR일 경우, 주로 대문자로 나타냄 => A, B, C, D - Vector는 n x 1 matrix, 만약 4 x 1 vector가 있을 때 우리는 이것을 4-dimensional vector라고 부르고, IR^4라고 표기함 - vector를 y 라고 할 때 vector의 element는 y_i 로 표기 - 표기방법에는 전통적으로 0과 1로 시작하는, 0-indexed / 1-indexed가 있음. 1-index를 주로사용하지만, 0-indexed를 사용할 필요가 있을 때도 있음 2. Addition and Scalar ..

[Parameter Learning]1. Gradient descent(기울기 강하) - linear regression에서 cost function J 등 여러가지 함수를 minimize하는 알고리즘으로, 머신 러닝 전역에 사용됨 - 두 parameter를 가지는 J function이 있을 때 이를 minimize한다고 하면, 일단 두 parameter가 0으로 초기화될 것을 가정함. 그리고 그 두 파라미터를 인풋으로 한 J의 아웃풋이 local minimum이 되도록 함 - 3D 그래프에서 경사를 가능한 빠르게 내려가는 방법은? 기울기가 가장 급한 곳을 greedy하게 찾아서 내려감. initial point에 따라 local minimum이 완전히 다른 곳으로 가는 특징이 있음 - Gradient ..

[Introduction]1. What is the machine learning - 머신러닝은 인공지능이나 몇 가지 분야의 베이스가 됨 - 웹 클릭 데이터, 의학 레코드, 생물 정보 등 데이터가 쏟아지는 중 - 직접 손으로 프로그램을 짤 수 없는 영역의 프로그래밍 방법(손글씨 인식을 통한 자동 우편 분류, 추천 알고리즘 등) - (미국) 채용시장에서, 기계학습 전공자의 수요가 급격하게 증가 2. Supervised Learning - 정답인 데이터셋을 주고, 이것이 정답이야! 알려줌, 기계는 학습 후 더 많은 정답을 찾아냄 - regression problem 으로 조금 더 정확히 말할 수 있는데, regression이란 연속적인 속성 값을 예측하는 것을 의미함 - classification은 이산적인..