본문 바로가기

전공/인공지능

기초적인 모델들의 특성

기초적인 모델들의 특성들을 표로 나타내었다.

선형/로지스틱 회귀, KNN, Decision Tree, Svm  등.

  선형회귀 로지스틱 회귀 KNN Decision Tree SVM
개념

오차를 최소로 하는 직선, 평면 오차를 최소로 하는 직선, 평면

직선을 로지스틱 함수로 변환
(0~1 사이 값)
예측할 데이터와 학습 데이터와의 거리 계산

가장 가까운 k개 이웃의 y값의 평균
정보 전달량 =  부모의 불순도 -자식의 불순도 마진을 최대화하는 결정 경계선
전제조건

Nan 조치
가변수화
Feature들 간 독립
Nan 조치
가변수화
Feature들 간 독립
Nan 조치
가변수화
스케일링
Nan 조치
가변수화
Nan 조치
가변수화
스케일링
성능

변수 선택이 중요!

Feature 수와 복잡도가 비례
변수 선택이 중요!

Feature 수와 복잡도가 비례
k가 작을수록 복잡
(max = train변수)

거리 계산법에 따라 성능이 달라짐
max_depth가 클 수록 복잡

min_simple_leaf가 작을수록 복잡
C가 클수록 복잡

Gamma가 클수록 복잡

C, Gamma 너무 크면 Overfitting 
종류

회귀 O X KNN Regressor O SVC
분류 X O KNN Classifiar O SVR