Machine Learning 용어 및 내용 정리(2)

• Target(=정답지) : 외부 data source에 근거하여 Model이 완벽하게 예측해야 하는 값

 

• class : 분류문제에서 선택할 수 있는 가능한 레이블의 집합

 

•  Label
  • 분류문제에서 class할당의 구체적인 사례
  • Ex) #1234에 ‘강아지’클래스가 있다 >> ‘강아지’는 #1234의 레이블이다.

 

• Crossentropy : 정보이론분야에서 온 개념으로 확률분포간의 차이를 측정하는 것. 즉, 원본분포와 예측분포의 차이를 측정

 

• One-Hot Encoding : categorical data에 많이 사용되어진다. (categorical encoding이라고도 함)

 

• Information Bottleneck
  • 각 층은 이전층이 제공한 정보만 활용가능하므로 이전 층에서 정보 누락시 복원이 불가능
  • 특히 데이터가 많은 범주로 나누어질때

반응형

• 정수 label 사용할 경우 sparse_categorical_crossentropy
• 다중 분류 레이블 다루는 방법
  • One-Hot Encoding + categorical_crossentropy
  • 정수로 label인코딩 + sparse_categorical_crossentropy

 

• Feature Scale이 다를 경우 큰값(큰 값 범위)의 영향을 많이 받게되어 정규화나 표준화가 필요하다.
  • 학습 후 test data와 training data의 scale을 동일하게 복원해야 제대로 예측

 

• 훈련용 data가 적다면 과대적합을 방지하기 위하여 중간층을 줄인 작은 Model사용이 더 좋다.

 

• Feature가 Model에 유익한지 혼란만 주는지 불확실 할 경우를 대비하려 특성선택(Featrue selection)수행이 일반적이다.
  • 특성선택: 가용한 특성에 대해 어떤 유용한 점수를 계산한 것으로 여기서 특정 임계값 이상만 사용하는 것

 

• Relu 함수의 변종들은 대부분 음수처리가 다르다.
  • Elu : 음수를 완전제거하지 않는다. 최대 -1까지 출력
  • Leaky Relu :매개변수로 지정한 값에 비례해서 음수값을 통과시킨다.
    • Leaky Relu(0.3) = 음수값에 0.3 가중치 곱함
  • PRelu는 Relu의 변종으로서 훈련하는 동안 비례의 정도를 학습한다