매니폴드(Manifold)

• 매니폴드(Manifold)
  • 국부적으로 선형(유클리드) 공간과 유사하게 보이는 부모공간의 저차원 부분공간
  • 매니폴드 가설
    • Machine Learning Model은 가능한 입력공간안에서 비교적 간단하고 저차원이며, 매우 구조적인 “부분공간”(잠재 매니폴드, latent manifold)만 학습하게 되며, 이런 매니폴드 중 하나 안에서 두 입력사이를 보간(interpolation)하는 것이 항상 가능하다. 즉, 연속적인 공간을 따라 한 입력에서 다른 입력으로 변형시 모든 포인트가 이 매니폴드에 속한다는 의미.
    • 간단하게 말해서, 실제 세상의 모든 Data가(이 Data가 인코딩된) 고차원 공간에 있는 저차원 매니폴드에 놓여있다고 가정
    • Sample사이에서 보간하는 능력은 Deep Learning에서 일반화를 이해하는 열쇠. 즉, 매니폴드 가설은 Deep Learning 작동의 이유가 됨
    • Ex) 2D공간안에 1D매니폴드 또는 3D공간상의 매끄러운 표면은 2D매니폴드