[AI] 인공지능과 특징공간 / 표현학습과 심층학습

특징 공간

• 모든 데이터는 정량적으로 표현되며, 특징 공간 상에 존재한다.
  • 정량화되었다? 벡터나 행렬의 형태로 표현이 가능하다.
• 1차원 특징 공간

• 2차원 특징 공간

- 특징 벡터 표기

• d-차원 특징 공간

  • 특징벡터 표기
    

    

• d-차원 데이터를 위한 학습 모델의 예

  • 직선 모델을 사용하는 경우 매개변수 수 = d+1
  • 2차 곡선 모델을 사용하면 매개변수 수가 지수적으로 증가, 매개변수 수 = d^2+d+1
  • Iris 데이터는 d=4이므로 21개의 매개변수
  • MNIST 데이터는 d=784이므로 615,441개의 매개변수

• 거리 : 차원에 무관하게 수식 적용 가능함.

  • 두 점 사이의 유클리드 거리는 모든 d에 성립

→ 거리가 가까우면 data 유사도 판별 및 거리 정보가 중요하다.

특징 공간 변환과 표현 학습

• 차원의 저주
  • 차원이 높아짐에 따라 발생하년 현실적인 문제들
  • 1차, 2차, 3차원에서의 차원의 저주 예시
  • 예) d=784인 MNIST 샘플의 화소가 0과 1값을 가진다면 2^784의 칸이 거대한 공간에 고작 6만 개의 샘플을 흩뿌린 매우 희소한 분포

- 차원이 높아질 수록 규칙을 찾기 위해서 더 많은 데이터 (경험)이 필요하다.

특징 공간 변환

• 선형 분리 불가능한 원래 특징 공간

→ 직선 모델을 적용하면 75% 정확도 한계

• 식으로 변환된 새로운 특징 공간

→ 공간 변환을 통해 직선 모델로 100% 정확도

표현 문제

표현 학습

• 좋은 특징 공간을 자동으로 찾는 작업
• 주어진 공간을 자동으로 좋은 특징 공간으로 만드는 것
• 입력 데이터에 대한 최적의 표현을 결정하는 것.

심층 학습

• 표현학습의 하나로 심층 인공 신경망에 대한 훈련을 의미한다. 인공신경망은 입력 및 출력을 위한 가시적인 계층 사이에 존재하는 수백 개의 추가적인 은닉층으로 구성된다. 은닉층의 결과 매트릭스는 다음 계층의 입력 매트릭스로 사용된다. 이 경우 마지막 계층의 출력 매트릭스에만 결과가 포함된다.

인공지능 범주

기술 추세

• 기계학습 알고리즘과 응용의 다양화
• 표현 학습이 중요해짐
• 심층학습이 기계 학습의 주류
• 심층학습은 현대 인공지능 실현에 핵심 기술

인공지능 단계

• 초 인공지능 (Super AI) : 인공지능의 발전이 가속화되어 모든 인류의 지성을 합친 것 보다 더 뛰어난 인공지능
• 강 인공지능 (Strong AI = 인공일반지능) : 인간이 할 수 있는 어떠한 지적인 업무도 성공적으로 해낼 수 있는 (가상적인) 기계의 지능
• 약 인공지능 (Weak AI) : 인간이 지시한 명령의 틀 안에서만 일하기 때문에 예측과 관리가 용이 → 현재 인공지능의 단계

참고

• https://www.baslerweb.com/ko/vision-campus/markets-and-applications/what-is-deep-learning/
• http://cv.jbnu.ac.kr/index.php?mid=ml