Catastrophic forgetting과 Semantic drift

 

Catastrophic forgetting(파괴적 망각)

• 현재 Neural Network(인공신경망)은 Single task(단일 과제)에 대해서는 뛰어난 성능을 보이지만, 다른 종류의 task를 학습하면 이전에 학습했던 task에 대한 성능이 현저하게 떨어지는 문제가 있다. 이를 Catastrophic forgetting이라고 한다. 이 현상은 이전 학습 dataset과 새로운 학습 dataset 사이에 연관성이 있더라도 이전 dataset에 대한 정보를 대량으로 손실한다.
  요약하자면, Catastrophic forgetting는 Single task에 대해서 뛰어난 성능을 보인 모델을 활용하여 다른 task를 위해 학습했을 때 이전에 학습했던 task에 대한 성능이 현저하게 떨어지는 현상을 말합니다. 

 Semantic drift(의미 변화)

• 새로 학습하는 과정에서 pre-trained weight가 과도하게 조정될 경우를 Neural Network의 Node(노드)나 weight의 의미가 변했다고 해석할 수 있다. 예를 들어 어떤 Node가 강아지의 귀에 대한 정보를 담고 있었는데, 고양이를 학습한 후 Node가 발바닥에 대한 정보를 처리하도록 바뀌는 것이다. 이를 Semantic drift라고 하며 Catastrophic forgetting과 밀접한 관계가 있다.