Part 2. Explainable AI (XAI)
Module 4. 설명 가능한 AI 서울대학교 문태섭 교수님이 강의를 하셨고 Module 4에 관한 모든 내용은 LG Aimers 및 서울대학교 문태섭 교수님으로부터 나왔다.
Explainable AI (XAI)
Saliency map-based 기반 설명 방법
CAM(Calss Activation Map)
-> GAP(Global Average Pooling)이란 특정한 layer를 만든 후 이 layer와 activation을 합쳐서 설명하는 방법
-> CAM을 이용한 CNN의 최종 layer의 해상도는 비교적 낮기 때문에 upsampling을 통해 개선함
-> GAP Layer = 각 activation map의 모든 activation들의 평균
CAM의 장단점
- 장점 : 모델이 집중하는 object들을 명백히 보여줌
- 단점 : Model-specific
: 캠의 설명은 마지막 layer에서만 얻기 때문에 해상도가 낮다
Grad-CAM
-> CAM을 gradient 정보를 활용해서 개선한 방법
-> GAP가 없는 모델에도 activation을 결합하는 방식을 보완
Grad-CAM 장단점
- 장점 : Model agnostic -> 어느곳에나 사용이 가능하다
- 단점 : 때때로 평균 기울기가 정확하지 않을 때가 존재한다.
Grad-CAM의 예측 결과이다.
밑의 예측한 결과를 보면 두 사진 다 nurse로 정확하게 예측을 하였다.
하지만 중앙에 있는 사진은 nurse의 특징을 잡아서 nurse로 예측을 한 것이 아닌,
여자의 얼굴을 focus로 잡고 nurse로 예측을 한 결과를 볼 수 있다.
그렇게 저 Model은 편향이 되어있다는 것을 알 수 있다.
반대로 오른쪽의 사진은 똑같이 nurse로 예측을 했지만,
의료기기에 focus를 맞춰서 예측을 한 것을 알 수 있다.
그렇기 때문에 오른쪽 모델이 편향이 되어있지 않은 최적의 Model이다.
Perturbation-based 기반 설명 방법
Perturbation-based
-> 입력 데이터를 조금씩 바꾸면서 그에 대힌 출력을 보고 그 변화에 기반해서 설명
LIME(Local Interpretable Model-agnostic Explanations)
-> 어떤 분류기가 딥러닝 모델처럼 매우 복잡한 비선형적 특징을 가지고 있더라도 주어진 데이터 포인트들에 대해서는 아주 Local하게는 다 선형적인 모델로 근사화가 가능하다는 관찰에서 출발
-> 주어진 입력 데이터들(슈퍼 픽셀들)을 조금씩 교란하면서 그 데이터를 모델에 통과시키고 나온 출력을 보고 입출력 쌍들을 선형 모델로 근사하여 설명을 도출
LIME의 장단점
- 장점 : Black-box
-> 주어진 입력과 그에 대한 출력만 있으면 어떤 모델에 대해서도 다 적용할 수 있는 설명방법
- 단점 : 계산이 매우 복잡(Black-box 방법의 한계)
: 이미지 전체 특성에 대한 분류에는 한계가 존재
RISE(Randomized Input Sampling for Explanation)
- Black-box 방법
- LIME과 비슷하게 여러번 입력을 perturb해서 설명 구하는 방식
S 사진 해석
-> 여러개의 랜덤 마스킹이 되어잇는 입력에 대한 출력 score를 구하고 그 score(확률)들을 이용해서 이 마스크들을 가중치를 둬서 평균을 냈을 때 나오는 값
RISE의 장단점
- 장점 : 더욱 명확한 saliency-map
- 단점 : 매우 높은 계산 복잡도
: 랜덤한 noisy가 존재
비교
Influence function-based
- Training 이미지 없이 모델을 훈련시켰을 때 해당 test 이미지의 분류 스코어가 얼마나 변할 것인지를 근사화 하는 함수
- 모델간의 차이를 보여줌