part 3. Explainable AI(XAI

Module 4. 설명 가능한 AI 서울대학교 문태섭 교수님이 강의를 하셨고 Module 4에 관한 모든 내용은 LG Aimers 및 서울대학교 문태섭 교수님으로부터 나왔다.

 

 

 

 

 

Explainable AI(XAI)

AMT(Amazon Mechanical Turk) test

 - 사람들에게 직접 퀴즈를 내는 방식

 - 어느 모델이 더 좋은지 고르는 방식

 단점 : 매우 비싸다.

 

 

 

Human annotation

 - pointing game

    -> bounding box를 활용해서 평가하는 방법

    -> 이미지의 bounding box가 존재 할 때 모델이 보여주는 픽셀이 사람이 만든 bounding box안에 있으면 최고의 설명

    -> 각 이미지마다 bounding box안에 들어가는 정확도를 계산해서 평가 

 

 - Weakly supervised semantic segmentation

    -> Weakly supervised : 픽셀별로 정답 Label이 다 주어져 있지 않기 때문

    -> 픽셀별로 객체의 Label을 예측하는 sementic segmentation

 

 - IOU : 정답 Map과 이렇게 만들어진 sementation map이 얼마나 겹치는지를 평가하는 Metric

 

 - 단점 : human annotation을 얻기 힘들다

           : 설명이 정답인가에 대해서도 불확실함

 

 

 

 

Pixel perturbation

 - 픽셀들을 교란하여 결과값이 어떻게 변하는지 테스트하는 방식

 - 성을 가리니까 Score가 7.388

 - 성 주위의 다른 것을 가리니 Score = 10.813

 

 

AOPC(Area Over the MoRF Perturbation Curve)

 - AOPC가 높을 수록 중요한 픽셀

 - 순서대로 픽셀을 교란했을 때 원래 예측한 Score 값이 얼마나 빨리 바뀌는지 측정

 

 

Insertion and Deletion

 - Deletion : 픽셀을 하나씩 지워나가며 확률값이 떨어지는 지점을 찾는 것, Curve의 아래면적

                    -> 값이 낮을수록 좋음

 - Insertion : 중요한 순서대로 추가시키며 출력 Score 값이 올라가는 그래프의 아래면적

                    -> 면적이 클수록 좋음

 

 

장점 : 객관적, 정량적인 평가지표를 얻을 수 있다.

단점 : 데이터를 추가하거나 지우는 과정에서 ML의 주요 과정을 위반하는 경우 존재

 

 

 

ROAR(RemOve And Retrain)

 - 중요한 픽셀들을 지우고 그 픽셀들을 활용해 모델을 다시 학습한 뒤 정확도를 평가하는 방법

 - 장점 : AOPC, Insertion, Deletion에 비해서 조금 더 객관적이고 정확한 평가가 가능

 - 단점 : 계산 복잡도가 매우 높음 (모델이 매번 재학습)