목차
A/B Test
A/B Test란 사용자 집단에게 각기 다른 A와 B 버전의 상품을 제공하고 두 버전 중 어떤 것이 더 좋은지를 찾아내는 프로세스이다.
자세한 설명
좋은 Feature란 무엇인지, Feature 성능 평가 방법
좋은 변수란 주어진 데이터를 잘 설명할 수 있는 변수로, 보다 구체적으로는 빠르게 학습하고 정확하게 추론할 수 있도록 도와주는 변수라고 할 수 있다.
자세한 설명
상관관계와 인과관계
상관관계가 있다고 인과관계가 있는 것은 아니다.
상관관계는 2개의 변수가 선형 관계가 있는 범위를 표현하는 통계적 측도(measure). 데이터의 원인과 결과는 설명할 수 없다. 선형인 아닌 비선형 관계는 상관관계로 설명할 수 없다.
자세한 설명
분류모형(classification)의 성능은 어떻게 평가하나요?
타겟의 원래 클래스와 모형이 예측한 클래스가 일치하는지는 갯수로 나타낸 분류결과표(confusion matrix), 그리고 이 표에서 나온 평가 지표 accuracy score, precison, recall(= sensitivity), specificity, f1 score등이 있다. 또한, x축은 false positive rate, y축은 true positive rate으로 하는 roc curve가 있다. 서로 다른 분류 모형을 평가하는데도 사용할 수 있고, 같은 모형 내에서 cutoff를 정할 때도 사용할 수 있다.
자세한 설명