[LG Aimers] 데이터 분석& AI의 주의할 점

해당 시리즈는 LG에서 지원하는 LG Aimers의 교육 내용을 정리한 것으로, 모든 출처는 
https://www.lgaimers.ai/
 입니다.

데이터 해석

인과관계 vs 상관관계

 

초콜릿을 많이 먹는 국가에 노벨상을 수상한 사람이 많다는 보도가 나왔다.

이는 과연 인과관계가 있다고 할 수 있는가?(당연히 인과관계는 없다.)

데이터를 해석할 때는 항상 인과관계, 상관관계를 잘 해석해야한다.

상관관계는 인과관계와 다르다.

데이터 지표나타내기

그래프를 나타낼 땐 Error bar까지 확실하게 나타내 주는 것이 좋다.

적합한 통계 검정을 해야한다.

Outlier 잘 제거해야한다.

데이터 표준화를 하는 것이 좋다.

EDA( Exploratory data analysis)를 충분한 시간을 가지고 해야한다.

Error bar을 쓰지 않으면 보지도 않을 수 있다.

 

AI 모델 학습 결과가 바뀔 수 있는 위험성

하나의 픽셀만 바뀌어도 알고리즘 학습 결과가 정답나온 것이 오답이 나올 수도 있다.

인공지능 알고리즘으로 인한 부작용

• Recruiting
  • Amazon의 AI 기반 채용 시스템이 IT직군에 남성 지원자만 추천하는 문제가 발생하였다.
  • 남성을 선호하고 여성 지원자 평가점수를 낮춤
  • 14년부터 진행한 프로젝트는 18년도에 폐기
• Hate Speech
  • 백인우월주의자, 여성˙무슬림 혐오자들이 차별발언을 하도록 학습되어 공개 16시간만에 서비스 중단.(2016)
  • MS에서 Zo라는 13세 여성 캐릭터의 챗봇을 새로 공개 했는데 소수자에 대한 대화 자체를 피해서 컨텐츠 검열이라는 지적을 받음

결론: 데이터 분석과 AI 학습에서 유의할 점

• 데이터의 확보, 전처리, 분석, 해석의 전 과정이 중요
• 알고리즘의 설명력, 편향, 신뢰의 문제에 주의