통계 이론38 QQ Plot 직관적으로 이해하기 1. 기본 개념 QQ 플롯(Quantile-Quantile Plot)의 Quantile은 분위수라는 의미인데, 분위수는 데이터를 오름차순(내림차순)정렬한 뒤, 전체 데이터를 특정 개수로 나눌 때 기준이 되는 수다. 예를 들어 4분위수라고 하면 전체 데이터를 25%, 50%, 75%, 100%로 4등분한다는 것이다. 그렇다면 QQ 플롯을 말 그대로 표현하면 X, Y 축 척도가 분위수라는 의미인데, 개인적으로는 분위수 보다는 누적 분포 개념으로 생각하는 편이 QQ 플롯을 더 이해하기 쉽다고 생각한다. 2. QQ 플롯 활용 QQ 플롯은 보통 3가지 목적으로 이용된다. 주어진 데이터가 정규분포하는지 판단 주어진 두 세트의 데이터가 같은 분포인지 판단 회귀분석 등에서 잔차의 정규성 판단 그런데 사실 위의 3가지 .. 2022. 1. 30. 도구의 신뢰도 측정(크론바흐 알파) 관련글 탐색적 요인분석(EFA : Exploratory Factor Analysis) 1. 기본개념 사회과학이나 심리학에서는 직접적으로 측정할 수 없는 변수를 잠재 변수(latent variable), 요인(factor), 구인(construct), 구성 개념 등으로 부른다. 데이터 분석 측면에서 보자면 보통 어떤 diseny.tistory.com 1. 기본개념 직접 측정할 수 없는 어떤 개념을 간접적으로 측정하는 도구(설문)를 만들었다면 도구의 신뢰성과 타당성이 검증되어야 한다. 개인적으로 신뢰성과 타당성을 설명할 때 체중계 예를 좋아한다. 체중계가 몸무게를 측정하지 않고 혈압이나 키를 잰다면 타당성이 없는 측정 도구다. 체중계가 만들어진 목적이 체중을 재는 것이므로 체중을 측정한다면 타당성이 있는 도.. 2022. 1. 26. 탐색적 요인분석(EFA : Exploratory Factor Analysis) 1. 기본개념 사회과학이나 심리학에서는 직접적으로 측정할 수 없는 변수를 잠재 변수(latent variable), 요인(factor), 구인(construct), 구성 개념 등으로 부른다. 데이터 분석 측면에서 보자면 보통 어떤 설문(척도)을 구성하는 문항들이 몇 개의 요인(구인)으로 묶이는지 결정하는 분석 방법이 요인 분석이다. 2. 요인분석의 종류 탐색적 요인분석(EFA : Exploratory Factor Analysis) 확인적 요인분석(CFA : Confirmatory Factor Analysis) 탐색적 요인분석은 어떤 이론이나 가설 없이 척도에 대한 응답 데이터를 분석해 설문 문항이 몇 개의 요인으로 구성되는지 살펴보는 방법이다. 반면 확인적 요인분석은 설문을 통해 얻은 데이터가 기존 이론.. 2022. 1. 22. 1. 5 데이터 과학 지금까지 데이터 분석에서부터 통계학, 머신러닝, 인공지능을 차례대로 소개해왔습니다. 명확하지는 않지만 이 용어들 사이에는 나름의 위계적인 관계가 있습니다. 그런데 데이터 과학이라는 말은 대중적으로 정착된 표현이지만 앞의 위계 구조에서 어디에 위치하는지 모호합니다. 그렇다고 데이터 분석에서부터 인공지능 스펙트럼에서 데이터 과학만의 독자적인 영역도 확실하지 않습니다. 데이터 과학이 무엇인지 구체적으로 인식하기 위해 우선 위키백과의 “데이터 과학”에 관한 정의를 살펴봅시다. “데이터 과학이란, 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는데 과학적 방법론, 프로세스, 알고리즘, 시스템을 동원하는 융합분야이다” 위의 정의에서 핵심적인 내용을 추출하면 다음과 같이 정리할 수 있습니다... 2020. 6. 22. 1.4 인공지능 머신러닝과 인공지능은 따로 구분해서 생각할 수 없기 때문에 인공지능에 대해서도 가볍게 살펴보겠습니다. 사람들이 인공지능 개념을 처음 생각했을 때는 데이터의 중요성을 인식하지 못했습니다. 인공지능 개념 자체는 1950년대부터 시작되었지만 오랫동안 기술적인 장벽에 부딪혀 고전하다가 머신러닝 기술이 비약적으로 발전하면서 새로운 활로가 생겼습니다. 즉 데이터를 활용해 인공지능을 구현할 수 있다는 전망이 보이기 시작한 것이죠. 머신러닝을 말 그대로 풀이하면 기계가 학습한다는 의미입니다. 여기서 기계는 소프트웨어, 또는 소프트웨어가 내장된 하드웨어를 의미합니다. 보통 프로그래밍된 소프트웨어가 학습한다고 표현하지는 않습니다. 소프트웨어는 개발자가 미리 지시해 둔 명령을 눈 깜짝할 사이에 수행(계산)할 뿐입니다. 학습.. 2020. 6. 22. 1.3 머신러닝 데이터 분석에서는 여러 그룹을 비교하거나 변수들 간의 관계를 파악하고 통계학에서는 분석을 통해 얻은 가설의 일반화 가능성을 검토한다고 설명했습니다. 반면 머신러닝(Machine Learning)은 새로운 데이터를 예측하거나 분류하는 것이 주목적입니다. 먼저 현재 보유하고 있는 데이터를 이용해 모델을 만듭니다. 그런 다음 새로운 데이터를 모델에 투입하면 모델이 목적에 맞게 예측하거나 분류합니다. :: 참고 :: 앞으로 모델이라는 말을 자주 접하게 될 것입니다. 모델은 어떤 입력 값을 받아 특정한 방식으로 계산한 결과를 출력하는 수식, 함수, 또는 여러 단계로 구성된 절차(알고리즘)를 의미합니다. 그런 의미에서 아주 간단한 수식 y=ax+b도 모델이라고 부를 수 있습니다. 실생활에서 머신러닝을 가장 생생하게.. 2020. 6. 22. 이전 1 ··· 3 4 5 6 7 다음
