데이터 사이언스 아카데미 (Data Science Academy)

■ 회귀모델의 평가지표

데이터 분석/머신러닝 알고리즘 2023. 11. 17. 08:29

█ 회귀분석 모델 ⊙ 목적 - 독립변수(x)와 종속변수(y) 데이터가 주어졌을 때 두 변수의 관계를 설명할 수 있는 y = wx+b라는 선형 관계를 찾는 것 - 이와 같은 선형관계를 알고 있다면 새로운 x값이 주어졌을 때 종속변수 y의 값을 예측할 수 있다. - 최소제곱법을 통해 오차를 최소화 할 수 있는 w와 b를 찾는다. - 회귀식: y = wx + b - 최소제곱법: 회귀선과 관측값들의 잔차를 제곱하여 더한 값으로 그 값이 최소가 되도록 회귀계수를 구하는 것 - 설명력 지표: 피어슨 상관계수, 결정계수 R^2

데이터 분석/머신러닝 알고리즘 2023. 6. 28. 15:09

█ 회귀분석(Regression Analysis) * 정의 - 매개변수 모델을 이용하여 통계적으로 변수들 사이의 관계를 추정하는 분석방법 * 용도 - 독립변수가 종속변수에 미치는 영향을 확인하고자 사용하는 분석방법 - 종속변수와 관련이 있는 독립변수를 찾을 때, 또 독립변수들 간의 관계를 이해하고자 할 때 사용 - 가격, 주가, 수량 등 연속적인 값을 갖는 연속 변수를 예측하는데 주로 활용 * 종류 - 단순회귀분석: 하나의 종속변수와 하나의 독립변수 사이의 관계를 분석할 때 - 다중회귀분석: 하나의 종속변수와 여러 독립변수 사이의 관계를 규명하고자 할 때 █ 선형 관계 독립변수가 종속변수에 영향을 준다면 두 변수 사이에 선형관계가 있다고 할 수 있다. * 과학에서 볼 수 있는 현상 - 속도와 거리 - 섭..

데이터 분석/머신러닝 알고리즘 2023. 6. 14. 11:46

■ 머신러닝 모델 구축 - 1 머신 러닝에서 핵심은 기계가 스스로 배워서 문제를 해결하는 것으로서 문제를 해결한다는 것은 X와 Y의 관계를 설정하는 것이라고 할 수 있다. 한마디로 어떤 사건의 결과(Y)를 놓고 이에 영향을 주는 설명 변수(X)의 조합이라는 모델(model)을 상정해 놓고 그 모델을 정교하게 만들어 가는 과정이다. ■ 머신러닝을 이용한 예측 많은 현상을 X와 Y로 설명할 수 있다 ■ 머신러닝 모델 구축 - 2

데이터 분석/머신러닝 알고리즘 2023. 6. 8. 16:52

■ 과적합이란? 분석 데이터에만 존재하는 특징을 학습하여 데이터의 작은 변화에도 과장된 결과를 초래하여 예측력이 떨어지는 현상 학습 데이터에는 오차가 감소하지만 실제 데이터에 대해서는 오차가 증가 ■ 과적합의 문제점 모델 적합 시 높은 설명력을 가지나, 과적합으로 인하여 실제 운영 시 예측력이 낮아지게 된다. 즉, 왜곡된 결과가 나오게 되고, 해석 상 잘못된 인자가 도출된다. ■ 발생원인 변수가 너무 많이 존재하여 모델이 복잡할 때 분석 데이터(표본 데이터)가 모집단의 특성을 설명하지 못할 때 ■ 방지법 가능한 많은 데이터(다양한 데이터)로 모델링하여 Unseen data(미지의 데이터)의 범위를 좁힘 ■ 과적합 방지를 위한 추가적인 분석 기술

데이터 분석/머신러닝 알고리즘 2023. 4. 27. 17:50

■ 기계학습 처리 절차 컴퓨터에 입력된 데이터를 바탕으로 특정 목적(분류 또는 예측 등)을 위한 학습을 하여 새롭게 주어진 데이터를 목적에 맞게 분석할 수 있게 하는 프로세스 학습은 훈련과 평가의 반복으로 이루어져 있고, 이를 위하여 입력 데이터도 훈련 데이터와 평가 데이터로 나누어 적용 함 훈련 데이터에 존재하는 복잡한 패턴을 인지하여 모델을 생성하고 평가 데이터를 적용하여 모델을 수정하는 평가 과정을 반복 학습 시키는 프로세스 훈련 데이터: 예측 모델을 생성하기 위해 사용되는 데이터 평가 데이터: 과거 데이터로부터 생성된 예측 모델의 정확성을 평가하는데 사용되는 데이터. 즉, 모델을 검증할 때 사용되는 데이터 ■ 예측 경험(학습)을 바탕으로 모델을 생성하고 새로운 데이터에 대한 결과 값을 예상하는 것..

데이터 분석/머신러닝 알고리즘 2023. 4. 27. 17:29

데이터 분석에서 다루게 될 데이터의 유형은 다음과 같이 분류될 수 있다. █ 수치형 데이터 (Numeric Data) 연속형 계량치로서 연속으로 변하는 양을 나타내는 값 예) 길이, 무게, 온도, 시간 등 이산형 계수치로서 수를 세어 얻는 양을 나타내는 값 예) 불량품의 수, 결점의 수 등 █ 범주형 데이터 (Categorical Data) 불연속 집합의 특성을 갖는 데이터 이분형 관측 대상의 범주가 이분형으로 나뉘는 척도 예) 찬성/반대, 성공/실패 등 명목형 관측 대상의 특성 분류만을 위해 숫자를 부여 예) 성별, 직업 분류, 선수 등 번호 순위형 관측 대상의 속성에 따라 관측 대상간의 순위를 부여 예) 소득수준(상, 중, 하), 학년, 신용등급 등

데이터 분석/머신러닝 알고리즘 2023. 4. 18. 09:35

머신러닝의 정의 기계가 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행할 수 있도록 알고리즘을 개발하는 연구분야 (아서 사무엘(Arthur L. Samuel, 1959년) 데이터로부터 유용한 규칙, 지식 표현 또는 판단 기준 등을 추출한다는 점에서 데이터 마이닝이나 통계 및 수학적 최적화 문제와 관련이 깊음 ■ 학습(Learning) –인간: 대부분의 사람들은 순식간에 인식 –컴퓨터: 각 숫자를 구분하는 법칙이나 알고리즘을 찾아야 함 (숫자를 나누는 기준 정립) 머신러닝의 종류 █ 지도학습(Supervised Learning) 목표변수(y)의 값이 존재하는 데이터를 학습하는 학습방법 y를 예측하기 위한 모형 도출 대표적 분석 알고리즘: Decision Tree, KNN, Linear Reg..

데이터 분석/머신러닝 알고리즘 2023. 4. 13. 13:08