본문 바로가기

메모장195

n133 eigenvalue/eigenvector 주성분분석(PCA) from sklearn.preprocessing import StandardScaler, Normalizer from sklearn.decomposition import PCA fit() : 평균 𝜇과 표준편차 𝜎를 계산 transform() : ​정규화/표준화, Standardization fit_trasform() : fit() + transform() fit() -데이터를 학습시키는 메서드 transform() - 학습시킨 것을 적용하는 메서드 So, Test data set에는 적용하면 안됨! = sclaer가 기존에 학습 데이터에 fit한 기준을 다 무시하고 테스트 데이터에 새로운 mean, variance값을 얻으면서 테스트 데이터까지 학습해버린다. 테스트 데이터는 검증을 위해 남겨둔 Set .. 2021. 5. 27.
n132 공분산과 상관계수 cov, corr/ vector 분산, 표준편차 * 분산은, 데이터가 얼마나 퍼져있는지를 측정하는 방법 = (관측값과 평균의 차)를 제곱한 값을 모두 더하고 관측값 개수로 나눈 값 = 차이 값의 제곱의 평균 * 분산을 구하는 과정에서 제곱 값들을 더하게 되는데 이는 평균에 비해서 스케일이 커지는 문제가 발생 ==> 표준 편차(= 분산을 제곱근)는 이를 해결 하기 위해서 제곱 된 스케일을 낮춘 방법 Covariance (DataFrame.cov()) Pearson correlation Covariance란, 1개의 변수 값이 변화할 때 다른 변수가 어떠한 연관성을 나타내며 변하는지를 측정하는 것 => 하나가 증가할때 다른 하나도 증가하는 경향을 파악하는 것 특징 쌍(feature pairs)들의 변동이 얼마나 닮았는가(다른 말로는 얼마만.. 2021. 5. 27.
n131 벡터와 행렬(vector and matrices)/ 선형대수 *선형대수 -구성조각 '벡터(vector)' -가까운 정도를 측정하기 위해 '손실함수' -인과관계를 수로 표현할려하되 어떻게 해서든 선형적인 관계로서 이해 ==> 선형적인 관계가 되도록 미분을 하고 모은것들을 적분 *Data Structure = list 1D = [ 순서가 바뀌면 안됨 ] // *set 집합에서는 순서가 달라도 상관없음 2D = pd.DataFrame *벡터 (원점에 뿌리를 둠) a[2, 1] == matrices / 벡터의 길이라고보면됨 a== Scalar // 차원수 (= 선형결합) 벡터 scaling = 벡터의 길이를 늘리거나 방향을 뒤집는것 *벡터의 크기 (Magnitude, Norm, Length) 벡터의 Norm 혹은 Magnitude는 단순히 길이에 지나지 않습니다. 벡터는.. 2021. 5. 22.
N123 중심극한정리( Central Limit Theorem, CLT) *중심극한정리 ( Central Limit Theorem, CLT ) - sample 데이터의 수가 많아질 수록, sample의 평균은 정규분포에 근사한 형태로 나타난다. *큰 수의 법칙 ( Law of large numbers ) sample 데이터의 수가 커질 수록, sample의 통계치는 점점 모집단의 모수와 같아진다. **표본의 크기 >= 30 가 되야 크다고 본다(작으면 비모수적 방법 적용) '큰수의 법칙'은 표본 크기가 무한히 커짐에 따라 표본평균이 모평균으로 "확률수렴"을 한다는 개념이고, '중심극한정리'는 표본 크기가 무한히 커짐에 따라 표준화한 표본평균의 분포가 표준정규분포로 "분포수렴"하는 개념 정규분포(Normal Distribution)는 특정 값의 출현 비율을 그렸을 때, 중심(평.. 2021. 5. 19.
N124 'Bayes Theorem' https://www.youtube.com/watch?v=RCf4KZa9IfQ 참고 '불가능한 것을 다 제거하고 나면 남는 것은 아무리 사실과 멀어보일지라도 진실임이 틀림없다.' 'Bayes Theorem' / Bayesian Inference 사전의 지식을 이벤트에 반영하는 추론 방식 입니다. -아무 정보가 없는 상황에서 확률을 동등하게 생각하고(= 이유 불충분의 원리) 추가된 데이터를 통해 업데이트하여 확률을 구함. *베이즈 정리는 새로운 정보를 토대로 어떤 사건이 발생했다는 주장에 대한 신뢰도를 갱신해 나가는 방법 베이지안은 과거의 사건이 현재 사건에 영향을 끼친다는 입장 *조건부확률( the law of Conditional Probility) -전확률( the law of total probab.. 2021. 5. 18.
N122 T-test++(카이제곱) col = ['', '' ,''] row = ['', '', ''] df.columns = col df.index.name = None ==>?? df = df.reindex(index = row ) random.binominal(n=, p=, size=) 이항분포// size가 시행횟수 from scipy.stats import binom_test binom_test(564, n=, p=) // n이 시행힛수 이항 검정은 범주가 2개로 자료에만 사용할 수 있다. 만약 범주가 3개 이상인 경우에는 카이제곱 검정을 사용해야 한다. 행과 열을 조합해서 발생할 수 있는 경우의 수를 행열로 만들어놓고 활용하면 편하다. from google.colab import files df_before = files.upl.. 2021. 5. 15.
N121 기술통계치 / 가설검정 Hypothesis ds_before = pd.read_csv('https://ds-lecture-data.s3.ap-northeast-2.amazonaws.com/seoul_tree/seoul_tree.txt', sep='\t', skiprows= 1) #skipprow 맨 처음 행 제외하고 보여줌 // thouusands= ',' 콤마 미리 없애 *기술 통계치(Descriptive Statistics)란? - 평균(mean), 중앙값(median), SD(표준편차, Standard Devidation= 평균에서 떨어진 정도) 등을(통계치) 계산한 것 count, mean, standard dev, min, 1Q, median, 3Q, max ==> DataFrame.describe() boxplot violin plot.. 2021. 5. 15.
n114 기초미분 Basic Derivative 미분 = 함수를 작게 나눈다. ==> 특정부분에서의 순간 변화율을 찾기 위해서 변화율이 한없이 0에 가까워 질때의 기울기를 계산하는것 ==> y = b + ax # 랜덤하게 평균0, 표준편차1의 가우시안 표준정규분포 난수 x, y를 50개씩 뽑습니다 np.random.seed(42) # 동일한 결과를 보기 위해 시드를 고정합니다. https://numpy.org/doc/stable/reference/random/generated/numpy.random.seed.html x = np.random.randn(50) y = np.random.randn(50) #seaborn 을 통해서 산점도를 확인할 수 있음 sns.regplot(x, y) plt.show() y'(오차함수) = b + ax ( 알파는 y절편.. 2021. 5. 15.

티스토리툴바