본문 바로가기

전체 글235

n132 공분산과 상관계수 cov, corr/ vector 분산, 표준편차 * 분산은, 데이터가 얼마나 퍼져있는지를 측정하는 방법 = (관측값과 평균의 차)를 제곱한 값을 모두 더하고 관측값 개수로 나눈 값 = 차이 값의 제곱의 평균 * 분산을 구하는 과정에서 제곱 값들을 더하게 되는데 이는 평균에 비해서 스케일이 커지는 문제가 발생 ==> 표준 편차(= 분산을 제곱근)는 이를 해결 하기 위해서 제곱 된 스케일을 낮춘 방법 Covariance (DataFrame.cov()) Pearson correlation Covariance란, 1개의 변수 값이 변화할 때 다른 변수가 어떠한 연관성을 나타내며 변하는지를 측정하는 것 => 하나가 증가할때 다른 하나도 증가하는 경향을 파악하는 것 특징 쌍(feature pairs)들의 변동이 얼마나 닮았는가(다른 말로는 얼마만.. 2021. 5. 27.
n131 벡터와 행렬(vector and matrices)/ 선형대수 *선형대수 -구성조각 '벡터(vector)' -가까운 정도를 측정하기 위해 '손실함수' -인과관계를 수로 표현할려하되 어떻게 해서든 선형적인 관계로서 이해 ==> 선형적인 관계가 되도록 미분을 하고 모은것들을 적분 *Data Structure = list 1D = [ 순서가 바뀌면 안됨 ] // *set 집합에서는 순서가 달라도 상관없음 2D = pd.DataFrame *벡터 (원점에 뿌리를 둠) a[2, 1] == matrices / 벡터의 길이라고보면됨 a== Scalar // 차원수 (= 선형결합) 벡터 scaling = 벡터의 길이를 늘리거나 방향을 뒤집는것 *벡터의 크기 (Magnitude, Norm, Length) 벡터의 Norm 혹은 Magnitude는 단순히 길이에 지나지 않습니다. 벡터는.. 2021. 5. 22.
N123 중심극한정리( Central Limit Theorem, CLT) *중심극한정리 ( Central Limit Theorem, CLT ) - sample 데이터의 수가 많아질 수록, sample의 평균은 정규분포에 근사한 형태로 나타난다. *큰 수의 법칙 ( Law of large numbers ) sample 데이터의 수가 커질 수록, sample의 통계치는 점점 모집단의 모수와 같아진다. **표본의 크기 >= 30 가 되야 크다고 본다(작으면 비모수적 방법 적용) '큰수의 법칙'은 표본 크기가 무한히 커짐에 따라 표본평균이 모평균으로 "확률수렴"을 한다는 개념이고, '중심극한정리'는 표본 크기가 무한히 커짐에 따라 표준화한 표본평균의 분포가 표준정규분포로 "분포수렴"하는 개념 정규분포(Normal Distribution)는 특정 값의 출현 비율을 그렸을 때, 중심(평.. 2021. 5. 19.
N124 'Bayes Theorem' https://www.youtube.com/watch?v=RCf4KZa9IfQ 참고 '불가능한 것을 다 제거하고 나면 남는 것은 아무리 사실과 멀어보일지라도 진실임이 틀림없다.' 'Bayes Theorem' / Bayesian Inference 사전의 지식을 이벤트에 반영하는 추론 방식 입니다. -아무 정보가 없는 상황에서 확률을 동등하게 생각하고(= 이유 불충분의 원리) 추가된 데이터를 통해 업데이트하여 확률을 구함. *베이즈 정리는 새로운 정보를 토대로 어떤 사건이 발생했다는 주장에 대한 신뢰도를 갱신해 나가는 방법 베이지안은 과거의 사건이 현재 사건에 영향을 끼친다는 입장 *조건부확률( the law of Conditional Probility) -전확률( the law of total probab.. 2021. 5. 18.
N122 T-test++(카이제곱) col = ['', '' ,''] row = ['', '', ''] df.columns = col df.index.name = None ==>?? df = df.reindex(index = row ) random.binominal(n=, p=, size=) 이항분포// size가 시행횟수 from scipy.stats import binom_test binom_test(564, n=, p=) // n이 시행힛수 이항 검정은 범주가 2개로 자료에만 사용할 수 있다. 만약 범주가 3개 이상인 경우에는 카이제곱 검정을 사용해야 한다. 행과 열을 조합해서 발생할 수 있는 경우의 수를 행열로 만들어놓고 활용하면 편하다. from google.colab import files df_before = files.upl.. 2021. 5. 15.
N121 기술통계치 / 가설검정 Hypothesis ds_before = pd.read_csv('https://ds-lecture-data.s3.ap-northeast-2.amazonaws.com/seoul_tree/seoul_tree.txt', sep='\t', skiprows= 1) #skipprow 맨 처음 행 제외하고 보여줌 // thouusands= ',' 콤마 미리 없애 *기술 통계치(Descriptive Statistics)란? - 평균(mean), 중앙값(median), SD(표준편차, Standard Devidation= 평균에서 떨어진 정도) 등을(통계치) 계산한 것 count, mean, standard dev, min, 1Q, median, 3Q, max ==> DataFrame.describe() boxplot violin plot.. 2021. 5. 15.
n114 기초미분 Basic Derivative 미분 = 함수를 작게 나눈다. ==> 특정부분에서의 순간 변화율을 찾기 위해서 변화율이 한없이 0에 가까워 질때의 기울기를 계산하는것 ==> y = b + ax # 랜덤하게 평균0, 표준편차1의 가우시안 표준정규분포 난수 x, y를 50개씩 뽑습니다 np.random.seed(42) # 동일한 결과를 보기 위해 시드를 고정합니다. https://numpy.org/doc/stable/reference/random/generated/numpy.random.seed.html x = np.random.randn(50) y = np.random.randn(50) #seaborn 을 통해서 산점도를 확인할 수 있음 sns.regplot(x, y) plt.show() y'(오차함수) = b + ax ( 알파는 y절편.. 2021. 5. 15.
n113 Data Manipulation(merge, melt, concat) *pandas version 확인 *pd.__version__ /// pd.show__version() def coloring_text(val): if val > 0: color = '#1e3799' else: color = '#eb2f06' return 'color: %s' % color df[['순이익률']].style.applymap(coloring_text) 해당 부분 색바꿔줌 *df.applymap(lambda x: x**2) ==> 해당 함수 적용 pip install pandas ##pandas version 확인 *pd.__version__ /// pd.show__version() ==> python, pandas, numpy, matplotlib ... 버전확인가능 ##create Dat.. 2021. 5. 10.
N111a EDA(Exploratory Data Analysis) EDA (exploratory data analysis) =분석과 이해를 통해서 ===> Data Preprocessing(전처리) 과정이 들어감 EDA란, 데이터 분석에 있어서 매우 중요한, 초기 분석의 단계를 의미하며 시각화 같은 도구를 통해서 패턴을 발견하거나 데이터의 특이성을 확인하거나 통계와 그래픽 (혹은 시각적 표현)을 통해서 가설을 검정하는 과정 등을 포함합니다. EDA의 방법은 크게 2가지 (Graphic, Non-Graphic) 으로 나눠질 수 있으며 Graphic : 차트 혹은 그림 등을 이용하여 데이터를 확인하는 방법입니다. Non-Graphic :그래픽적인 요소를 사용하지 않는 방법으로, 주로 Summary Statistics를 통해 데이터를 확인하는 방법입니다. 동시에, EDA의 .. 2021. 5. 9.

티스토리툴바