본문 바로가기
728x90

전체 글171

n131 벡터와 행렬(vector and matrices)/ 선형대수 *선형대수 -구성조각 '벡터(vector)' -가까운 정도를 측정하기 위해 '손실함수' -인과관계를 수로 표현할려하되 어떻게 해서든 선형적인 관계로서 이해 ==> 선형적인 관계가 되도록 미분을 하고 모은것들을 적분 *Data Structure = list 1D = [ 순서가 바뀌면 안됨 ] // *set 집합에서는 순서가 달라도 상관없음 2D = pd.DataFrame *벡터 (원점에 뿌리를 둠) a[2, 1] == matrices / 벡터의 길이라고보면됨 a== Scalar // 차원수 (= 선형결합) 벡터 scaling = 벡터의 길이를 늘리거나 방향을 뒤집는것 *벡터의 크기 (Magnitude, Norm, Length) 벡터의 Norm 혹은 Magnitude는 단순히 길이에 지나지 않습니다. 벡터는.. 2021. 5. 22.
N123 중심극한정리( Central Limit Theorem, CLT) *중심극한정리 ( Central Limit Theorem, CLT ) - sample 데이터의 수가 많아질 수록, sample의 평균은 정규분포에 근사한 형태로 나타난다. *큰 수의 법칙 ( Law of large numbers ) sample 데이터의 수가 커질 수록, sample의 통계치는 점점 모집단의 모수와 같아진다. **표본의 크기 >= 30 가 되야 크다고 본다(작으면 비모수적 방법 적용) '큰수의 법칙'은 표본 크기가 무한히 커짐에 따라 표본평균이 모평균으로 "확률수렴"을 한다는 개념이고, '중심극한정리'는 표본 크기가 무한히 커짐에 따라 표준화한 표본평균의 분포가 표준정규분포로 "분포수렴"하는 개념 정규분포(Normal Distribution)는 특정 값의 출현 비율을 그렸을 때, 중심(평.. 2021. 5. 19.
N124 'Bayes Theorem' https://www.youtube.com/watch?v=RCf4KZa9IfQ 참고 '불가능한 것을 다 제거하고 나면 남는 것은 아무리 사실과 멀어보일지라도 진실임이 틀림없다.' 'Bayes Theorem' / Bayesian Inference 사전의 지식을 이벤트에 반영하는 추론 방식 입니다. -아무 정보가 없는 상황에서 확률을 동등하게 생각하고(= 이유 불충분의 원리) 추가된 데이터를 통해 업데이트하여 확률을 구함. *베이즈 정리는 새로운 정보를 토대로 어떤 사건이 발생했다는 주장에 대한 신뢰도를 갱신해 나가는 방법 베이지안은 과거의 사건이 현재 사건에 영향을 끼친다는 입장 *조건부확률( the law of Conditional Probility) -전확률( the law of total probab.. 2021. 5. 18.
N122 T-test++(카이제곱) col = ['', '' ,''] row = ['', '', ''] df.columns = col df.index.name = None ==>?? df = df.reindex(index = row ) random.binominal(n=, p=, size=) 이항분포// size가 시행횟수 from scipy.stats import binom_test binom_test(564, n=, p=) // n이 시행힛수 이항 검정은 범주가 2개로 자료에만 사용할 수 있다. 만약 범주가 3개 이상인 경우에는 카이제곱 검정을 사용해야 한다. 행과 열을 조합해서 발생할 수 있는 경우의 수를 행열로 만들어놓고 활용하면 편하다. from google.colab import files df_before = files.upl.. 2021. 5. 15.
N121 기술통계치 / 가설검정 Hypothesis ds_before = pd.read_csv('https://ds-lecture-data.s3.ap-northeast-2.amazonaws.com/seoul_tree/seoul_tree.txt', sep='\t', skiprows= 1) #skipprow 맨 처음 행 제외하고 보여줌 // thouusands= ',' 콤마 미리 없애 *기술 통계치(Descriptive Statistics)란? - 평균(mean), 중앙값(median), SD(표준편차, Standard Devidation= 평균에서 떨어진 정도) 등을(통계치) 계산한 것 count, mean, standard dev, min, 1Q, median, 3Q, max ==> DataFrame.describe() boxplot violin plot.. 2021. 5. 15.
n114 기초미분 Basic Derivative 미분 = 함수를 작게 나눈다. ==> 특정부분에서의 순간 변화율을 찾기 위해서 변화율이 한없이 0에 가까워 질때의 기울기를 계산하는것 ==> y = b + ax # 랜덤하게 평균0, 표준편차1의 가우시안 표준정규분포 난수 x, y를 50개씩 뽑습니다 np.random.seed(42) # 동일한 결과를 보기 위해 시드를 고정합니다. https://numpy.org/doc/stable/reference/random/generated/numpy.random.seed.html x = np.random.randn(50) y = np.random.randn(50) #seaborn 을 통해서 산점도를 확인할 수 있음 sns.regplot(x, y) plt.show() y'(오차함수) = b + ax ( 알파는 y절편.. 2021. 5. 15.
n113 Data Manipulation(merge, melt, concat) *pandas version 확인 *pd.__version__ /// pd.show__version() def coloring_text(val): if val > 0: color = '#1e3799' else: color = '#eb2f06' return 'color: %s' % color df[['순이익률']].style.applymap(coloring_text) 해당 부분 색바꿔줌 *df.applymap(lambda x: x**2) ==> 해당 함수 적용 pip install pandas ##pandas version 확인 *pd.__version__ /// pd.show__version() ==> python, pandas, numpy, matplotlib ... 버전확인가능 ##create Dat.. 2021. 5. 10.
N111a EDA(Exploratory Data Analysis) EDA (exploratory data analysis) =분석과 이해를 통해서 ===> Data Preprocessing(전처리) 과정이 들어감 EDA란, 데이터 분석에 있어서 매우 중요한, 초기 분석의 단계를 의미하며 시각화 같은 도구를 통해서 패턴을 발견하거나 데이터의 특이성을 확인하거나 통계와 그래픽 (혹은 시각적 표현)을 통해서 가설을 검정하는 과정 등을 포함합니다. EDA의 방법은 크게 2가지 (Graphic, Non-Graphic) 으로 나눠질 수 있으며 Graphic : 차트 혹은 그림 등을 이용하여 데이터를 확인하는 방법입니다. Non-Graphic :그래픽적인 요소를 사용하지 않는 방법으로, 주로 Summary Statistics를 통해 데이터를 확인하는 방법입니다. 동시에, EDA의 .. 2021. 5. 9.
N112a Feature Engineering / iloc Feature Engineering 특정 값을 새롭게 만들어 내는 것 (데이터셋에 존재하는 feature들을 재조합하여 새로운 feature 특성을 부여) 함수가 메소드보다 더 포괄적인의미를 가짐... 메소드 = 객체와(자료형)연관되어 사용되는 것은 메소드(= .split(), .append() ....) from google.colab import data_table data_table.enable_dataframe_formatter() ''' 데이터 불러오기 ''' sep 또는 delimiter = 지정된 문자로 열을 구분하여 데이터 프레임을 만든다. *sep=',' ==> csv는 쉼표로 구분된 엑셀 파일이라 sep=',' 해줘여하는데 안해도 잘나옴 *thousands= "," ==> 하게 되면 모.. 2021. 5. 9.
728x90

티스토리툴바