본문 바로가기

전체 글

 (44)
단순 선형회귀 모형에 관한 가정 (SR3~SR6) 오늘은 계량경제학 내의 단순 선형회귀 모형에 관한 나머지 가정들을 알아보도록 하겠습니다. 이전의 가정들을 정리해 놓은 포스팅은 밑의 링크에서 확인하실 수 있습니다. https://bigdata-doctrine.tistory.com/38 [계량경제학] 단순 선형회귀 모형에 관한 가정 (SR1~SR2) 단순 선형회귀는 X의 변화에 따른 Y의 평균적인 변화를 알아볼 수 있는 좋은 도구입니다. 하지만, 그전에 자료 값들이 특정한 조건들을 만족하는지를 살펴보아야 합니다. 특정한 조건들을 만족 bigdata-doctrine.tistory.com SR3 : 조건부 동분산 각각의 x값에 대한 무작위 오차항의 조건부 분산이 모두 동일하다는 가정입니다. 오차항은 각각의 x값에 대해 동일한 분산을 나타내야 합니다. 각각의 ..
단순 선형회귀 모형에 관한 가정 (SR1~SR2) 단순 선형회귀는 X의 변화에 따른 Y의 평균적인 변화를 알아볼 수 있는 좋은 도구입니다. 하지만, 그전에 자료 값들이 특정한 조건들을 만족하는지를 살펴보아야 합니다. 특정한 조건들을 만족하지 않는 자료 값들로 회귀 분석을 할 경우 분석의 결과는 유용하지 않을 수 있습니다. 지금부터 계량경제학 내의 단순 선형회귀 모형에 관한 가정들에 대해 알아보겠습니다. 개요 먼저 개략적으로 살펴보겠습니다. 가정들은 SR1~SR6로 이루어져 있으며, SR은 "Simple Rregresion", 즉 단순 선형회귀를 의미합니다. SR1 : 계량경제 모형 SR2 : 강 외생성 SR3 : 조건부 동분산 SR4 : 조건부적으로 상관되지 않은 오차 SR5 : 설명변수는 변화해야만 한다 SR6 : 오차 정규성(선택적) 하나하나 자세히..
[Python] ValueError: If using all scalar values, you must pass an index 간단 해결 방법 위의 오류가 떴다면 당신은 딕셔너리를 데이터프레임으로 만드는 과정에서 오류가 떴을 가능성이 높다. 오류의 내용은 데이터프레임의 모든 값이 스칼라 형태일 경우 인덱스 값을 입력해야 한다는 것이다. 스칼라란 1차원 데이터를 의미한다. 리스트로 감싸주면 2차원 데이터(벡터), 리스트 안에 또 리스트로 감싸주면 3차원 데이터(행렬)가 된다. 해결하기 위해서는 스칼라 형태를 바꾸든, 인덱스 값을 입력하든 하면 된다. 딕셔너리를 리스트로 감싸는 방법도 있다. 해결 방법 1. 인덱스 값 입력 >>> dic = {"A": "a", "B": "b", "C": "c", "D": "d"} >>> pd.DataFrame(dic, index=[0]) A B C D 0 a b c d 오류 메시지의 뜻대로 인덱스를 입력해 준다. ..
[Python] 랜덤 포레스트로 뉴스 기사 카테고리 예측 모델 생성 이 포스팅은 이전의 "네이버 기사 본문 형태소로 Bag of Words(BoW) 생성"에 이어 계속됩니다. https://bigdata-doctrine.tistory.com/35 [Python] 네이버 기사 본문 형태소로 Bag of Words(BoW) 생성 이 포스팅은 이전의 "카테고리별 네이버 기사 크롤링"에 이어 계속됩니다. https://bigdata-doctrine.tistory.com/34 [Python] 카테고리별 네이버 기사 크롤링 오늘은 네이버 기사를 카테고리별로 크롤링하여 bigdata-doctrine.tistory.com 이전 시간에는 카테고리별로 수집한 네이버 기사의 본문을 형태소 단위로 나누어 각 본문에서 등장한 형태소의 빈도수를 데이터프레임으로 정리해 보았습니다. 이번 시간에는 ..
[Python] 네이버 기사 본문 형태소로 Bag of Words(BoW) 생성 이 포스팅은 이전의 "카테고리별 네이버 기사 크롤링"에 이어 계속됩니다. https://bigdata-doctrine.tistory.com/34 [Python] 카테고리별 네이버 기사 크롤링 오늘은 네이버 기사를 카테고리별로 크롤링하여 제목, 날짜, 본문, 카테고리, 링크의 속성을 가진 데이터프레임을 만들어보겠습니다. 이후 포스팅에서는 카테고리별로 수집한 네이버 기사의 본 bigdata-doctrine.tistory.com 이전 시간에는 네이버 기사를 카테고리별로 크롤링하여 제목, 날짜, 본문, 카테고리, 링크의 속성을 가진 데이터프레임을 만들어보았습니다. 이번 시간에는 카테고리별로 수집한 네이버 기사의 본문을 형태소 단위로 나누어 각 본문에서 등장한 형태소의 빈도수를 데이터프레임으로 정리해 보겠습니다...
[Python] 카테고리별 네이버 기사 크롤링 오늘은 네이버 기사를 카테고리별로 크롤링하여 제목, 날짜, 본문, 카테고리, 링크의 속성을 가진 데이터프레임을 만들어보겠습니다. 이후 포스팅에서는 카테고리별로 수집한 네이버 기사의 본문을 형태소 단위로 나누어 각 본문에서 등장한 형태소의 빈도수를 데이터프레임으로 정리해 보겠습니다. 이후엔 그 데이터프레임을 가지고 랜덤 포레스트를 시행하여 아무 기사의 본문을 넣으면 카테고리를 예측하는 모델을 만들어보겠습니다. 한 카테고리와 페이지에서 뉴스 기사 링크 수집 일단, 각 페이지에서 뉴스 링크를 수집하는 함수를 만들어보겠습니다. import requests from bs4 import BeautifulSoup from tqdm.notebook import tqdm 기본적으로 크롤링에 필요한 모듈인 requests..
[Pandas] 데이터프레임 정렬, 선택, 삭제 문법 및 사용법 정리 오늘은 Pandas 모듈을 사용하여 데이터프레임을 정렬, 선택, 삭제하는 방법에 대해 알아보겠습니다. 데이터프레임 내의 데이터를 순서대로 정렬하고, 특정 데이터만 선택하고, 삭제할 수 있습니다. [데이터프레임 생성] df = pd.read_csv("stock_df.csv", encoding="CP949") df 먼저 외부에서 다운로드한 자료로 데이터프레임을 생성해보았습니다. 데이터프레임 정렬 [PER 오름차순 정렬] df.sort_values(by=["per"]) sort_values 함수를 통해 데이터를 순서대로 정렬할 수 있습니다. 함수 안의 by 변수를 통해 어떤 컬럼을 기준으로 정렬할지를 선택해 주셔야 제대로 정렬이 됩니다. [PER 내림차순 정렬] df.sort_values(by=["승차총승객수..
[Pandas] 데이터프레임 탐색 문법 및 사용법 정리 오늘은 Pandas 모듈을 사용하여 데이터프레임을 탐색하고 출력하는 방법에 대해 알아보겠습니다. 데이터프레임을 출력하는 것뿐만 아니라 각종 통계치를 확인하거나 정보를 확인할 수 있습니다. 데이터프레임 탐색 [데이터프레임 생성] import pandas as pd data1 = {"연도": range(2000, 2010), "성적": [90, 80, 70, 80, 85, 90, 75, 80, 90, 85]} df = pd.DataFrame(data1) 탐색하기에 앞서서 일단 간단한 데이터프레임을 만들어보았습니다. [앞의 행 출력] df.head() head 함수를 통해 맨 위 행부터 5개의 행을 출력할 수 있습니다. 괄호 안에 숫자를 넣으면 맨 위 행부터 입력한 숫자만큼의 행을 출력합니다. [뒤의 행 출력..
반응형

티스토리툴바