데이터 짱이 되고 싶은 돌

- 범주형 데이터를 수치형으로 자동 변환 → 데이터 처리 간소화- 순서형 부스팅과 고르게 분포된 트리를 사용해 정확도를 높이고, 과적합을 줄이는 것이 특징

barplot : 수치형 데이터의 집계된 값을 시각화- x축 범주형 데이터, y축 수치형 데이터(예 : 성별에 따른 연봉, 지역 별 평균 나이) countplot : 범주형 데이터 빈도를 시각화- x축 범주형 데이터, y축 각 범주형 데이터 빈도(예 : 성별, 지역 별 인구 수)

ValueError : Expected 2D array, got 1D array instead: : 2차원배열로 변환하라는 오류 → .reshape 함수 이용하면 문제 해결 LinearRegression 문제 해결 중 발생→ X(독립변수)는 무조건 2차원 배열 (하나여도)

빅쿼리에 데이터 업로드 - 빅쿼리 회원가입 후 서비스 계정 생성 - 키 (.json파일로)- 다운받은 키 파일 업로드- 빅쿼리 - 스튜디오 - 프로젝트 이름 옆 점 세개 - 데이터 세트 만들기- 만들면 내 프로젝트 밑에 추가됨key_path = list(uploaded.keys())[0]credentials = service_account.Credentials.from_service_account_file(key_path)from google.cloud import bigqueryclient = bigquery.Client(credentials=credentials, project=credentials.project_id)job = client.load_table_from_dataframe(df,'myd..

from google.colab import userdataimport requestsimport pandas as pdimport xml.etree.ElementTree as ET# API 엔드포인트url = 'http://kopis.or.kr/openApi/restful/pblprfr' # 요청할 파라미터 설정params = { 'service': userdata.get('key'), # colab에 저장한 키 불러오기 'stdate': '20230601', 'eddate': '20230630', 'cpage': 1, 'rows': 100, 'signgucode': '11', 'kidstate': 'N'}# API 요청response = requests.get(u..

재현 가능성 : 항상 일관된 결과가 나오는지 확인해야함- 최근 p값을 사용하지 말아야 한다, 유의수준을 낮춰야 한다 등 논의중- 결과가 재현되지 않으면 가설의 신뢰도 떨어짐재현성 위기 원인- 실험 조건을 100% 똑같이 세팅하는 것이 어려움가설검정 자체도 100% 검정력을 가진 것이 아니라 오차가 생김- 가설검정 사용법이 잘못됨p값을 0.05로 유도할 수 있음 (p해킹)제 1종 오류를 저지를 수 있음 (의미없는데 의미있다고)유의수준 통제 중요 (너무 낮추면 베타값이 커짐 → 데이터 수를 늘리는 방향)우연히 0.05보다 낮아 잘못된 가설이 맞는 것처럼 나올 수 있음 ( → 가설 설정도 중요)p-해킹 : 데이터 분석을 반복해 p값을 의도적으로 낮추는 행위- 결과의 신뢰성이 떨어짐- 결과를 보면서 데이터 개수..

.join() : 리스트에 있는 요소를 합쳐주는 함수- ''.join(리스트) : 구분하는 요소를 넣지 않고 리스트를 합쳐 하나의 문자열로 만들어줌

https://school.programmers.co.kr/learn/courses/30/lessons/120896 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.krdef solution(s): answer = [] for i in s: if s.count(i)==1: answer.append(i) return ''.join(sorted(answer))- 개수가 1인 i를 answer에 추가- ''.join 을 이용해 리스트 각 요소에 아무것도 추가하지 않고 그대로 이어 붙임https://school.programmers.co.kr/learn/courses/..

https://school.programmers.co.kr/learn/courses/30/lessons/120846 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr합성수 찾기def solution(n): answer = 0 for i in range(1, n+1): cnt = 0 for j in range(1, i+1): if i % j == 0: cnt += 1 if cnt >= 3: answer += 1 return answerhttps://school.programmers.co.k..

유의성검정A/B 검정 : 두 그룹 중 어느 그룹이 더 효과있는지 비교- 모집단에서도 통계적으로 유의미한 결과가 나오는지 확인해야함- t-test를 통해 결과가 유의미한지 평가 : 보통 pvalue가 0.05보다 낮으면 의미있는 결과라고 평가가설검정 : 문제 정의 → 가설 설정 → 귀무(현재 상태) or 대립(입증하고자 하는 주장) 가설 설정- 데이터 분석 할 때 두가지 전략을 통해 분석할 수 있음확증적 자료분석 : 가설을 먼저 설정 → 가설 검증탐색적 자료분석 (EDA) : 데이터 탐색 → 가설 후보 설정단계귀무가설과 대립가설 설정유의수준 설정검정통계량 계산p-값, 유의수준 비교결론 도출t검정 : 두 집단 간 평균 차이가 통계적으로 유의미한지 검정- 독립표본 t검정 : 독립된 그룹 평균 비교- 대응표본 ..