자료검색

엑셀의 한계를 넘어 파이썬을 이용한 데이터 분석으로

엑셀은 쉽고 직관적이지만 수백 개의 파일을 다루기는 무리다. 파이썬을 이용하면 엑셀의 한계를 넘어 다양한 형식의 데이터를 가공하고 수많은 파일을 분석할 수 있다. 이 책은 일반인을 위한 파이썬 기초부터 CSV, 엑셀, 데이터베이스의 데이터를 분석하는 파이썬 코드 작성법까지 친절하게 알려준다. 파일 파싱, 그룹화, 통계 산출, 시각화에 필요한 각종 파이썬 라이브러리도 함께 알아본다. 데이터 분석 고수가 되겠다는 의지가 있다면 프로그래밍 경험은 필요 없다.

프로그래밍 경험이 없는 입문자를 위한 파이썬 데이터 분석 A to Z
데이터 분석가가 프로그래밍을 배우면 수작업이 불가능한 방대한 규모의 데이터를 처리하고 분석하는 것이 가능해진다. 파이썬을 활용하면 대용량 파일과 다량의 파일을 빠르고 효율적으로 처리할 수 있다. 여기에 작업 스케줄러 등을 이용하면 파이썬 스크립트를 정해진 주기에 자동으로 실행하는 것도 가능하므로 단순 반복 작업을 줄여 소중한 시간을 아낄 수 있다.
이 책은 데이터 분석을 하고 있지만 프로그래밍 경험은 전혀 없는 사람들을 대상으로 한다. 먼저 프로그래밍 경험이 전혀 없는 독자를 위해 텍스트 파일에서 코드를 작성하는 아주 기초적인 단계부터 시작한다. 그다음 CSV 파일, 엑셀 파일, 데이터베이스를 소스로 삼아 파일을 파싱하거나 데이터를 불러온 다음 처리하고 분석하고 출력하는 예제를 만들어본다. 이 과정에서 데이터 분석 실무에 자주 사용되는 주요 파이썬 패키지 사용법을 함께 익히며, 특히 팬더스를 사용한 코드와 그렇지 않은 코드를 함께 제공한다. 이러한 내용을 확장하여, 대량의 엑셀 및 CSV 파일에서 특정 레코드 찾기, CSV 파일에서 카테고리별 통계치 계산하기, 텍스트 파일을 파싱하고 카테고리별 통계치 계산하기 등 세 가지 응용 사례도 다룬다.
후반부는 데이터 분석에서 빼놓을 수 없는 시각화와 통계분석을 파이썬으로 코딩하는 방법을 살펴본다. 실무에서 사용하는 주요 패키지와 그 사용법을 익히고, t 검정, 회귀분석 등 기초적인 통계분석 예제를 살펴본다. 이어서 윈도우와 맥 OS에서 작성한 파이썬 스크립트를 정해진 시간이나 주기에 자동으로 실행하는 방법을 알아보고, 마지막으로 머신러닝, 자료구조 등 이후 더 공부할 주제를 간단히 소개한다.
프로그래밍 입문자를 위해, 예제는 곧바로 실행 가능한 완전한 코드로 구성했고, 주요 과정은 스크린샷을 함께 실었다. 이 책을 통해 코드가 작동하는 ‘원리’를 이해하면 이후 실무에서 마주칠 어떤 종류의 작업에도 일반화해서 활용할 수 있는 프로그래밍 기술을 익힐 수 있다.

주요 내용
ㆍ파이썬 기본 문법을 익혀 스크립트 작성하기
ㆍCSV 파일 읽고 파싱하기(csv, pandas)
ㆍ여러 엑셀 워크시트 읽기(xlrd)
ㆍMySQL 데이터베이스 연산 수행하기(mysqlclient)
ㆍ특정 레코드 찾기, 데이터 그룹화하기, 텍스트 파일 파싱하기
ㆍ통계 그래프와 그림 그리기(matplotlib, pandas, ggplot, seaborn)
ㆍ통계치 산출, 회귀분석, 분류 문제(statsmodels)
ㆍ윈도우와 맥 OS에서 스크립트를 정해진 시간에 자동 실행하기

예제 소스
https://git.io/vdMDw

[추천사]
파이썬으로 데이터 처리 방법을 배우고자 하는 사람에게 아주 적합한 책이다. 튜토리얼 스타일과 연습 문제로 이루어져 파이썬 언어, 프로그래밍 환경, 주요 패키지 사용법을 배우기 안성맞춤이다.
- 웨스 맥키니, 『파이썬 라이브러리를 활용한 데이터 분석』 저자

CHAPTER 1 파이썬 기초
__1.1 파이썬 스크립트를 생성하는 방법
__1.2 파이썬 스크립트 실행 방법
__1.3 명령 줄에서 유용한 팁 몇 가지
__1.4 파이썬 기본 구성 요소
__1.5 텍스트 파일 읽기
__1.6 glob을 이용해 다수의 텍스트 파일 읽기
__1.7 텍스트 파일 쓰기
__1.8 print 문
__1.9 연습 문제

CHAPTER 2 CSV 파일
__2.1 기본 파이썬 대 팬더스
__2.2 CSV 파일 읽고 쓰기(파트1)
__2.3 기본 문자열 파싱이 실패하는 경우
__2.4 CSV 파일 읽고 쓰기(파트2)
__2.5 특정 행을 필터링하기
__2.6 특정 열 선택하기
__2.7 연속된 행 선택하기
__2.8 헤더 추가하기
__2.9 여러 개의 CSV 파일 읽기
__2.10 여러 파일의 데이터 합치기
__2.11 파일에서 데이터 값의 합계 및 평균 계산하기
__2.12 연습 문제

CHAPTER 3 엑셀 파일
__3.1 엑셀 통합 문서 내부 살펴보기
__3.2 단일 워크시트 처리
__3.3 통합 문서의 모든 워크시트 읽기
__3.4 엑셀 통합 문서에서 워크시트 집합 읽기
__3.5 여러 개의 통합 문서 처리하기
__3.6 연습 문제

CHAPTER 4 데이터베이스
__4.1 파이썬 내장 모듈 sqlite3
__4.2 MySQL 데이터베이스
__4.3 연습 문제

CHAPTER 5 응용 작업
__5.1 대량의 파일에서 원하는 집합 찾기
__5.2 CSV 파일에서 카테고리별 통계치 계산하기
__5.3 텍스트 파일에서 카테고리별 통계치 계산하기
__5.4 연습 문제

CHAPTER 6 데이터 시각화
__6.1 matplotlib
__6.2 팬더스
__6.3 ggplot
__6.4 seaborn

CHAPTER 7 기술통계와 모델링
__7.1 데이터셋
__7.2 와인 품질 데이터셋
__7.3 고객 이탈 데이터셋

CHAPTER 8 스크립트 자동 실행 예약하기
__8.1 작업 스케줄러(윈도우)
__8.2 크론 유틸리티(맥 OS 및 유닉스)

CHAPTER 9 더 공부할 것들
__9.1 추가 표준 라이브러리 모듈과 내장 함수
__9.2 파이썬 패키지 인덱스(PyPI) 추가 모듈
__9.3 추가 자료구조
__9.4 더 공부해야 할 것들