유승훈

1. Concat 전에 올린 글에서도 말했듯 데이터는 언제나 원하는 모양이나 형태로 오지 않습니다. 또 항상 하나로 오지도 않습니다. 여러개로 나뉘어 오기도 하죠. 날짜, 시간별로 생성되기 때문일수도 있고, 용량이 크기 때문에 일부러 나누기도 합니다. 그래서 데이터를 합칠수도, 나눌수도 있어야합니다. 여러 파일에 같은 처리를 한번에 하거나, 합쳐서 처리한 다음 나누기도 합니다. Pandas에서 데이터를 합칠때 사용하는것이 concat입니다. 기본적으로 합칠 데이터프레임을 리스트 형태로 입력합니다. 경우에 따라 데이터를 행으로 연결하기도, 열로 연결하기도 합니다. 이때 axis로 붙일 방향을 변경할수있습니다. default로 axis는 0으로 되어있어 행으로 데이터를 병합하지만, 1로 넣으면 열로 데이터를..

1. Tidy Data 데이터는 엄청나게 다양한 형태와 모양으로 옵니다. 세상에 다루기 편한 데이터만 있는 것은 아니기 때문에 원하는대로 데이터의 모양을 바꾸는 방법도 알 필요가 있습니다. Hardley Wickham의 "Tidy Data"라는 페이퍼에서는 데이터분석에서 사용되는 여러가지 요소들에 맞게 데이터의 형태를 바꾸는 방법을 소개하고 있습니다. 사진의 두 테이블은 정확히 같은 데이터지만, 전혀 다른 형태를 가지고 있습니다. 깔끔한 데이터에 대한 조건을 살펴보자면 각 열은 다른 변수를 가지고 있다. 각 행은 개별적인 관측치를 담고 있다. observational units form tables 이 조건을 만족하는 테이블은 둘 중 왼쪽 테이블입니다. 각 열이 이름, 치료법A, 치료법B를 담고있고, 각..

Datacamp에서 들은 강의에 대한 공부내용입니다. 1차적으로 강의에 나온 내용만 정리해두고, 자세하게 공부한 내용을 추가적으로 업데이트할 예정입니다. 데이터 전처리는 중요합니다. 데이터가 언제나 깔끔하고 이쁜 형태로 온다는 보장은 없기 때문이죠. Column name이 이상할수도 있고, 데이터가 없거나 나올수없는 값이 있을수도 있습니다. 그 외에도 중복값, 이상치 등 데이터 전처리에서는 많은 것들을 다룹니다. 이런 전처리를 하기 전에, 우리는 데이터가 어떻게 생겼는지를 들여다 볼 필요가 있습니다. 모양을 알아야 주물러서 우리가 다루기 편하게 변형할수있기 때문이죠. 1. head, tail, columns, shape, info 처음 데이터를 다룰때 가장 많이 쓰이곤 하는 Titanic dataset을..