유승훈

앞서 올린 글 (Python - Concat)과 이어지는 강의내용입니다. 1. glob 여러 데이터를 하나의 데이터로 만들려면, 병합하기 전에 python에 로드된 상태여야 합니다. 데이터가 비교적 적을때에는 하나하나 불러오는 코드를 작성하는게 불편하지 않으나, 10개 100개가 되면 각각의 파일을 불러오는 코드를 작성하는게 쉽지않습니다. 그때 glob을 사용합니다. 파일명의 패턴을 매치시켜 읽어오는 방식입니다. 여기서 *나 ?를 여러 파일을 한꺼번에 지정하는 용도로 활용할수있습니다. 정규표현식에 대해서 알고있거나 활용해봤다면 이해가 쉬울것같습니다. 이런 문자들을 Wildcard Character. 와일드카드 문자라고 합니다. *는 전체를 의미합니다. '*.csv"라고 하면 해당 경로에 있는 모든 csv..

티스토리 오래 전에 만들어놓고 안하다가 공부하고 시간 좀 지나면 홀랑 날리는것 같아서 기록용으로 시작했습니다. 방금 다시 시작한것같지만 글 두개 올려놓고 세개째 쓰던중에 끄적 카테고리 만들었습니다. 여기는 일기장 같은 카테고리로 활용될 예정입니다. 심심하면 또 써야지. 안녕

1. Concat 전에 올린 글에서도 말했듯 데이터는 언제나 원하는 모양이나 형태로 오지 않습니다. 또 항상 하나로 오지도 않습니다. 여러개로 나뉘어 오기도 하죠. 날짜, 시간별로 생성되기 때문일수도 있고, 용량이 크기 때문에 일부러 나누기도 합니다. 그래서 데이터를 합칠수도, 나눌수도 있어야합니다. 여러 파일에 같은 처리를 한번에 하거나, 합쳐서 처리한 다음 나누기도 합니다. Pandas에서 데이터를 합칠때 사용하는것이 concat입니다. 기본적으로 합칠 데이터프레임을 리스트 형태로 입력합니다. 경우에 따라 데이터를 행으로 연결하기도, 열로 연결하기도 합니다. 이때 axis로 붙일 방향을 변경할수있습니다. default로 axis는 0으로 되어있어 행으로 데이터를 병합하지만, 1로 넣으면 열로 데이터를..

1. Tidy Data 데이터는 엄청나게 다양한 형태와 모양으로 옵니다. 세상에 다루기 편한 데이터만 있는 것은 아니기 때문에 원하는대로 데이터의 모양을 바꾸는 방법도 알 필요가 있습니다. Hardley Wickham의 "Tidy Data"라는 페이퍼에서는 데이터분석에서 사용되는 여러가지 요소들에 맞게 데이터의 형태를 바꾸는 방법을 소개하고 있습니다. 사진의 두 테이블은 정확히 같은 데이터지만, 전혀 다른 형태를 가지고 있습니다. 깔끔한 데이터에 대한 조건을 살펴보자면 각 열은 다른 변수를 가지고 있다. 각 행은 개별적인 관측치를 담고 있다. observational units form tables 이 조건을 만족하는 테이블은 둘 중 왼쪽 테이블입니다. 각 열이 이름, 치료법A, 치료법B를 담고있고, 각..