본문 바로가기

반응형

2018/04

(6)
pandas dataframe에 multiple condition on multiple column 판다스에서 DataFrame에서 특정 Column에 조건을 넣는 가장 쉬운 방법은 다음과 같다.df1 = df[(df.a != -1)] 뜻은 df의 a열에 조건을 넣은 경우이다. 다음의 경우와 동치이다.df1 = df[(df['a'] != -1)] 원리는 (df['a'] != -1)가 해당 조건에 맞는 index의 true, false를 ndarray형으로 리턴하는 방식이다. 따라서 다중 조건을 넣는 것은 다음과 같이 응용할 수 있다.df1 = df[(condition1) & (condition1)]파이썬의 if문에서 and를 사용하는 것과 다르다는 것에 유의하자. 이번에는 파이썬에서 특정 Column만 부르는 것을 살펴보자.사실 이미 위의 예제들에서 사용하고 있었는데 df.a 또는 df['a']와 같이..
Pandas에서 dataframe 메모리 초기화하기..! pandas에서 대용량 데이터를 ram에 올리고 계산을 하다 보면 다음과 같은 상황을 목격하게 된다.top으로 메모리 사용을 모니터링하다보면, PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3532 root 20 0 37.689g 0.026t 7624 R 88.7 95.8 33:13.73 python3 1847 root 20 0 2763276 7656 2712 S 0.7 0.0 6:02.22 docker-containe 음....? 메모리가... 넘치려 한다...! 이유는 메모리의 히스토리가 남아서... pandas는 numpy를 기반으로 만들어져있는데, df = pd.read_csv("...") df = pd.read_csv("...")이렇게 두번 불러..
if-else 구문 vs try-except 구문 성능, 편의성 모두 try except가 우세함. 설명하기 귀찮으니 설명은 다음 링크를 참고. 왜? 지금 할일이 매우 많으니까..... 나중에 시간이 난다면 여러번 반복해서 속도를 측정하고 글을 보충하겠다. 과연,,,? 링크
Docker 초보자 필수 매뉴얼 1. 도커 핵심 개념 잡기 컨테이너와 이미지부터... (링크)- 위 글에서 다음편으로 가는 것 보다 개념을 숙지하고 설치는 최신 공식 문서를 참조하여 설치하는 법을 추천.- 혹은 설치를 완료하였다면 기본 사용법은 다음 매뉴얼을 참고하는 것을 추천 2. 도커 볼륨 사용법 (링크 1, 2, 3) - 도커의 컨테이너에 대해 이해했다면, 컨테이너는 사라짐과 동시에 모든 데이터가 사라진다. - 따라서 데이터의 경우 따로 관리를 해주어야 한다.- 특히 필자처럼 main은 SSD, data는 HDD에 보관하는 경우 글쓰는 시점에 멘붕이 와서 추가 작업중이다.- 따라서 볼륨에 대해 제대로 이해하고 미리 세팅을 하면 아주 편할 것이다.- 링크1에서 개념을 이해하고, 2에서 좀더 전문적으로 이해서 사용해보자. 필자는 그냥..

반응형