Programing Language (38) 썸네일형 리스트형 Pandas에서 dataframe 메모리 초기화하기..! pandas에서 대용량 데이터를 ram에 올리고 계산을 하다 보면 다음과 같은 상황을 목격하게 된다.top으로 메모리 사용을 모니터링하다보면, PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3532 root 20 0 37.689g 0.026t 7624 R 88.7 95.8 33:13.73 python3 1847 root 20 0 2763276 7656 2712 S 0.7 0.0 6:02.22 docker-containe 음....? 메모리가... 넘치려 한다...! 이유는 메모리의 히스토리가 남아서... pandas는 numpy를 기반으로 만들어져있는데, df = pd.read_csv("...") df = pd.read_csv("...")이렇게 두번 불러.. if-else 구문 vs try-except 구문 성능, 편의성 모두 try except가 우세함. 설명하기 귀찮으니 설명은 다음 링크를 참고. 왜? 지금 할일이 매우 많으니까..... 나중에 시간이 난다면 여러번 반복해서 속도를 측정하고 글을 보충하겠다. 과연,,,? 링크 파이썬을 이용한 CDF, PDF 그리기 (편집중) 이 글을 읽으면 도움이 많이 된다..! https://mycourses.aalto.fi/pluginfile.php/146910/mod_resource/content/1/binning_tutorial.pdf 1. pdf log binning 해서 plot하기 data = 넣어주기 # data 는 1-D list 형태로 maxbin = math.ceil(np.log10(max(data)))hist, bins = np.histogram(data , bins=np.logspace(0, maxbin, num=nbins, endpoint=True, base=10.0, dtype=None) , normed=False )bin_centers = (bins[1:]+bins[:-1])*0.5 # histogram에서 bi.. 마스크를 이용한 워드클라우드 제작 깃헙 바로가기 Make the Word Cloud #1amueller의 wordcloud package를 이용한 mask를 활용한 wordcloud 만들기!참고:[1] https://github.com/amueller/word_cloud[2] http://minimaxir.com/2016/05/wordclouds/[3] https://github.com/minimaxir/stylistic-word-clouds/blob/master/wordcloud_github.py1. Package import & font, mask, message setup!이 코드는 mask를 다루는 부분, font를 다루는 부분, word를 다루는 부분으로 나뉜다. 먼저 필요한 패키지들을 불러오는데, numpy와 random, p.. 이전 1 ··· 6 7 8 9 10 다음
