파이썬 (8) 썸네일형 리스트형 Pandas에서 dataframe 메모리 초기화하기..! pandas에서 대용량 데이터를 ram에 올리고 계산을 하다 보면 다음과 같은 상황을 목격하게 된다.top으로 메모리 사용을 모니터링하다보면, PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3532 root 20 0 37.689g 0.026t 7624 R 88.7 95.8 33:13.73 python3 1847 root 20 0 2763276 7656 2712 S 0.7 0.0 6:02.22 docker-containe 음....? 메모리가... 넘치려 한다...! 이유는 메모리의 히스토리가 남아서... pandas는 numpy를 기반으로 만들어져있는데, df = pd.read_csv("...") df = pd.read_csv("...")이렇게 두번 불러.. if-else 구문 vs try-except 구문 성능, 편의성 모두 try except가 우세함. 설명하기 귀찮으니 설명은 다음 링크를 참고. 왜? 지금 할일이 매우 많으니까..... 나중에 시간이 난다면 여러번 반복해서 속도를 측정하고 글을 보충하겠다. 과연,,,? 링크 파이썬을 이용한 CDF, PDF 그리기 (편집중) 이 글을 읽으면 도움이 많이 된다..! https://mycourses.aalto.fi/pluginfile.php/146910/mod_resource/content/1/binning_tutorial.pdf 1. pdf log binning 해서 plot하기 data = 넣어주기 # data 는 1-D list 형태로 maxbin = math.ceil(np.log10(max(data)))hist, bins = np.histogram(data , bins=np.logspace(0, maxbin, num=nbins, endpoint=True, base=10.0, dtype=None) , normed=False )bin_centers = (bins[1:]+bins[:-1])*0.5 # histogram에서 bi.. 파이썬 한글 (utf-8) 인코딩 관련 최종 정리! 파이썬에서 한글을 사용하기 위해서는!? 1. python3.x를 쓰면 된다..! python2.x에서는 디폴트 인코딩이 ASCII이다. 그래서 영어를 읽어오는데는 아무 문제가 없다.하지만 한글을 포함한 특수문자, 즉 ASCII를 벗어난 문자가 등장하면 읽어오는데 많은 문제점이 있다. 이를 해결하기 위에 파일 제일 위에 #-*-coding:utf-8-*-와 비스무리한 걸 넣으면 된다. decode().encode() 뭐 이런걸 넣으면 된다. 불라불라~ 말이 많다. 하지만 경험상 전부 잘 되지 않는다. 한계점이 많다. 이 때 python3.x는 디폴트 인코딩이 utf-8이 가능하다. 따라서 한글을 포함한 특수문자들이 아~무 문제없이 읽힌다. 2. python3.x에서도 한글이 안읽혀요...ㅜㅜ 가끔 이런 짜.. 이전 1 2 다음