python3 (3) 썸네일형 리스트형 Pandas에서 dataframe 메모리 초기화하기..! pandas에서 대용량 데이터를 ram에 올리고 계산을 하다 보면 다음과 같은 상황을 목격하게 된다.top으로 메모리 사용을 모니터링하다보면, PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3532 root 20 0 37.689g 0.026t 7624 R 88.7 95.8 33:13.73 python3 1847 root 20 0 2763276 7656 2712 S 0.7 0.0 6:02.22 docker-containe 음....? 메모리가... 넘치려 한다...! 이유는 메모리의 히스토리가 남아서... pandas는 numpy를 기반으로 만들어져있는데, df = pd.read_csv("...") df = pd.read_csv("...")이렇게 두번 불러.. Jupyter에 python3 커널 추가하기. 필자는 tensorflow GPU버전을 설치하면서 python2커널밖에 깔려있지 않는 것을 알았다.그래서 python3 커널을 이 docker image에 추가하였다. 모든 작업은 python2 커널 노트북에서 실행되었다.노트북 위에서도 리눅스 명령어를 칠 수 있는것 다 알고 계셨죠? !apt-get update!apt-get install python3-pip -y!pip3 install --upgrade pip!python3 -m pip install ipykernel!python3 -m ipykernel install --user 이렇게 하고 노트북 다시 시작하면 python3 추가되어있습니다. = )하지만 python3에는 모든 패키지가 설치가 안되어있기 때문에, 다시 설치를 해줘야 하는 번거로움.. 파이썬 한글 (utf-8) 인코딩 관련 최종 정리! 파이썬에서 한글을 사용하기 위해서는!? 1. python3.x를 쓰면 된다..! python2.x에서는 디폴트 인코딩이 ASCII이다. 그래서 영어를 읽어오는데는 아무 문제가 없다.하지만 한글을 포함한 특수문자, 즉 ASCII를 벗어난 문자가 등장하면 읽어오는데 많은 문제점이 있다. 이를 해결하기 위에 파일 제일 위에 #-*-coding:utf-8-*-와 비스무리한 걸 넣으면 된다. decode().encode() 뭐 이런걸 넣으면 된다. 불라불라~ 말이 많다. 하지만 경험상 전부 잘 되지 않는다. 한계점이 많다. 이 때 python3.x는 디폴트 인코딩이 utf-8이 가능하다. 따라서 한글을 포함한 특수문자들이 아~무 문제없이 읽힌다. 2. python3.x에서도 한글이 안읽혀요...ㅜㅜ 가끔 이런 짜.. 이전 1 다음