리눅스 (9) 썸네일형 리스트형 리눅스 하드 추가 및 파티션 RAID 설정하기 0. Intro. 현재 나의 상황 대용량의 개인 서버를 처음 다뤄보는 나는 지금 4T짜리 HDD를 2대에서 4대로 증설했다.데이터 분석을 하는데, 백업 공간이 부족하기 때문이다.현재 4T HDD를 RAID1으로 묶여있다.앞으로 할 작업은 4T HDD 두대를 설치후 RAID1으로 묶을 작업이다. 1. RAID란? RAID의 종류에는 가장 기본으로는 0 (stripping)과 1 (mirroring)이 있다.간단하게 말하자면, RAID0은 성능향상을 위해, RAID1은 안정성 향상을 위해 쓴다.RAID0은 성능향상을 위해 디스크를 묶는다. 따라서 디스크 전체 용량이 커진 셈이지만, 고장이 날 경우 모두 고장나기 때문에 안정성 측면에서 떨어지는 편이다. RAID1은 이름에서도 알 수 있듯이, 안정성 향상을 위.. Pandas에서 dataframe 메모리 초기화하기..! pandas에서 대용량 데이터를 ram에 올리고 계산을 하다 보면 다음과 같은 상황을 목격하게 된다.top으로 메모리 사용을 모니터링하다보면, PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 3532 root 20 0 37.689g 0.026t 7624 R 88.7 95.8 33:13.73 python3 1847 root 20 0 2763276 7656 2712 S 0.7 0.0 6:02.22 docker-containe 음....? 메모리가... 넘치려 한다...! 이유는 메모리의 히스토리가 남아서... pandas는 numpy를 기반으로 만들어져있는데, df = pd.read_csv("...") df = pd.read_csv("...")이렇게 두번 불러.. Docker를 이용하여 tensor flow (GPU ver) 사용하기. 본 글은 리눅스 ubuntu 16.04.4 LTS Xeniel에서 Docker를 이용하여 GTX1080Ti GPU를 사용하기 위한 tensorflow GPU버전을 설치하는 과정이다. 0. Docker Install 방법은 지난 글 참고. (링크) 1. Tensorflow official docker image PULLsudo docker pull tensorflow/tensorflow 2. nvidia-docker 설치# If you have nvidia-docker 1.0 installed: we need to remove it and all existing GPU containersdocker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 doc.. 쉘 스크립트를 이용한 C 코드 병렬처리 연구의 효율을 위해선 병렬처리가 필수적이다. 병렬 처리를 하는 방법은 다양하다. 여러 방법 중, 이 글에선 아주 기초적인 수준의 병렬처리를 1대의 서버에서 스크립트 단계에서 arg를 이용해 처리하고자 한다. 0. 서론 계산 결과를 빠르게 얻기 위해서는 프로그램에서 단순히 반복되서 처리되는 부분을 나눠서 처리하면 된다. 이러한 방법을 병렬 처리라 한다.병렬처리에 대한 방법은 여러가지가 있다. C프로그램 내에서 자체적으로 하는 방법도 있고, que를 관리하는 torque와 같은 매니저를 이용한 방법도 있다. torque를 이용하는 방법은 클라우딩 컴퓨팅까지 가능해서 프로그램 설정을 잘 해놓으면, 여러대의 서버에서 할당 해놓은 CPU들을 통해 분산처리까지 가능하다. 하지만 초보자 수준에서는 매우 어려운 것이 .. 이전 1 2 3 다음