본문 바로가기

Language&Framework&Etc112

Pytorch Multi-GPU 정리 중 용어 [노드] (분산 처리에서는 GPU가 달려 있는 machine을 node라는 용어로 지칭한다고 함) ex, 컴퓨터가 한 대 이면 node 1 ex, 컴퓨터가 두 대 이면 node 2 [World SIze] Number of processes participating in the job 작업에 사용되는 프로세스들의 개수 즉, 분산 처리에서 사용할 총 gpu 개수 [RANK] Rank는 Data Distributed Parallel에서 가동되는 process ID Global Rank: 전체 node에 가동되는 process id Local Rank: 각 node별 process id [Local Rank] 노드 내 프로세스의 로컬 순위 Local Rank를 0으로 한다면 0번째 GPU를 우선순위로 작업.. 2021. 12. 19.
Docker user 그룹에 넣기 도커를 다시 설치하고 나서 permission 문제로 user group에 추가, sudo groupadd docker sudo usermod -aG docker $USER 2021. 12. 10.
Docker 삭제하기 https://fedingo.com/how-to-uninstall-docker-in-ubuntu/ How to Uninstall Docker in Ubuntu - Fedingo Sometimes you may need to remove Docker from Linux system. Here is how to uninstall docker in Ubuntu. fedingo.com 위 사이트를 참고하여 삭제하니 잘 삭제되었다.(2021-12-10 Ubuntu 20.04 기준 입니다) 아래로 삭제할 패키지 리스트 확인 dpkg -l | grep -i docker 패키지 삭제 sudo apt-get purge -y docker-engine docker docker.io docker-ce docker-ce-cli.. 2021. 12. 10.
파이썬 정규식 연습장 학습 및 테스트를 위한 데이터 정리 중 정규식을 쓰는데 계속 잊어버려 따로 정리하려 한다. 우선 내가 정리하려는 데이터의 이름들은 아래와 같다. x1_002_1_0 x1_002_2_0 x1_002_3_0 x1_002_4_0 x1_002_5_0 x1_002_6_0 .... x2_345_6_0 여기서 나는 빨간색 index들을 training set으로 쓰고 파란색 index들을 validation set으로 쓰고 보라색 index들을 testing set으로 쓰려고 한다. 물론 파이썬 반복문을 사용해서 index로 접근할 수 있지만 편하게 정규식을 사용하려고 한다. 정규식표현 할 때 아래 사이트를 이용하면 미리 expression을 시험해볼 수 있다. https://regexr.com/ RegExr: Le.. 2021. 12. 1.