코딩일기

안녕하세요 다제입니다. 오늘은 코드를 뜯어보다가 발견한 Slurm, EncoderWrapper, nn.ModuleList에 대해서 알아보도록 하겠습니다. Slurm Slurm이란? Slurm 은 유저(사용자)가 서버에 제출한 task(job)을 스케줄링 해주는 프로그램입니다. 유저가 GPU 자원을 요청하면 자원을 빌려주거나, 가용한 자원이 없으면 대기시키는 역할을 합니다. 특히 여러 대의 서버를 엮어서 Slurm을 사용하는 경우가 많은 것을 이번에 처음 알게 되었습니다. Slurm의 장점 -. 유저는 노드들을 돌며 일일이 nvidia-smi, htop을 찍어보면서 어느 GPU가 비었나 확인하지 않아도 됩니다. -. GPU에 모델을 올려놓고, 누가 내 GPU를 사용해 OOM이 뜨지 않을까 노심초사하지 않아..