[머신러닝 파이프라인] HPO W&B Sweeps(feat. )

 

 

 

이미지 출처 : wandb.ai / 홈페이지 첫 화면

 

 

안녕하십니까 다제입니다. 

 

오늘은 지난 시간에 이어 weight & bias sweeps에 대한 기능을 알아보도록 하겠습니다. 

지난 번 글을 못보신 분들은 아래 링크를 참고해주시면 감사드리겠습니다. 

2021.12.07 - [분류 전체보기] - [머신러닝 파이프라인] HPO W&B Sweeps(feat. )

[머신러닝 파이프라인] HPO W&B Sweeps(feat. )

 

 

1. 학습목표

  -. HPO(Hyper Parameter Optimization)에 대해 이해한다. 

  -. W&B Sweeps 솔루션 개요를 이해한다. 

  -. W&B Sweeps 사용 방법에 대해 이해한다. 

 

 

2. HPO가 필요한 이유 

  -. learning rate을 몇으로 하면 성능이 잘 나올까?

  -. 어떤 하이퍼파라미터가 제일 중요할까?

  -. 모델 아키텍처에 따른 실험 결과는 어떻게 되었지?

  -. 이러한 고민을 해결하려면 HPO(Hyper Parameter Optimization)를 필수적으로 해야합니다. 

 

 

3. SWEEP은 무엇이지?

  -. Sweep은 기본적으로 하이퍼 파라미터를 자동으로 최적화(HPO) 해주는 도구입니다.

  -. Sweep에서 제공하는 Search 방식은 grid 방식, random 방식, bayes 방식이 있습니다.

  -. 선택한 search 방식으로 하이퍼 파라미터 튜닝이 완료 되면 WandB의 웹에서 제공되는 dashboard로 시각화된 모습을 볼 수 있습니다.

 

 

4. 코드 

sweep_config = {
    "method" : "grid",
    "parameters" : {
        "values" : [64, 96, 128, 256]}, 
    "layer1_activation" : {
        "values" : ["relu", "sigmoid"]},
    "dropout_rate" : {
        "values" : [0.1, 0.2, 0.3, 0.4, 0.5]}
                    }
                }

 

위와 같이 sweep_config를 사용하면 다양한 서치가 가능하고, 또한 보고서도 바로 작성이 가능합니다. 

 

※ 참조 링크 : https://github.com/wandb/examples/blob/master/examples/wandb-sweeps/sweeps-python/notebook.ipynb

 

 

config를 어떻게 설정하느냐에 따라서 많은 양의 search가 이루어지게 됩니다. 

 

먼가 소개를 하려고 하려니 너무 두루뭉술하게 글이 써졌습니다. 

 

추후 더욱 글을 보안해보도록 하겠습니다. 

 

감사합니다.