[AutoML] WandB (W&B)란? Sweeps 개념, 정리, 설명
안녕하세요, HELLO 머신러닝 혹은 딥러닝 프로젝트를 진행하면서, 원하는 결과를 달성하기 위해 다양한 모델과 이에 따라 여러 가지 hyper parameter를 변경하면서 실험을 이어갔습니다. parameter를 변경하며, 각 수치 및 결과를 정리하면서 모델을 훈련해갔습니다. 하지만, 훈련 과정이 길어지고, 기록을 남기는 과정에서 아래와 같은 한계점을 느꼈습니다. Hyper parameter 변경, 성능 확인, 개선 작업에서 생산성이 떨어졌습니다. 실험의 복잡성, 긴 시간의 실험 과정 등으로 인해 점차 실험 관리가 어려워졌습니다. 여러 실험 결과를 비교하는 문서 관리가 번거로워졌습니다. 마찬가지로, 결과 공유, 전달을 위해 보고서를 작성하는데 정리가 어려웠습니다. 회사 동료는 WandB를 통해서 모델 ..
2022. 9. 11.
[DATA] 스타트업 지원 사업 클러스터링 및 워드클라우드
안녕하세요, HELLO 이번에는 정부에서 주관하는 스타트업 지원 사업을 정리해서 지원 혜택 종류에 따라 클러스터링 (clustering)을 진행하고, 이후에는 지원 대상과 지원 혜택을 워드클라우드로 이미지를 그려보겠습니다. GPU 연산을 위해 구글 Colab을 활용했습니다. ■ 분석 목적 - 現 정부에서 주관하는 스타트업 지원 혜택 유형을 분류 - 각 지원 대상과 지원 혜택별로 키워드 파악 ■ 데이터 수집 - 2021년 1월 ~ 2022년 4월 12일 지원 목록 12,598건 - 소관부처, 수행기관, 지원분야, 공고명, 지원대상, 지원혜택, 신청시작일자, 신청종료일자, 등록일자, URL - 기업마당 크롤링 진행 2022.04.10 - [DATA_SCIENCE/Python] - [PYTHON] 기업마당_정..
2022. 4. 14.