AV 다운로드 스크립트 개발 & ML 데이터셋 수집
특정 웹 페이지에서 영화 정보 파싱 및 iframe 주소 추출, 다운로드 스크립트 작성을 요청함. Stable Diffusion, ControlNet, Lora 논문 구현을 위한 데이터셋 수집 방안을 모색함. 웹 스크래핑 자동화와 머신러닝 연구 데이터 준비에 집중된 하루였음.
이 날의 포인트
- 웹 페이지 구조 분석 및 미디어 다운로드 스크립트 개발
- iframe 콘텐츠 추출 로직 구현
- ML 모델 학습용 데이터셋 탐색 및 수집 전략 논의
- 대규모 데이터 자동화 수집 방안 모색
세션별로 뭘 시켰나 (2개)
-home-son-prj-av-overall-download
14:44 — 11:37
151개 메시지
https://kr417.nbya.cc/movie_jp?scc=%EC%9E%90%EB%A7%89&sst=wr_good&sod=desc&sfl=&stx=&sca=&&page=1 이 페이지 구조에서, 1~10페이지를 다운받고 싶어. 안의 item을 클릭해서 주소 받고, iframe 다운받는 코드 작성하고, 다른 애들처럼 다운로드 스크립트 만들어줘
-home-son-prj-dataset
15:00 — 19:14
852개 메시지
stable diffusion, controlnet, lora 논문을 from scratch부터 직접 만들어볼 계획이야. 혹시 사용된 데이터셋들을 다운받아 줄 수 있어?