합성 이미지로 학습하면 정말 같은 성능이 나오는가

한눈에 보는 결론

먼저 짚고 갈 것 — 이 파일럿의 합성 이미지는 아직 '구분 불가'가 아니다

실험 설정

파일럿 규모입니다. 계획서의 본 실험(생성기 3종·13만 장·사람 2AFC 수집)에서 규모가 커지면 절대 수치는 올라가지만, 비교는 모두 동일 조건 대조이므로 방향성은 유지될 것으로 봅니다.

RQ1·RQ2 — 격차는 존재하는가, 합성 1장은 real 몇 장인가

교환율 α — 합성 데이터의 '환율'

합성 n장이 real 몇 장에 해당하는 성능을 내는지 real 스케일 곡선에서 역산한 값입니다. α=1이면 합성 1장 = real 1장, α가 작을수록 합성이 열등합니다.

‘외삽’ 표시는 합성 성능이 측정한 real 곡선의 최솟값(2,500장)보다도 낮아 표에 적힌 α 가 상한이라는 뜻입니다. 즉 20,000장 구간에서 실제 α 는 0.125 이하입니다 — 합성 8장이 real 1장에도 못 미칩니다. 정확한 값을 구하려면 더 작은 real 규모까지 측정해야 합니다.

분포가 이동해도 같은가 — 강건성

‘같다’를 제대로 검정하기

RQ4 — real을 얼마나 섞어야 따라잡는가

대체가 아니라 보충으로 보면 — 합성은 분명히 쓸모가 있다

같은 real 예산에서, 나머지를 합성으로 채워 총 20,000장으로 만들면 어떻게 되는가? real 만 썼을 때의 성능은 real 스케일 곡선을 로그 보간해 추정했습니다.

* 표시는 측정한 real 곡선 범위 밖이라 외삽한 추정치입니다. 합성 데이터는 real 을 대체하지는 못하지만 보충에는 확실히 기여합니다 — 이 둘을 구분하지 않는 것이 합성 데이터 논쟁의 흔한 혼선입니다.

RQ5 — 사람이 지각하지 못하는 신호는 학습에 얼마나 영향을 주는가

워터마크는 '사람은 못 보지만 기계는 읽는 신호'를 의도적으로 설계한 것입니다. 켜고 끌 수 있으므로, 지각적으로 동일한 두 데이터셋의 유일한 차이가 비지각 신호 하나뿐인 인과 실험을 만들 수 있습니다.

워터마크 강도 스윕

결과: 강도를 아무리 올려도 성능은 움직이지 않았습니다. α=4.0 은 PSNR 30dB 로 이미 육안에 보이는 수준인데도 그렇습니다. 당초 가설(사람이 못 보는 신호가 학습을 갉아먹는다)은 이 실험에서 기각되었습니다. 참고로 페이로드 비트정확도가 α=1.0 에서 최대인 것은 그 강도가 코덱의 설계값이기 때문이며, 더 키우면 코덱 자체가 깨집니다.

조건별 비교

워터마크 기본 강도 vs 무워터마크

real vs 워터마크 넣은 real

결정 실험 — 워터마크는 '라벨과 상관될 때'만 해로운가

앞의 조건들은 워터마크를 모든 이미지에 균등하게 넣었습니다. 그렇다면 모델이 이용할 단서가 없습니다. 그래서 절반의 클래스(0~49)에만 워터마크를 넣어 워터마크가 클래스와 상관되게 만들고, 워터마크가 전혀 없는 real val 로 평가했습니다. 모델이 워터마크를 지름길로 썼다면 그 클래스들의 정확도가 무너져야 합니다.

교란 변수 통제 — 워터마크인가, 재압축인가

워터마크를 넣은 이미지는 JPEG 을 한 번 더 거칩니다. 그렇다면 위 붕괴가 워터마크가 아니라 이중 압축 때문일 수도 있습니다. 그래서 워터마크 없이 같은 재저장만 절반 클래스에 적용한 대조군을 똑같이 학습시켰습니다.

사람은 못 봐도 기계는 보는가

잔차만으로도 AUROC가 높다는 것은, 이미지 내용을 다 지워도 저수준 신호만으로 출처를 알 수 있다는 뜻입니다.

종합 — 읽을 수 있다는 것과 해롭다는 것은 다르다

RQ3 — 격차의 원인은 무엇인가

저수준 신호를 지우면 격차가 줄어드는가

변환 후에도 격차가 그대로면 원인은 의미·다양성 층위이고, 줄어들면 원인의 일부는 지각 불가 저수준 신호입니다.

실행하며 확인한 방법론 사실 (본 실험 설계에 반영)

한계와 다음 단계

이 페이지는 파일럿입니다. 계획서의 본 실험과 다른 점을 그대로 적습니다.

사람 2AFC 데이터가 없으므로, 이 파일럿에서 '지각적으로 동일하다'는 것은 PSNR·잔차 크기 같은 물리적 프록시로만 뒷받침됩니다. 지각적 동등성을 실제로 확정하는 것은 본 실험의 몫입니다.