논문 계획서 · 2026-08-16

사람 눈에 진짜와 구분되지 않는 합성 이미지로 학습하면,
정말 같은 성능이 나올까?

지각적 동등성(perceptual parity)을 데이터 선별 조건으로 통제한 뒤에도 성능 격차가 남는지를 측정하는 연구. 남는다면, 그 격차는 이미지 품질이 아니라 분포 다양성에서 온다는 것이 이 논문의 주장이다.

📊 파일럿 실험 결과 보기 — ImageNet-100에 SDXL 합성 2만 장을 실제로 생성해 규모를 맞춰 학습하고, 워터마크 축까지 측정한 결과.  ·  🧪 2AFC 지각 실험 참여하기 — 진짜 사진을 골라보세요.  ·  🖼 COCO 타깃 갤러리 — 사람이 쓴 캡션으로 만든 이미지를 real 과 나란히 비교.

한 문장 주장

지각적 동등성은 학습적 동등성을 함의하지 않는다. 사람은 이미지 한 장을 보고 판단하지만, 모델은 데이터 분포 전체를 학습하기 때문이다.

연구 질문

RQ1 — 격차의 존재

2AFC 정확도 50%(완전 구분 불가) 이미지만 골라 학습해도 real 대비 격차가 남는가?

RQ2 — 교환율

합성 1장은 real 몇 장의 값어치인가? 그 비율 α는 데이터 규모에 따라 어떻게 변하는가?

RQ3 — 원인

다양성 부족·라벨 노이즈·저수준 아티팩트·허위 상관 중 무엇이 격차를 만드는가?

RQ4 — 완화

real을 몇 % 섞으면 격차가 사라지는가? 어떤 필터링이 가장 효과적인가?

RQ5 — 비지각 신호

SynthID류 워터마크와 생성기 지문처럼 사람이 지각할 수 없는 패턴은 학습에 얼마나 영향을 주는가?

왜 새로운가

기존 합성 데이터 연구는 FID나 최종 정확도만 보고한다. "사람이 구분 못 하면 같은 것 아닌가"라는 실무자의 직관은 사후 해석으로만 다뤄졌지, 실험 조건으로 통제된 적이 없다. 이 논문은 사람 판정을 데이터 선별 기준으로 앞에 세운다.

핵심 실험 — 지각 실험이 심장이다

2AFC 프로토콜

real 1장과 synth 1장을 나란히 놓고 "어느 쪽이 진짜 사진인가"를 고르게 한다. 정확도 50%면 완전 구분 불가. 무제한 조건과 3초 제한 조건 두 가지로 측정한다. 참가자 20~30명, 1인당 200 trial, 자체 nginx 서버에 웹 페이지로 배포.

비용 문제를 푸는 장치

사람이 78만 장을 다 볼 수는 없다. 2,000장에 대한 human label로 기만성 예측기(이미지 → 사람 정답률 회귀, DINOv2 피처 + 소형 head)를 학습해 전체 풀을 점수화하고, 상위 구간을 P-Match set으로 확정한다. 예측기 신뢰도는 held-out human label로 검증한다.

구분불가성을 재는 4가지 방법 (대조군)

방법보는 것역할
사람 2AFC지각적 사실성기준(ground truth)
AI 생성 탐지기 AUROC고주파 아티팩트"사람은 속아도 모델은 안 속는다"의 직접 근거
FID / KID / precision·recall분포 거리기존 관행과의 연결
DINOv2 kNN · MMD의미 임베딩 분포다양성 부족 진단

사람은 50%인데 탐지기는 AUROC 0.95 — 이 결과가 나오면 논문의 논지가 그림 하나로 선다.

학습 스윕 설계

축값
데이터 소스real / synth 전체 / synth P-Match / mixed(real 1·5·10·25·50%)
데이터 규모10k → 130k (log 간격 5점) — 규모를 반드시 맞춰서 비교
생성기SDXL / SD 3.5 / FLUX.1-dev
고정아키텍처·에폭·증강·하이퍼파라미터, 시드 3개 평균±CI
평가항상 real 테스트셋. top-1, ImageNet-v2/R/Sketch/C, ECE, linear probe, few-shot

"완전히 같은 성능"을 주장하려면 동등성 검정(TOST)이 필요하다. "유의차 없음"은 같음의 근거가 아니다. ±1%p 마진으로 보고한다.

RQ5 — 사람이 지각하지 못하는 신호의 영향

SynthID 같은 워터마크는 "사람은 못 보는데 기계는 읽는 신호"를 의도적으로 공학적으로 설계한 것이다. 즉 이 논문의 가설을 가장 순수하게 검증할 수 있는 통제 변수다. 워터마크는 켜고 끌 수 있으므로, 지각적으로 완전히 동일한 두 데이터셋의 유일한 차이가 비지각 신호 하나뿐인 인과 실험을 만들 수 있다.

의도적 신호

SynthID · Gaussian Shading · Tree-Ring · TrustMark — 켜고 끌 수 있음. 완벽한 통제 변수.

우발적 신호

업샘플링·VAE 디코더가 남기는 고주파 지문 — 끌 수 없고 사후 무력화만 가능.

문헌 조사 결과 — 공백이 확인됨

선행 연구발견우리와의 관계
AI 생성 의료영상의 비지각 워터마크 (arXiv 2402.03473)FID·품질 지표는 "무시할 만한 변화". 그런데 다른 임상 배경으로 넘어가는 평가에서 유의한 정확도 하락. 저자들도 "이 영역은 문헌이 희박하다"고 명시가장 가까운 선행이지만 소규모·단일 도메인·구식 워터마크. 우리는 일반 분류 + 현대 워터마크 + 규모 스윕으로 확장
The Watermark Shortcut (arXiv 2606.23335)오디오에서 워터마크가 지름길이 됨. 워터마크 제거 시 미탐지율 13.8%→31.2%, 진짜 음성에 워터마크를 붙이면 EER 74.6%논리 구조는 같지만 도메인이 오디오·태스크가 탐지. 이미지 분류의 학습 유용성은 비어 있음
Gaussian Shading (CVPR 2024) / Tree-RingTree-Ring은 분포를 교란해 성능에 영향. Gaussian Shading은 분포 보존으로 "performance-lossless" 주장결정적 허점 — 여기서 lossless는 생성 품질 기준이지 학습 유용성 기준이 아니다. 우리가 그 주장을 처음 검증한다

⚠ 즉시 반영할 실무 경고: Stable Diffusion 계열 공식 파이프라인은 invisible-watermark가 설치돼 있으면 기본으로 워터마크를 삽입한다(StableDiffusionXLWatermarker). 아무 설정 없이 생성하면 우리 "합성 데이터"에 이미 비지각 워터마크가 들어간다. 파일럿에서 반드시 확인하고 기본 실험군은 명시적으로 끈다 — 놓치면 논문 전체의 교란 변수가 된다.

킬러 피겨 후보

워터마크 강도 α를 올리되 사람이 여전히 구분 못 하는 구간(2AFC 50%) 안에서만 성능을 측정한다. 목표 그림 — x축 워터마크 강도, 좌축 사람 정확도(50%에서 평평), 우축 downstream top-1(우하향). "사람 눈에는 아무 변화가 없는 구간에서 모델 성능만 단조 감소한다"는 이 논문의 주장을 그림 하나로 끝낸다.

실험 조건

조건역할
synth-clean워터마커 끈 생성 — 기준
synth-wm-post / synth-wm-latent사후 삽입형(DWT-DCT, TrustMark) vs 생성 내재형(Gaussian Shading, Tree-Ring)
synth-wm-strip워터마크를 지운 뒤 — 성능이 회복되는가
real-wmreal에 같은 워터마크 삽입 — 지름길 진단의 핵심 대조군

SynthID 자체는 Google 폐쇄형이라 삽입·탐지 접근이 제한적이다. 주 실험은 재현 가능한 오픈소스 워터마크로 구성하고, 논문에서는 "SynthID-class watermark"로 일반화해 서술한다. 워터마크 제거 실험은 탐지 회피 기법 개발이 아니라 학습 영향을 분리하기 위한 통제 변수로만 쓰며, 공개된 기법만 사용한다.

워터마크를 다 껐을 때 남는 것

워터마크를 제거해도 격차가 남는다면 일부는 생성기 지문 탓일 수 있다. 강한 JPEG 재압축·가우시안 노이즈·down-up 리샘플·고주파 대역 랜덤화로 지문을 무력화한다. 격차가 줄면 원인의 일부는 지각 불가 저수준 신호, 안 줄면 원인은 의미·다양성 층위 — 어느 쪽이든 RQ3의 결론이 선명해진다.

격차의 원인 분해

요인측정개입 실험
다양성 부족클래스 내 임베딩 분산, coverage/recall프롬프트 다양성 저/고 조건 비교
라벨 노이즈CLIP 검증 + 사람 spot check오류 제거 후 재학습
저수준 아티팩트주파수 스펙트럼 분석고주파 랜덤화 증강으로 무력화
허위 상관배경·구도 편향 분석배경 랜덤화, 마스킹

12주 일정

주차내용
1–2환경 구축, ImageNet-100 확정, real 베이스라인, 파일럿 생성 500장
3–4본 생성 — 생성기 3종 × 클래스당 2,600장 (약 78만 장)
5–62AFC 웹 실험 제작·수집, 기만성 예측기, P-Match set 확정
7구분불가성 4종 지표 비교
8–9학습 스윕 (약 150 run)
10–11강건성·TOST 평가, 원인 분해, 완화 실험
12비교 노트북·논문 그림·초고, 웹 리포트

병목은 생성이 아니라 학습 스윕이다. 128px 예비 스윕으로 경향을 먼저 잡고 224px는 핵심 조건만 돌리는 축소안을 미리 준비해 둔다.

결과가 반대로 나와도 논문이 되게

A · 격차가 남는다

예상 시나리오. "지각 ≠ 학습" 주장이 그대로 성립. 가장 강한 논문.

B · 규모에서만 벌어진다

스케일 의존성 논문으로 전환. 교환율 α(n)이 주인공이 된다.

C · 격차가 없다

통념을 뒤집는 결과. "어떤 조건에서 성립하는가"(태스크 난이도·클래스 수·해상도)로 프레임 전환.

지금 당장 할 4가지

  1. 환경 구축 — diffusers 설치, GPU 생성 속도 실측
  2. real 베이스라인 학습 — ImageNet-100 확정 후 1회 학습. 기준 숫자가 없으면 아무것도 정할 수 없다
  3. 생성 파이프라인의 기본 워터마커 확인 — 파일럿 생성물에 워터마크 디코더를 돌려본다. 켜져 있다면 명시적으로 끄고 재생성. 이걸 놓치면 이후 모든 실험이 오염된다
  4. 500장 파일럿 생성 + 본인 2AFC 100 trial — 난이도 감을 먼저 잡는다. 여기서 이미 100% 구분된다면 생성 설정부터 다시 잡아야 한다

목표 학회

1순위 NeurIPS Datasets & Benchmarks (프로토콜·벤치마크 성격) · 2순위 CVPR/ICCV · 3순위 TMLR