형상 매칭을 통한 정확하고 사실적인 가상 시착을 위한 방법 제안

링크 표

• 초록 및 소개
• 관련된 일
• 제안된 방법
• 실험
• 결론 및 참고자료

3. 제안 방법

우리의 방법에는 두 가지 구성 요소가 있습니다. SMN( Shape Matching Net) (SMN, 그림 2 및 3)은 전송을 수행하기 위해 모양별로 호환되는 의류 모델 쌍을 선택하기 위한 임베딩을 학습합니다. 임베딩 공간에서 가까운 곳에 있는 제품(각 모델) 이미지를 찾아 제품 이미지와 모델 이미지를 매칭합니다. MTN( Multi-warp Try-on Net) (MTN, 그림 4)은 의류 이미지, 모델 이미지 및 모델의 갈아입을 의류를 덮고 있는 마스크를 입력하고 제공된 의류를 착용한 모델의 사실적인 합성 이미지를 생성합니다. 네트워크는 공동으로 훈련된 워퍼와 인페인팅 네트워크로 구성됩니다. 워퍼는 각각 특정 기능에 특화된 제품 이미지의 k 워프를 생성합니다. 인페인팅 네트워크는 각 워프에서 찾을 기능을 선택하여 워프를 결합하는 방법을 학습합니다. SMN과 MTN은 별도로 훈련됩니다.

3.1 모양 매칭 네트

임베딩 손실은 두 도메인의 기능 대응을 캡처하고 네트워크 아키텍처에 포함된 주의 메커니즘을 적용하는 데 사용됩니다. 공간 주의 아키텍처에 대한 자세한 내용은 보충 자료에 있습니다.

3.2 멀티워프 시착 네트

이전 작업[17,45]과 마찬가지로 우리 시스템은 두 가지 모듈로 구성됩니다. (a) 제품 이미지를 마스크와 정렬하여 여러 특수 워프를 생성하는 워퍼; (b) 워프를 마스크된 모델과 결합하고 합성 이미지를 생성하는 인페인팅 모듈. 이전 작업[17,45]과 달리 두 모듈은 개별적으로 훈련되지 않고 공동으로 훈련되므로 인페인터가 워퍼를 안내합니다.

캐스케이드 손실: 여러 워프를 사용하면 각 워프 wi는 j < i인 이전 워프 wj에 의해 발생한 실수를 해결하도록 훈련됩니다. k 번째 워프의 경우 모든 픽셀에서 이전의 모든 워프 중에서 최소 손실을 계산합니다.

캐스케이드 손실은 모든 워프에 대한 평균 손실을 계산합니다. 추가 정규화 조건이 변환 매개변수에 적용되므로 이후의 모든 워프는 첫 번째 워프에 가깝게 유지됩니다.

캐스케이드 손실은 모든 워프 사이에 계층 구조를 적용하므로 나중에 워프보다 초기 워프에서 실수를 저지르는 것이 더 많은 비용을 발생시킵니다. 이렇게 하면 훈련 중에 발생할 수 있는 진동을 방지할 수 있습니다(여러 워프가 최적을 위해 경쟁함). 이 아이디어는 부스팅과 비슷하지만 모든 워프가 그라데이션을 공유하므로 이전 워프를 이후 워프에 따라 조정할 수 있기 때문에 다릅니다.