Auf dem Weg zur präzisen, realistischen virtuellen Anprobe durch Formabgleich: Schlussfolgerungen und Referenzen

Linktabelle

• Zusammenfassung und Einleitung
• Ähnliche Projekte
• Vorgeschlagene Methode
• Experimente
• Schlussfolgerungen und Referenzen

5. Schlussfolgerungen

In diesem Artikel schlagen wir zwei allgemeine Änderungen am virtuellen Anprobe-Framework vor: (a) sorgfältige Auswahl des Produkt-Modell-Paares für die Übertragung mithilfe einer Formeinbettung und (b) Kombination mehrerer koordinierter Verzerrungen mithilfe von Inpainting. Unsere Ergebnisse zeigen, dass beide Änderungen zu einer deutlichen Verbesserung der Generierungsqualität führen. Qualitative Beispiele demonstrieren unsere Fähigkeit, Details von Kleidungsstücken genau zu erhalten. Dies führte dazu, dass Käufer Schwierigkeiten hatten, zwischen echten und synthetisierten Modellbildern zu unterscheiden, wie die Ergebnisse von Benutzerstudien zeigen.

Verweise

1. Alp Guler, R., Neverova, N., Kokkinos, I.: Densepose: Dichte menschliche Posenschätzung in der freien Natur. In: Die IEEE-Konferenz für Computer Vision und Mustererkennung (CVPR) (Juni 2018)

   
   

2. Ayush, K., Jandial, S., Chopra, A., Krishnamurthy, B.: Virtuelle Anprobe durch zusätzliches menschliches Segmentierungslernen. In: Workshops der IEEE International Conference on Computer Vision (ICCV) (Oktober 2019)

   
   

3. Belongie, S., Malik, J., Puzicha, J.: Formabgleich und Objekterkennung unter Verwendung von Formkontexten. PAMI (2002)

   
   

4. Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., Black, MJ: Keep it SMPL: Automatische Schätzung der dreidimensionalen menschlichen Haltung und Form aus einem einzigen Bild. In: ECCV (2016)

   
   

5. Brock, A., Donahue, J., Simonyan, K.: Groß angelegtes Gan-Training für hochpräzise natürliche Bildsynthese. arXiv-Preprint arXiv:1809.11096 (2018)

   
   

6. Chen, LC, Zhu, Y., Papandreou, G., Schroff, F., Adam, H.: Encoder-Decoder mit atrous separabler Faltung für die semantische Bildsegmentierung. In: ECCV (2018)

   
   

7. Chen, M., Qin, Y., Qi, L., Sun, Y.: Verbesserung der Erkennung von Mode-Orientierungspunkten durch Erweiterung der Dual-Attention-Funktion. In: ICCV Workshops (2019)

   
   

8. Chen, W., Wang, H., Li, Y., Su, H., Wang, Z., Tu, C., Lischinski, D., Cohen-Or, D., Chen, B.: Synthese von Trainingsbildern zur Verbesserung der menschlichen 3D-Lageeinschätzung (2015)

   
   

9. Chong, MJ, Forsyth, D.: Effektiv unvoreingenommener FID- und Inception-Score und wo man sie findet. arXiv-Preprint arXiv:1911.07023 (2019)

   
   

10. Danerek, R., Dibra, E., Oztireli, AC, Ziegler, R., Gross, MH: Deepgarment: 3D-Kleidungsformschätzung aus einem einzigen Bild. Comput. Graph. Forum (2017)

    
    

11. Dong, H., Liang, X., Gong, K., Lai, H., Zhu, J., Yin, J.: Soft-gated warping-gan für posengesteuerte Personenbildsynthese. In: NeurIPS (2018)

    
    

12. Dong, H., Liang, X., Wang, B., Lai, H., Zhu, J., Yin, J.: Auf dem Weg zu einem multiposegeführten virtuellen Anprobenetzwerk. In: ICCV (2019)

    
    

13. Grigor'ev, AK, Sevastopolsky, A., Vakhitov, A., Lempitsky, VS: Koordinatenbasiertes Textur-Inpainting für posengesteuerte Generierung menschlicher Bilder. CVPR (2019)

    
    

14. Guan, P., Reiss, L., Hirshberg, D., Weiss, A., Black, M.: Drape: Dressing any person. ACM Transactions on Graphics - TOG (2012)

    
    

15. Han, X., Hu, X., Huang, W., Scott, MR: Clothflow: Ein flussbasiertes Modell zur Generation bekleideter Personen. In: ICCV (2019)

    
    

16. Han, X., Wu, Z., Huang, W., Scott, MR, Davis, LS: Kompatibles und vielfältiges Inpainting von Modebildern (2019)

    
    

17. Han, X., Wu, Z., Wu, Z., Yu, R., Davis, LS: Viton: Ein bildbasiertes virtuelles Anprobe-Netzwerk. In: CVPR (2018)

    
    

18. Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., Hochreiter, S.: Gans, die mit einer Update-Regel mit zwei Zeitskalen trainiert wurden, konvergieren zu einem lokalen Nash-Gleichgewicht. In: Fortschritte in neuronalen Informationsverarbeitungssystemen. S. 6626–6637 (2017)

    
    

19. Hsiao, WL, Grauman, K.: Kleidung für unterschiedliche Körperformen. ArXiv (2019)

    
    

20. Hsiao, WL, Katsman, I., Wu, CY, Parikh, D., Grauman, K.: Fashion++: Minimale Änderungen zur Verbesserung des Outfits. In: In Proceedings der IEEE International Conference on Computer Vision (ICCV) (2019)

    
    

21. Hsieh, CW, Chen, CY, Chou, CL, Shuai, HH, Liu, J., Cheng, WH: Fashionon: Semantisch gesteuerte bildbasierte virtuelle Anprobe mit detaillierten Personen- und Kleidungsinformationen. In: MM '19 (2019)

22. HyugJae, Lee, R., Kang, M., Cho, M., Park, G.: La-viton: Ein Netzwerk zum virtuellen Anprobieren. In: ICCV Workshops (2019)

    
    

23. Jaderberg, M., Simonyan, K., Zisserman, A., kavukcuoglu, k.: Räumliche Transformatornetzwerke. In: NeurIPS (2015)

    
    

24. Jandial, S., Chopra, A., Ayush, K., Hemani, M., Kumar, A., Krishnamurthy, B.: Sievenet: Ein einheitliches Framework für robustes bildbasiertes virtuelles Anprobieren. In: WACV (2020)

    
    

25. Jeong, MH, Han, DH, Ko, HS: Kleidungsstücke anhand einer Fotografie erfassen. Journal of Visualization and Computer Animation (2015)

    
    

26. Ji, D., Kwon, J., McFarland, M., Savarese, S.: Deep view morphing. In: CVPR (2017)

    
    

27. Kanazawa, A., Black, MJ, Jacobs, DW, Malik, J.: End-to-end-Wiederherstellung der menschlichen Form und Pose. CVPR (2018)

    
    

28. Kanazawa, A., Jacobs, D., Chandraker, M.: Warpnet: Schwach überwachtes Matching für die Rekonstruktion einzelner Ansichten. In: CVPR (2016)

    
    

29. Karras, T., Laine, S., Aila, T.: Eine stilbasierte Generatorarchitektur für generative kontradiktorische Netzwerke. In: Proceedings der IEEE-Konferenz zu Computer Vision und Mustererkennung. S. 4401–4410 (2019)

    
    

30. Lin, CH, Yumer, E., Wang, O., Shechtman, E., Lucey, S.: St-gan: Räumliche Transformator-generative kontradiktorische Netzwerke für die Bildkomposition. In: CVPR (2018)

    
    

31. Liu, G., Reda, FA, Shih, KJ, Wang, TC, Tao, A., Catanzaro, B.: Bildretuschierung für unregelmäßige Löcher mittels partieller Faltung. In: ECCV (2018)

    
    

32. Liu, KH, Chen, TY, Chen, CS: Mvc: Ein Datensatz für die ansichtsunabhängige Kleidungssuche und Attributvorhersage. In: ICMR (2016)

    
    

33. Liu, Z., Luo, P., Qiu, S., Wang, X., Tang, X.: Deepfashion: Robuste Kleidungserkennung und -abfrage mit umfangreichen Annotationen. In: CVPR (2016)

    
    

34. McKinsey: Stand der Modebranche 2019 (2019)

    
    

35. Natsume, R., Saito, S., Huang, Z., Chen, W., Ma, C., Li, H., Morishima, S.: Siclope: Silhouettenbasiertes ergänzendes Material für bekleidete Menschen. In: CVPR (2019)

    
    

36. Neverova, N., Gler, RA, Kokkinos, I.: Dense pose transfer. In: ECCV (2018)

    
    

37. Raffiee, AH, Sollami, M.: Garmentgan: Fotorealistischer kontroverser Modetransfer (2020)

    
    

38. Raj, A., Sangkloy, P., Chang, H., Hays, J., Ceylan, D., Lu, J.: Swapnet: Bildbasierter Kleidungsstücktransfer. In: ECCV (2018)

    
    

39. Rocco, I., Arandjelovi´c, R., Sivic, J.: Convolutional Neural Network Architektur für geometrisches Matching. In: CVPR (2017)

    
    

40. Saito, S., Huang, Z., Natsume, R., Morishima, S., Kanazawa, A., Li, H.: Pifu: Pixelaligned implizite Funktion für die hochauflösende Digitalisierung bekleideter Menschen. ICCV (2019)

    
    

41. Schroff, F., Kalenichenko, D., Philbin, J.: Facenet: Eine einheitliche Einbettung für Gesichtserkennung und -clusterung. In: CVPR (2015)

    
    

42. Song, D., Li, T., Mao, Z., Liu, A.: Sp-viton: formerhaltendes bildbasiertes virtuelles Anprobenetzwerk. Multimedia-Tools und -Anwendungen (2019)

    
    

43. Suzuki, S., Abe, K.: Topologische Strukturanalyse digitalisierter Binärbilder durch Randfolgen. Computer Vision, Grafik und Bildverarbeitung (1985)

    
    

44. Vaccaro, K., Agarwalla, T., Shivakumar, S., Kumar, R.: Die Zukunft der persönlichen Mode gestalten. In: Proceedings der CHI-Konferenz 2018 über menschliche Faktoren in Computersystemen (2018)

    
    

45. Wang, B., Zheng, H., Liang, X., Chen, Y., Lin, L.: Auf dem Weg zu einem charakteristikerhaltenden bildbasierten virtuellen Anprobenetzwerk. In: Proceedings der European Conference on Computer Vision (ECCV) (2018)

    
    

46. Wang, J., Zhang, W., Liu, WH, Mei, T.: Bis ins letzte Detail: Virtuelle Anprobe mit Detailschnitzerei. ArXiv (2019)

    
    

47. Wu, Z., Lin, G., Tao, Q., Cai, J.: M2e-try on net: Mode vom Model für jedermann. In: MM '19 (2018)

    
    

48. Yang, C., Lu, X., Lin, Z., Shechtman, E., Wang, O., Li, H.: Hochauflösende Bildretuschierung mittels mehrskaliger neuronaler Patchsynthese. In: CVPR (2017)

    
    

49. Yu, J., Lin, Z., Yang, J., Shen, X., Lu, X., Huang, TS: Freiform-Bildinpainting mit Gated Convolution. In: ICCV (2019)

    
    

50. Yu, J., Lin, ZL, Yang, J., Shen, X., Lu, X., Huang, TS: Generatives Bild-Inpainting mit Kontextaufmerksamkeit. In: CVPR (2018)

    
    

51. Yu, L., Zhong, Y., Wang, X.: Inpainting-basiertes virtuelles Anprobenetzwerk für selektiven Kleidungstransfer. IEEE Access (2019)

    
    

52. Yu, L., Zhong, Y., Wang, X.: Inpainting-basiertes virtuelles Anprobenetzwerk für selektiven Kleidungstransfer. IEEE Access (2019)

    
    

53. Yu, R., Wang, X., Xie, X.: Vtnfp: Ein bildbasiertes virtuelles Anprobenetzwerk mit Erhaltung von Körper- und Kleidungsmerkmalen

    
    

54. Zhang, H., Goodfellow, I., Metaxas, D., Odena, A.: Selbstaufmerksame generative kontradiktorische Netzwerke. arXiv-Vorabdruck arXiv:1805.08318 (2018)

    
    

55. Zheng, N., Song, X., Chen, Z., Hu, L., Cao, D., Nie, L.: Virtuelles Anprobieren neuer Kleidung mit beliebigen Posen. In: MM '19 (2019)

    
    

56. Zheng, S., Yang, F., Kiapour, MH, Piramuthu, R.: Modanet: Ein umfangreicher Streetfashion-Datensatz mit Polygonanmerkungen. In: ACM Multimedia (2018)

    
    

57. Zhu, S., Fidler, S., Urtasun, R., Lin, D., Chen, CL: Sei dein eigenes Prada: Modesynthese mit struktureller Kohärenz. In: CVPR (2017)