Hacia una prueba virtual precisa y realista mediante la combinación de formas: conclusiones y referencias

Tabla de enlaces

• Resumen e introducción
• Trabajo relacionado
• Método propuesto
• experimentos
• Conclusiones y referencias

5. Conclusiones

En este artículo, proponemos dos modificaciones generales al marco de prueba virtual: (a) elegir cuidadosamente el par producto-modelo para la transferencia usando una incrustación de forma y (b) combinar múltiples deformaciones coordinadas usando pintura interna. Nuestros resultados muestran que ambas modificaciones conducen a una mejora significativa en la calidad de la generación. Los ejemplos cualitativos demuestran nuestra capacidad para preservar con precisión los detalles de las prendas. Esto genera dificultades para que los compradores distingan entre imágenes de modelos reales y sintetizadas, como lo muestran los resultados de los estudios de usuarios.

Referencias

1. Alp Guler, R., Neverova, N., Kokkinos, I.: Densepose: Estimación de la pose humana densa en la naturaleza. En: Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR) (junio de 2018)

   
   

2. Ayush, K., Jandial, S., Chopra, A., Krishnamurthy, B.: Impulsando la prueba virtual mediante el aprendizaje auxiliar de segmentación humana. En: Talleres de la Conferencia Internacional IEEE sobre Visión por Computadora (ICCV) (octubre de 2019)

   
   

3. Belongie, S., Malik, J., Puzicha, J.: Coincidencia de formas y reconocimiento de objetos utilizando contextos de formas. PAMI (2002)

   
   

4. Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J., Black, MJ: Keep it SMPL: Estimación automática de la pose y forma humana en 3D a partir de una sola imagen. En: ECCV (2016)

   
   

5. Brock, A., Donahue, J., Simonyan, K.: Entrenamiento gan a gran escala para síntesis de imágenes naturales de alta fidelidad. preimpresión de arXiv arXiv:1809.11096 (2018)

   
   

6. Chen, LC, Zhu, Y., Papandreou, G., Schroff, F., Adam, H.: Codificador-decodificador con atroz convolución separable para segmentación de imágenes semánticas. En: ECCV (2018)

   
   

7. Chen, M., Qin, Y., Qi, L., Sun, Y.: Mejora de la detección de puntos de referencia de la moda mediante la mejora de las funciones de atención dual. En: Talleres ICCV (2019)

   
   

8. Chen, W., Wang, H., Li, Y., Su, H., Wang, Z., Tu, C., Lischinski, D., Cohen-Or, D., Chen, B.: Sintetización de imágenes de entrenamiento para impulsar la estimación de la pose humana en 3D (2015)

   
   

9. Chong, MJ, Forsyth, D.: Fid y puntuación inicial efectivamente imparciales y dónde encontrarlos. Preimpresión de arXiv arXiv:1911.07023 (2019)

   
   

10. Danerek, R., Dibra, E., Oztireli, AC, Ziegler, R., Gross, MH: Deepgarment: estimación de la forma de la prenda en 3D a partir de una sola imagen. Computadora. Grafico. Foro (2017)

    
    

11. Dong, H., Liang, X., Gong, K., Lai, H., Zhu, J., Yin, J.: Warping-gan de compuerta suave para síntesis de imágenes de personas guiadas por pose. En: NeurIPS (2018)

    
    

12. Dong, H., Liang, X., Wang, B., Lai, H., Zhu, J., Yin, J.: Hacia una red de prueba virtual guiada de múltiples posturas. En: ICCV (2019)

    
    

13. Grigor'ev, AK, Sebastopolsky, A., Vakhitov, A., Lempitsky, VS: textura basada en coordenadas en pintura para la generación de imágenes humanas guiadas por poses. CVPR (2019)

    
    

14. Guan, P., Reiss, L., Hirshberg, D., Weiss, A., Black, M.: Drapear: Vestir a cualquier persona. Transacciones ACM sobre gráficos - TOG (2012)

    
    

15. Han, X., Hu, X., Huang, W., Scott, MR: Clothflow: un modelo basado en flujo para la generación de personas vestidas. En: ICCV (2019)

    
    

16. Han, X., Wu, Z., Huang, W., Scott, MR, Davis, LS: Imagen de moda compatible y diversa en pintura (2019)

    
    

17. Han, X., Wu, Z., Wu, Z., Yu, R., Davis, LS: Viton: una red de prueba virtual basada en imágenes. En: CVPR (2018)

    
    

18. Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., Hochreiter, S.: Los Gans entrenados mediante una regla de actualización de dos escalas de tiempo convergen a un equilibrio de Nash local. En: Avances en los sistemas de procesamiento de información neuronal. págs. 6626–6637 (2017)

    
    

19. Hsiao, WL, Grauman, K.: Vestirse para diversas formas corporales. ArXiv (2019)

    
    

20. Hsiao, WL, Katsman, I., Wu, CY, Parikh, D., Grauman, K.: Fashion++: ediciones mínimas para mejorar la vestimenta. En: En actas de la Conferencia Internacional IEEE sobre Visión por Computadora (ICCV) (2019)

    
    

21. Hsieh, CW, Chen, CY, Chou, CL, Shuai, HH, Liu, J., Cheng, WH: Fashionon: prueba virtual basada en imágenes guiada semántica con información detallada sobre personas y ropa. En: MM '19 (2019)

22. HyugJae, Lee, R., Kang, M., Cho, M., Park, G.: La-viton: una red para lucir atractivas pruebas virtuales. En: Talleres ICCV (2019)

    
    

23. Jaderberg, M., Simonyan, K., Zisserman, A., kavukcuoglu, k.: Redes de transformadores espaciales. En: NeurIPS (2015)

    
    

24. Jandial, S., Chopra, A., Ayush, K., Hemani, M., Kumar, A., Krishnamurthy, B.: Sievenet: un marco unificado para pruebas virtuales sólidas basadas en imágenes. En: WACV (2020)

    
    

25. Jeong, MH, Han, DH, Ko, HS: Captura de prendas a partir de una fotografía. Revista de visualización y animación por computadora (2015)

    
    

26. Ji, D., Kwon, J., McFarland, M., Savarese, S.: Transformación de vista profunda. En: CVPR (2017)

    
    

27. Kanazawa, A., Black, MJ, Jacobs, DW, Malik, J.: Recuperación integral de la forma y la postura humanas. CVPR (2018)

    
    

28. Kanazawa, A., Jacobs, D., Chandraker, M.: Warpnet: coincidencia débilmente supervisada para reconstrucción de vista única. En: CVPR (2016)

    
    

29. Karras, T., Laine, S., Aila, T.: Una arquitectura generadora basada en estilos para redes generativas adversarias. En: Actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones. págs. 4401–4410 (2019)

    
    

30. Lin, CH, Yumer, E., Wang, O., Shechtman, E., Lucey, S.: St-gan: Redes adversarias generativas de transformadores espaciales para la composición de imágenes. En: CVPR (2018)

    
    

31. Liu, G., Reda, FA, Shih, KJ, Wang, TC, Tao, A., Catanzaro, B.: Imagen en pintura para agujeros irregulares utilizando convoluciones parciales. En: ECCV (2018)

    
    

32. Liu, KH, Chen, TY, Chen, CS: Mvc: un conjunto de datos para la recuperación de ropa y la predicción de atributos de vista invariable. En: ICMR (2016)

    
    

33. Liu, Z., Luo, P., Qiu, S., Wang, X., Tang, X.: Deepfashion: potenciando el reconocimiento y la recuperación de ropa sólida con anotaciones ricas. En: CVPR (2016)

    
    

34. McKinsey: Estado de la industria de la moda 2019 (2019)

    
    

35. Natsume, R., Saito, S., Huang, Z., Chen, W., Ma, C., Li, H., Morishima, S.: Siclope: materiales complementarios de personas vestidas basadas en siluetas. En: CVPR (2019)

    
    

36. Neverova, N., Gler, RA, Kokkinos, I.: Transferencia de pose densa. En: ECCV (2018)

    
    

37. Raffiee, AH, Sollami, M.: Garmentgan: transferencia de moda adversarial fotorrealista (2020)

    
    

38. Raj, A., Sangkloy, P., Chang, H., Hays, J., Ceylan, D., Lu, J.: Swapnet: transferencia de prendas basada en imágenes. En: ECCV (2018)

    
    

39. Rocco, I., Arandjelovi´c, R., Sivic, J.: Arquitectura de red neuronal convolucional para coincidencia geométrica. En: CVPR (2017)

    
    

40. Saito, S., Huang, Z., Natsume, R., Morishima, S., Kanazawa, A., Li, H.: Pifu: función implícita alineada con píxeles para la digitalización humana vestida de alta resolución. ICCV (2019)

    
    

41. Schroff, F., Kalenichenko, D., Philbin, J.: Facenet: una integración unificada para el reconocimiento facial y la agrupación. En: CVPR (2015)

    
    

42. Song, D., Li, T., Mao, Z., Liu, A.: Sp-viton: red de prueba virtual basada en imágenes que preserva la forma. Herramientas y aplicaciones multimedia (2019)

    
    

43. Suzuki, S., Abe, K.: Análisis estructural topológico de imágenes binarias digitalizadas mediante seguimiento de bordes. Visión por computadora, gráficos y procesamiento de imágenes (1985)

    
    

44. Vaccaro, K., Agarwalla, T., Shivakumar, S., Kumar, R.: Diseñando el futuro de la moda personal. En: Actas de la Conferencia CHI de 2018 sobre factores humanos en sistemas informáticos (2018)

    
    

45. Wang, B., Zheng, H., Liang, X., Chen, Y., Lin, L.: Hacia una red de prueba virtual basada en imágenes que preserva las características. En: Actas de la Conferencia Europea sobre Visión por Computador (ECCV) (2018)

    
    

46. Wang, J., Zhang, W., Liu, WH, Mei, T.: Hasta el último detalle: prueba virtual con tallado detallado. ArXiv (2019)

    
    

47. Wu, Z., Lin, G., Tao, Q., Cai, J.: M2e-try on net: Moda de modelo para todos. En: MM '19 (2018)

    
    

48. Yang, C., Lu, X., Lin, Z., Shechtman, E., Wang, O., Li, H.: Imagen de alta resolución en pintura mediante síntesis de parches neuronales a múltiples escalas. En: CVPR (2017)

    
    

49. Yu, J., Lin, Z., Yang, J., Shen, X., Lu, X., Huang, TS: Imagen de forma libre en pintura con convolución cerrada. En: ICCV (2019)

    
    

50. Yu, J., Lin, ZL, Yang, J., Shen, X., Lu, X., Huang, TS: Imagen generativa en pintura con atención contextual. En: CVPR (2018)

    
    

51. Yu, L., Zhong, Y., Wang, X.: Red de prueba virtual basada en pintura para transferencia selectiva de prendas. Acceso IEEE (2019)

    
    

52. Yu, L., Zhong, Y., Wang, X.: Red de prueba virtual basada en pintura para transferencia selectiva de prendas. Acceso IEEE (2019)

    
    

53. Yu, R., Wang, X., Xie, X.: Vtnfp: una red de prueba virtual basada en imágenes que preserva las características del cuerpo y la ropa

    
    

54. Zhang, H., Goodfellow, I., Metaxas, D., Odena, A.: Redes adversativas generativas de autoatención. Preimpresión de arXiv arXiv:1805.08318 (2018)

    
    

55. Zheng, N., Song, X., Chen, Z., Hu, L., Cao, D., Nie, L.: Probándose virtualmente ropa nueva con poses arbitrarias. En: MM '19 (2019)

    
    

56. Zheng, S., Yang, F., Kiapour, MH, Piramuthu, R.: Modanet: un conjunto de datos de moda urbana a gran escala con anotaciones poligonales. En: ACM Multimedia (2018)

    
    

57. Zhu, S., Fidler, S., Urtasun, R., Lin, D., Chen, CL: Sé tu propio prada: síntesis de moda con coherencia estructural. En: CVPR (2017)