전 세계에 경종을 울리는 AI 더빙은 다음과 같습니다.

최근 아르헨티나 대통령 AI 더빙 2024년 세계경제포럼에서 하비에르 밀레이의 연설 비디오 스타트업인 Heygen이 소셜 미디어에서 입소문을 냈습니다.

이 소프트웨어는 그의 스페인어 단어를 영어로 정확하게 번역했을 뿐만 아니라 전통적으로 비디오 업계의 인간 전문가들만이 할 수 있었던 작업인 립싱크도 원활하게 처리했습니다.

비록 일부 관찰자들은 주장하다 Heygen의 Milei 버전은 'Swansea에서 10년을 보낸 방글라데시 남자'처럼 들린다는 사실에 대해 저는 이러한 소문을 일축하겠습니다. 무시하기 어려운 것은 AI 기반 아르헨티나 대통령의 기계적인 목소리와 억양이다.

솔직히, 실제 Milei는 그것보다 더 좋게 들리고 더 감정적으로 표현력이 좋습니다.

최근까지 미디어 산업을 뒤흔들려는 AI 스타트업에게 감정과 억양은 가장 큰 과제였습니다. 인간은 여전히 목소리를 통해 열정, 슬픔, 분노를 더 잘 표현합니다. 하지만 상황이 곧 바뀔 것 같습니다.

또 다른 최근 쇼케이스 거의 눈에 띄지 않게 된 것은 암스테르담에 본사를 둔 Dubformer라는 AI 더빙 스타트업에서 나왔습니다. 회사는 노래의 감정과 억양을 번역하는 기술을 개발했다고 주장합니다.

스스로 판단할 수 있습니다.

이 스타트업은 영국 록 밴드 The Animals가 1964년에 녹음한 "House of the Rising Sun"의 가장 유명한 버전을 현지화했습니다. 이번 쇼케이스는 음악적 표현의 본질과 감정적 깊이를 담아내는 데 있어서 인간적인 면모를 갖고 있는 것 같습니다.

Dubformer의 CEO Anton Dvorkovich에 따르면 Dubformer는 ASR(자동 음성 인식), TTS(텍스트 음성 변환) 및 음성 생체 인식을 포함한 자체 독점 기술을 사용하고 있습니다.

AI 구현 전문가이자 솔루션 설계자, 교육자인 Micah Berkley는 Dubformer의 기술이 AI가 예술적 표현의 글로벌 범위를 확장하는 미래를 형성하고 있다고 말했습니다.

개인적으로 저는 AI 음성이나 번역이 인간의 감정 표현 및 참여와 일치할 수 있다는 생각에 머리를 감쌀 수 없습니다. 그러나 우리는 대대적인 변화의 최전선에 와 있는 것 같습니다.