微新創想（idea2003.com）10月13日 消息:AI視頻編輯初創公司Captions發布了一款名為"Lipdub"的新應用，用于將視頻片段翻譯成28種語言。該應用支持多種語言，包括法語、印地語、西班牙語、意大利語、葡萄牙語、日語等，甚至可以將視頻翻譯成德克薩斯俚語、Z世代用語、海盜語和嬰兒語。

地址:https://apps.apple.com/us/app/lipdub/id6455155615

演示視頻顯示，該應用還可以根據選擇的目標語言改變嘴唇的動作，但在音頻和嘴唇動作之間有時會存在一定的滯后。

用戶可以翻譯長達一分鐘的單人講話視頻，然后分享到其他社交媒體平臺上。

Captions聲稱已有超過300萬創作者使用其AI視頻編輯應用，擁有超過10萬名日常用戶。該應用提供多種基于AI的視頻編輯功能，如去除口誤，降低背景噪音和增強語音。該應用還具有“AI Lipdub”功能，可以在后期編輯中更改字幕以匹配嘴唇動作。

Captions成立于2021年，創始人是Snap的設計工程部門負責人Gaurav Misra。該公司于6月完成了由Kleiner Perkins領投的B輪融資，融資額為2500萬美元，參與投資方包括Sequoia Capital、Andreessen Horowitz（a16z）和SV Angel。迄今為止，Captions已籌集了4000萬美元的資金。

使用翻譯和AI配音來觸及更廣泛的受眾是一個不斷增長的趨勢。今年6月，YouTube宣布正在測試一款AI工具，允許用戶自動為其視頻添加其他語言的配音。該公司表示正在改進配音的嘴唇同步技術。上個月，該公司表示正在將基于AI的配音直接集成到YouTube Studio中，以便更輕松地將視頻轉換為其他語言。

AI配音的初創公司引起了眾多投資者的興趣，像英國的Papercup和以色列的Deepdub等初創公司已籌集了數百萬美元。