Sora之父:文生視頻領域正在進入一個新的范式轉換階段
2024-06-15 19:00
小號
默認
大號
Sora團隊研究負責人,Dalle系列系列主要作者Aditya Ramesh近日分享了從iGPT和Dalle 1開始,OpenAI在圖像和視頻生成領域所發現的一系列范式改變:CLIP的成功,文字描述在圖像生成模型訓練中越來越重要的地位。 | 相關閱讀(騰訊科技)
46

東木
執大象 天下往
OpenAI在這場AI革命中近乎燈塔般的存在。之前Sora的橫空出世,給賽道選手致命一擊,好在選手們都在調整狀態,迎頭趕上Sora,至少不要落得太遠。因此Sora之父Aditya Ramesh關于文生視頻領域正在進入一個新的范式轉換階段的演講,可以說關乎著文生視頻未來的走向,而對生成模型過去幾年中的發展以及未來的發展方向的探討無疑能讓同行們吸收能量,獲得突破的機緣。
Aditya Ramesh 介紹了 OpenAI 視頻生成團隊的研究成果,包括 Dalle 1、iGPT 和 CLIP 等模型,并分享了他對這些模型的觀察和思考。在Ramesh 看來,Dalle 1 是一個有趣的項目,但它并不是從視覺世界中提取智能信息的關鍵路徑。相比之下,CLIP 模型通過學習文本與圖像交集中的內容,能夠更高效地提取圖像中的智能信息。而Dalle 3 的研究結果,即通過使用更詳細的描述和優先考慮數據中學到的內容,可以提高模型的訓練效率和生成能力。
謝賽寧與Ramesh問答環節, 讓人們了解到 OpenAI 在招聘策略、長期研究目標以及對高等教育角色的看法等問題。OpenAI 的招聘策略注重潛力和多樣性,同時專注于設定長期的研究目標,并為研究人員提供足夠的計算資源。Ramesh對網絡視頻對 AGI 發展的重要性以及未來的研究方向的看法是,現有的網絡視頻數據可能已經足夠支持目前的研究,但未來需要探索新的數據源和感官媒介來幫助實現 AGI 的目標。Ramesh的演講并引發的討論,對于關注人工智能和生成模型的研究人員和從業者來說,無疑是個啟發。