要點:

1. AnimateDiff是一個開源框架，可以將定制化文本到圖像模型應用于動畫生成，保持原有模型的圖像質量的基礎上生成動畫片段，豐富了靜態圖像的表達能力。

2. 框架在文生圖模型中插入動作建模模塊，通過訓練和參數更新，使模型能夠生成個性化的動畫圖像，而無需對每個模型進行特定優化。

3. AnimateDiff開源項目在GitHub上備受關注，連續數天在Trending Research榜單排名第一，作者還提供了一個簡單易用的在線應用，供用戶體驗模型的能力。

微新創想（idea2003.com）10月7日 消息:眾所周知，訓練文生圖模型的成本非常高昂。為了減輕微調模型的費用，出現了一些相應的模型定制化方法，如DreamBooth和LoRA，這使得用戶可以在使用少量數據和消費級顯卡的情況下提高模型的個性化和特定風格下的圖像生成質量，而這是建立在開源權重的基礎上的。

這一趨勢推動了HuggingFace、CivitAI等開源模型社區的發展。眾多的藝術家和愛好者為這些社區貢獻了許多高質量的微調模型。在不知不覺中，宛如平靜的海洋一下子涌起了洶涌的浪潮，海灘上留下了無數色彩斑斕的鵝卵石，這些都是愛好者們精心調制的AI畫作。

然而，與動畫相比，靜態圖像的表現能力是有限的。最新的開源框架AnimateDiff能夠將任何定制化文生圖模型擴展到動畫生成領域，而且在保持原有定制化模型畫面質量的基礎上，還能生成相應的動畫片段。這使得色彩斑斕的鵝卵石增添了一些動態的光澤。

AnimateDiff 是一款強大的工具，它允許您輕松地將文本轉化為動畫圖像，而無需特定的調整。它為用戶提供了無限的創意和探索空間，讓您可以將文本描述轉化為令人驚嘆的動畫場景。

它的優勢在于將真人電影視頻轉換成的動畫，在激烈的動作下，視頻依然可以異常的穩定。該項目提出了一個有效的框架，可以一次性為大多數現有的個性化文本到圖像模型提供動畫效果，節省了模型特定調整的工作。

項目地址:https://github.com/guoyww/animatediff/

核心功能:

MotionLoRA 模型支持: 最新發布的 MotionLoRA 模型以及其模型庫，為您提供了對相機運動的控制能力。您可以輕松地實現縮放、平移、傾斜和旋轉等相機動作，從而打造生動的動畫場景。

強大的 Motion 模塊: 這個工具提供了多個 Motion 模塊，包括 mm_sd_v14.ckpt、mm_sd_v15.ckpt 和 mm_sd_v15_v2.ckpt，它們支持高分辨率和批處理訓練，提供卓越的圖像質量。

簡便的環境設置: 安裝和配置 AnimateDiff 非常簡單，只需幾個命令即可輕松啟動。您可以在單個 RTX3090GPU 上進行推理，而且僅需大約12GB的顯存。

模型庫: AnimateDiff 提供了豐富的模型庫，包括 Motion 模塊和 MotionLoRA 模塊，以及各種可用于不同場景的模型參數。您可以根據自己的需求選擇合適的模型進行推理。

Gradio 演示: 為了讓用戶更容易使用 AnimateDiff，該團隊還開發了 Gradio 演示。只需運行幾個命令，就可以在本地主機上啟動演示，通過用戶友好的界面進行互動。