自製二次元美少女超簡單! 這款 AI 讓你 30 秒夢想成真

自製二次元美少女超簡單! 這款 AI 讓你 30 秒夢想成真
▲只要簡單選擇幾個特徵,就能在30秒內生成出屬於自己的二次元美少女。(圖/翻攝自雷鋒網)

【原文:雷鋒網原創文章《AI 自動生成二次元妹子?或將替代插畫師部分工作》,作者:駱駝,智慧機器人網編輯整理】

文、圖/雷鋒網

雷鋒網 AI 科技評論按:最近二次元愛好者們可能會異常興奮。來自復旦大學、同濟大學、卡內基梅隆大學和石溪大學共 6 位學生(其實本科都在復旦)搭建了一個利用人工智慧自動生成精美動漫角色的網站 MakeGirls.moe

對於用戶來說操作非常簡單,只需要選擇自己喜愛的頭髮、眼睛、微笑、張嘴等等特徵,然後點擊“ generate ”就可以通過訓練出的 AI 模型來生成一個動漫人物。該網站上線後數天,瀏覽量便增加到 10k+ 每小時。

其 repo 在 github trending 上也一度排到第四位。該網站所使用的技術在其論文《 Create Anime Characters with A.I. ! 》中進行了詳細說明。

其實這並不是第一個將 AI 應用到動漫當中的模型。 2015 年 Soumith Chintala等人開發 DCGAN 後不久,就有人將 DCGAN 應用到了生成動漫角色當中,出現了 ChainerDCGAN 、 IllustrationGAN 和 AnimeGAN 等,三者分別使用了Chainer 、 TensorFlow 和 PyTorch 的框架,它們本質上都是 DCGAN ,只是實現方式不同。

但這些模型的效果並不是很好,尤其是會出現面部頭像模糊和扭曲的問題。在MakeGirls.moe 的模型中,作者針對這些問題做出了兩方面的改進。

 

一、使用更高品質的圖像庫

之前幾家,他們訓練模型所使用的資料集大多數是使用爬蟲從網路上爬下來的,這類圖片在品質和畫風上參差不齊,甚至還有一些背景。訓練資料集品質的低下會給訓練造成很大的影響。本文的作者則通過從日本的遊戲販賣商Getchu 購買了高品質的圖像,這些圖像基本出於專業畫師之手,同時背景統一。

除了高品質的圖像外為了訓練網路模型,作者使用了一種基於 CNN 的圖像分析工具 Illustration2Vec ,對圖像中動漫人物的屬性,如頭髮顏色、眼睛顏色、髮型和表情等做標記。

此外,在訓練的過程中他們還發現發佈時間越晚的圖片,訓練出的模型效果越好。這不難理解,隨著遊戲角色製作和 CG 技術的發展,越是現代的圖片,細節越豐富,如陰影和頭髮。所以作者捨棄了 2005 年之前的全部資料,並過濾掉解析度低於 128*128 的圖像,用剩下的 31255 張高品質圖像進行訓練。

 

二、模型結構

作者採用了今年 5 月份發表的 DRAGAN 模型( https://arxiv.org/pdf/1705.07215.pdf ),這種模型所使用的計算量相對較少,收斂較快而且能夠產生更穩定的結果。而在優化生成器的過程中,受ACGAN 的啟發,不僅向生成器提供了標籤資料,連“雜訊”資料也一併提供,之後再為判別器增加多標籤分類功能。

下面展示一下效果——

雖然訓練出的模型大多數時候都比較好,但該模型仍然存在一些缺點。問題仍出在資料集中,由於訓練資料中各個屬性(發色、髮型、眼鏡、帽子等)的數量分佈不均勻,某些屬性的生成並不理想(例如眼鏡和帽子常常不能生成) ,如果將某些罕見的屬性組合,生成的圖片甚至會崩潰(例如帽子+眼鏡)。

也許當增加資料集的數量,訓練出的模型生成圖片品質可以進一步提高。雷鋒網(公眾號:雷鋒網)認為,按照此趨勢 AI 或許在不久將替代掉插畫師的一部分工作。

訪問網站:MakeGirls.moe(已有訓練好的模型,打開就可以嘗試生成)

據雷鋒網瞭解,由於突然之間巨大的訪問量,網站目前託管在 Preferred Networks 所提供的 AWS 上。

 

查看論文:https://makegirlsmoe.github.io/assets/pdf/technical_report.pdf

Github:make.girls.moe(目前只有網站的 js 源碼,看介紹訓練模型的代碼會在近期放出)

本文參考了:AI可能真的要代替插畫師了…… 

 

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知

【原文:雷鋒網原創文章《AI 自動生成二次元妹子?或將替代插畫師部分工作》,作者:駱駝,智慧機器人網編輯整理】

熱門標籤

留言

延伸閱讀