更善於自動抓拍「有趣」瞬間: Google Clips AI 拍照新技術(中)

更善於自動抓拍「有趣」瞬間: Google Clips AI 拍照新技術(中)

▲更善於自動抓拍「有趣」瞬間(圖/翻攝自雷鋒網,下同)

【原文:《更善於自動抓拍「有趣」瞬間: Google Clips AI 拍照新技術》,作者:劉鵬,智慧機器人網編輯整理】

文、圖/雷鋒網

訓練一個片段品質模型

在給定訓練數據的品質得分的情況下, Google 下一步就是訓練一個神經網絡模型,並使用這個模型來評價Clips 拍攝的照片品質。 Google 先基本假設模型知道照片裡有什麼(如人物、狗、樹等),這將幫助模型來定義何為「有趣」。如果這個假設成立, Google 就可以得到一個人類對比照片的行為上衍生出來的新特性:通過已識別的照片內容來預測該照片的品質得分。

 Google 利用驅動Google 圖像搜索和Google 相冊的同款機器學習技術,來識別訓練數據中描述事物、概念以及動作的內容標籤,可以識別的不同標籤超過27000 種。

 Google 顯然不需要所有的這些標籤,也不可能在設備上把它們全都計算個遍,因此, Google 的攝影專家們只選擇了幾百種標籤,他們認為這些標籤與預測一張照片的「有趣」最為接近。 Google 還加上了與人類評估員打出的片段品質得分最契合的那些標籤。

在獲得了這些標籤的子集後, Google 就需要設計一個壓縮的、高效的模型,這個模型在能源和發熱的嚴格限制下,在設備端對任何給定的圖像進行預測。這就帶來了一項挑戰,因為支持計算機視覺的深度學習技術通常需要強大的桌面GPU,目前適合在移動端設備運行的算法還遠遠落後桌面和雲端的最先進技術。

為了訓練這個設備端模型,首先, Google 使用了一組數量很多的照片集,並再次使用了 Google 強大的、基於服務器的識別模型,來為上面描述過的每一個「有趣」標籤預測標籤可信度。

隨後, Google 訓練了一個MobileNet 圖像內容模型(ICM)來模擬server-based 模型(server-based model)的預測。這個壓縮模型能夠識別照片中最有趣的那些元素,同時忽略掉與「有趣」無關的內容。

最後一步是,為一張輸入的照片(照片內容由由ICM 預測)預測一個單一的品質評分,同時使用5000 萬個成對比較樣本作為訓練數據。

這項評分是使用一個分段線性回歸模型計算得到的,模型將ICM 的輸出合併成某一幀片段的品質得分。這一幀的品質得分,是綜合影片分片段來產生一個瞬間得分。給定一個成對比較樣本後,模型應該可以計算出一個瞬間得分,也就是給人類偏愛的那個片段打一個更高的分數。

這樣訓練模型來讓它的預測盡可能的與人類在成對片段比較中的喜好相匹配。

這個過程允許 Google 訓練一個結合Google 圖片識別技術和人類評估員智慧的模型,其中人類評估員的智慧由5000 萬個關於「何為有趣內容」的觀點代表!

雖然由數據驅使的評分模型,已經在識別影片的有趣和無趣瞬間上表現得相當不錯,但 Google 仍在整體評分的基礎上增加了一些獎勵,來激勵模型拍攝一些 Google 想讓它拍攝的畫面,包括人臉(特別是經常出現在鏡頭前的熟悉面孔)、笑容和寵物。

Google 近期發表了一篇「Jump for joy: Google Clips captures life's little moments」,在論文中 Google 針對用戶們明確想記錄的一些特定行為(如擁抱、接吻、跳躍和舞蹈等)增加了一些對模型的獎勵,激勵模型記錄這些用戶行為。識別上面這些行為,需要對ICM 模型進行擴展。

抓拍控制

有了可以預測一個場景的「有趣」的強大模型後,Clips 相機就能判斷哪個場景需要實時抓拍了。Clips 相機的拍攝控制算法遵循下面三個主要原則:

1.高效利用電池和避免設備過熱: Google 希望Clips的電池可以保持大致3個小時的續航,且不希望設備過熱(禁止設備以高性能狀態運行全程)。Clips大部分時間在低能耗狀態下運行,期間Clips每秒拍攝一幀畫面。如果某一幀的畫面品質達到了Clips的臨界值(依據Clips最近拍到的最好照片品質而設定),Clips就會進入每秒拍攝15幀畫面的高性能模式。隨後,Clips會在對包含第一張達到最好品質的照片的影片片段進行保存。

2.避免冗餘的拍攝: Google 不希望Clips一次記錄所有的瞬間,而忽略掉剩下的那些。因此, Google 的拍照控制算法將Clips拍攝的瞬間,分群放入視覺上相似的組中,並對每個群內的片段數量加以限制。

3.對所拍內容實施二次評估:當拍攝的片段總體擺在你面前的時候,可以很輕鬆地判斷哪個片段拍的最好。因此,相較於直接將拍攝結果展示給用戶,Clips傾向記錄更多的瞬間來讓用戶選擇。將拍攝的片段傳輸至手機端前,Clips相機會再一次評估拍攝的內容,然後只將品質最好和最少冗餘的內容呈現給用戶。

【原文:《更善於自動抓拍「有趣」瞬間: Google Clips AI 拍照新技術》,作者:劉鵬,智慧機器人網編輯整理】

留言

延伸閱讀