初探 Azure Media Indexer

2014-12-05

感謝北科大劉建昌同學翻譯微軟公司 Azure Media Services 主管 Adarsh Solanki 於 2014 年 9 月 10 日所發表的文章

https://azure.microsoft.com/blog/2014/09/10/introducing-azure-media-indexer/

Internet 視訊應用在目前的網路環境中快速增長，依據 Cisco VNI Forecast 的預測，網路視訊所產生的網路流量在 2014 年佔所有消費者網路流量的 70%，到了 2018 年則會增加到 79%。就現今網路環境而言，網路視訊已隨處可見，視訊應用快速增長也衍生出了一些問題。

Internet 網路的設計原是基於文字檔案之應用，也因此要在 Internet 上搜尋文字資料是相對較容易，技術也較為成熟，但是另一方面，視訊檔案則需要透過複雜的分類系統和大量人工標記資料 (manually-tagged) ，才能夠以文字來進行搜尋。

若是有一種方法可以自動擷取影片中有意義的語音資料，對影片搜尋而言將會相當便利。Azure Media Indexer 是為一個媒體處理器( Media processor ) 雲端服務，透過微軟研究院 ( Microsoft Research ) 的自然語言處理 ( natural language processing ) NLP 技術，將影片內容中有意義的語音，轉換成一個關鍵字檔 ( keyword file ) ( XML )、一組隱藏式字幕檔 ( SAMI/TTML ) 與一個二進位索引檔 (AIB)。

隨著多媒體內容在網路環境下的快速發展，使用者更加重視內容的可閱讀性，也因此許多影片都會用到字幕來作呈現，但是現階段所有影片都是透過人工的方式來建立字幕，這樣不僅費時且成本也相當的高。Azure Media Indexer 的語音識別引擎會自動建立一個附有時間標籤的字幕檔，裡面包含了輸入影片之英文口語單字，透過這種自動化轉換，我們可以將以往需要大量人工工時的工作轉變為全自動化的工作。同時也利用 SQL Server 或是 Apache Lucene/Solr 之類的索搜尋引擎來搜尋影片中某個重要片段，使用者可以相當簡單地透過搜尋文字的方式來找到影片中特定時間的內容。透過上述的方法，可以大幅減少搜尋影片內容的複雜度。

接下來透過一個簡單的範例，來介紹如何透過 Azure Media Indexer 來處理您的媒體文件。

在您的影片資產上建立索引

利用 Azure Media Indexer ，使用者可以在本地端或是網路上的文件資料中建立索引。而在本範例，我們將把本地端的媒體文件上傳到 Azure Media Service，再透過 Azure Media Indexer 來建立索引。

在此教學中，我們利用 Channel9 的影片來進行示範。將本影片儲存為 MP4檔，並且重新命名為 "Index.mp4" 從存放C:\Users\<<USERNAME>>\Videos\Index.mp4。

完整的程式碼範例可以在此連接下載。

設定您的專案

在 Visual Studio 2013上建立一個C#主控台應用程式專案 (File > New > Project or Ctrl+Shift+N)

接下來，利用 NuGet 封包管理來安裝 "Azure Media Services .NET SDK"

( 在專案上點擊右鍵，選取 NutGet，並且在搜尋欄位上搜尋 "Azure Media Services .NET SDK" )

打開專案檔上的App.config檔，並且將下方程式碼加入至appSettings欄位上。

(要注意的是，要確保輸入的媒體服務名稱和金鑰是存在並且有效的)

建立一個資產 ( Asset )

資產是 Azure Media Services 用來儲存媒體檔案的容器 (container)，一個資產內部除了包含了媒體檔案的本身之外，還包含了串流所需要用到的檔案。在本範例中，您將建立一個資產檔案，並且透過.NET SDK來儲存視訊。同時您也可以利用 Azure 管理網站來更新您資產內的檔案。

首先您需要將以下程式碼加入到主控台應用程式的 Program.cs。

您將需要宣告一個 CloudMediaContext 物件來建立與Azure Media Service 的連線。透過這個步驟，將允許您在Azure Media Service上建立一個新的資產(Asset)，並且上傳本地端的文件作為資產檔案(Asset File)。

首先，在 Program.cs 裡增加以下程式碼，此程式碼將告訴主控台應用程式要在哪裡找到來源檔案，並且將檔案輸出在哪裡。

接下來您需要建立一個主控台動作 ( job )，並且加上以下程式碼 :

提交一個檢索工作 ( Indexing job )

透過以上程式碼，您已經在 Azure Media Service 上面建立一個資產 ( Asset )，並且上傳了一個本地端的檔案。下一個步驟，您將建立一個參考，這個參考可以讓Azure內容檢索處理器做為檢索的參考數值。在 Azure Media Service上的工作 ( jobs ) 一個或多個任務( Tasks ) 組成，專門用來指定特定處理動作 ( 編碼encoding、包裝 packaging 等.....) 的細節內容。

透過建立索引工作中的任務，在其中可以設定一些在進行索引工作時會用到的參考資訊，在本範例中，您將建立一個作為索引任務的設定檔 "default.config"，裡面將包含了一些有用的資訊可供索引工作參考。

任務配置 (Task Configuration )

Azure Media Indexer 參考的任務設定檔為一個XML檔案，裡面包含了幾項關於檢索檔案的基本資訊或是關鍵字，利用他們可以來提高語音辨識的精準度。

在現有版本的 Azure Media Indexer 上，允許在配置檔中描述媒體文件的標題以及其內容大綱，透過這樣的任務配置，可以讓自然語言處理引擎 ( adaptive natural language processing engine ) 基於已知的主題來增加翻譯的詞彙，讓結果更加精準。

例如 :

如果您有一個關於 "Geico" 的影片，透過在任務配置檔上輸入此標題，就能夠減少在翻譯文章時會出現"guy co"這種錯誤發生。

或者在檢索影片時，當中提到 “aortic aneurism (主動脈動脈瘤)”，正常情況下有可能會被誤解為“A or tick canner is um" 這種不知所云的翻譯，此時若是加入任務配置，在標題或是大綱內容提供 “hypertension (高血壓)” 的資訊，這將會提高搜尋引擎的準確度。

在專案點擊右鍵，新增一個XML檔案作為任務配置檔，並且新增以下程式碼，取名為"default.config"。在本範例中，我們使用Channel9上關於範例影片的標題與大綱敘述作為配置檔的內容。