|
2020年，超過44億互聯網用戶通過社交媒體帖子、評論、推薦以及類似的互動產生了驚人的數據量。從這些數據中收集的見解對于指導企業和創新者進行產品開發、市場營銷和客戶支持都是無價之寶。但是，由于人類語言和文化背景的復雜性，讓機器很難理解和解釋客戶提供的觀點性數據，因此提取見解極具挑戰性。自然語言處理 (NLP) 和機器學習 (ML) 等工具使計算機能夠理解人類語言并得出其中的含義。此外，情感分析是人工智能 (AI) 研究的一個前沿領域，它可以幫助機器理解客戶提供的非結構化數據，并將觀點解釋為肯定、否定或中立。 語義分析中的語言復雜性 為了解自然語言處理中的情感分析，讓我們先來看看餐廳點評中的一個簡單表述：“湯很不錯”。 對其中情感的分析包括三個步驟： ● 確定表述、語句或全文中是否包含觀點。 ● 了解這些觀點是肯定、否定還是中立的 (也就是所謂的極性)。 ● 確定觀點的目標。 在本例中，對于餐廳提供的特定餐品，情感分析得出的無疑是正面結論。但是，其他例子則不太直接，例如與之類似的另一個表述：“啤酒很涼”。許多人會認為這種觀點是正面的，因為他們喜歡這樣的啤酒，但是涼這個詞如果換到其他語境中，它的“極性”可能就是負面的。例如，“咖啡很涼”這個表述的結構和形容詞完全相同，但許多人都不會認為咖啡涼了是一件好事。 其他語言復雜性也帶來了更多的挑戰，例如包含多種情感的表述，比如說：“菜不錯，就是湯有點涼”。在這里，我們根據客戶對湯冷、湯熱的偏好，會得出正面、負面和模棱兩可的情緒。同樣，如果說“湯熱乎乎的，但是啤酒很涼”，對大多數人來說這都是一種正面表述，但在某種潛在的客戶語境下卻模棱兩可。 修飾語進一步模糊了“極性”之間的界限。例如，可以想象一下這樣一條意見：“工作人員太過熱情了”。在這里，我們還必須考慮諷刺、嘲諷或修辭手法，這使得正確識別情緒具有挑戰性。例如“我們等了一個多小時了，這服務也太好了吧！”這種表述在訓練數據中往往不多見，并且很難通過系統性的方式來手動編碼。 語義分析中的文化變量 將個人、文化或環境偏好納入考量后，判斷觀點的“極性”就變得更具挑戰性。例如，現在我們來分析一下客戶對日式旅館的評論。傳統的日式旅館往往都豪華昂貴，但配備的沐浴設施是公共洗浴區而非獨立浴室。將有無某種東西歸類為正面或負面看起來似乎直截了當，例如：“淋浴間有污垢”或“有一個兒童游泳池”。然而日式旅館的例子說明了為什么將文化變量和個人喜好納入考慮對于獲得有用的數據見解至關重要。在日本，客人認為公共洗浴區是一個正面的屬性； 相比之下，大多數歐洲游客會對此持負面看法，對費用較高的酒店而言尤其如此。這個例子所表現的還只是一個特征和兩種文化。 解決自然語言處理中的語言和文化多樣性問題 在自然語言處理中，可能需要在整個文檔級別以及段落和句子級別分析情感，往往做完了這一步才能匯總出結果。全文檔分析非常有用，而段落和句子級別的分析可以產生更細粒度和相對準確的結果（即除了可以識別對產品整體的情感外，還可以識別有關特定產品特征的情感）。這一過程的挑戰來自于如何制訂出一套詞匯，并將這套詞匯作為一組規則，讓機器用它來將情感分類為正面、負面或中立。對此，我們可以先從許多免費工具和資源用起，它們都已經在公開數據上進行過訓練。例如，Natural Language Toolkit、spaCy和TextBlob等軟件庫都包括情緒模型，而且還允許使用用戶數據進行再訓練。如果您不喜歡寫代碼，那么Google Cloud Platform或Microsoft Azure等云服務都可以讓您立即開始進行情緒分析：只需將需要分析的文本粘貼到瀏覽器中，然后就可以構建您的應用了。 除了原型之外，數據集和機器學習模型還應進一步解決語言和文化復雜性的問題。這就意味著： ● 在計劃上， 需要找出一種結構化的方法來發現多樣性和有用的深入見解。例如，分析您的數據以了解深層的語言和文化、語氣、來源、作者人口特征，然后咨詢語言學家以解釋這些要素。通過采訪與作者同屬一個群體的人來進一步細化您的方法，以準確了解微妙差別和語境。 ● 在訓練數據上， 需要確定多樣性處理所需的示例，并添加人工提供的注釋。這也可能意味著查閱諸如詞典等知識庫、為特定問題添加更多訓練數據，或者在某些情況下，從數據中刪除對結果的客觀真實性構成損害的不良或誤導性內容。 ● 在建模上， 需要找到相應的方法，以數學上可處理的方式來表示句子。例如，將任意文本表示為數值向量的詞嵌入，這種方法可用來將語境中使用的單詞映射為相應的正面、負面或中立情緒。理想情況下，數據分析會顯式或隱式地基于各客戶的偏好進行。但是，這種分析相當麻煩，而且在許多情況下，如果用戶資料無法辨識，就無法進行分析。更易采用的方法是根據地區和語言分析數據，然后使用單獨的訓練示例對文化差異進行建模。 結論 客戶在媒體帖子、評論、推薦中提供的數據為企業和創新者提供了寶貴的見解。自然語言和文化的復雜性讓由人工智能驅動的機器難以理解客戶的觀點；但是，情感分析可以幫助確保這些方面被捕獲并反映在見解中。您可以從使用免費工具和資源入手，但是解決語言和文化復雜性的問題具有挑戰性，需要大量的計劃、數據準備和建模。提高對語言和文化復雜性的認識是獲得有用的見解的良好起點，也是一條極有價值的途徑，讓您能夠進一步了解客戶和他們的需求。 文章來源：貿澤電子 作者簡介：Michael Matuschek是一位資深數據專家，來自德國杜塞爾多夫， 擁有計算機科學碩士學位和計算語言學博士學位， 曾從事過多個行業的各種自然語言處理項目和學術界的工作， 涵蓋的主題包括評論的情感分析、客戶電子郵件分類和本體富集。 |
