?

網絡推手

阿建少俠,多年網絡推手從業經驗,百余事件炒作經典案例。一個靠譜的網絡推手阿建,業精于心,專于實戰。打造熱點,全民參與!
本站知名網絡推手阿建官方網站,常年從事網紅明星、品牌公司等網絡炒作業務,微信:

在做好網站營銷的基礎上,依托互聯網的優勢,可以將一個好的企業品牌形象推向客戶的眼睛,讓潛在用戶能夠建立深刻的理解。在做營銷網站的時候,我們必須從用戶的角度考慮,從用戶的需求出發做好品牌形象展示,讓客戶能夠看到,并且需要通過多種渠道進行宣傳和策劃。 以下文章內容不代表本站觀點和業務范圍,版權歸原作者所有。
陳正道:哪種圖形神經網絡更具表現力?
  • 2022-01-03 14:07

嘉賓:陳正道,紐約大學博士生

編輯:薛武漢大學

生產平臺:數據卸載

導讀:我們最近研究的課題是探索圖神經網絡的表現力,希望從理論上了解圖神經網絡能做什么,不能做什么,從而比較不同的圖神經網絡模型,提出一些表現力更強的模型。

今天的討論集中在以下三點:

圖形神經網絡介紹(GNN)

GN表達能力的測量

圖形增強MLP

01

圖形神經網絡介紹(GNN)

1.圖形神經網絡(GNN)

我們知道圖神經網絡(GNN)可以用于不同類型的預測任務,例如圖級、節點級或邊級任務。在圖級預測任務中,我們可以把GNN看作是圖的一種函數,它的輸入是圖,圖的節點或邊可能包含特征。以分子預測為例,把一個分子看成一個圖,這個圖可以用GNN映射成一個實數,這個實數可以代表分子的某種化學性質,比如毒性或者水溶性。

因此,我們研究圖神經網絡的表達能力,即作為圖中使用的一種函數,它能有多強的表達能力來逼近圖上的各種函數。

2.消息傳遞網絡(MPNN)

以通用消息傳遞神經網絡(MPNN)為例。其核心思想是迭代更新節點的嵌入向量。更新的方式是,首先,每個節點將從其鄰居節點接收消息,然后聚合接收到的信息來更新其嵌入向量。神經網絡不僅參與第一步生成消息的過程,還參與后期更新節點嵌入向量的過程。當使用不同的神經網絡模型作為消息生成函數和節點更新函數時,可以獲得不同種類的MPNN模型。

3.理解圖形神經網絡

GNN有一些好的特性:

滿足對稱性。如果一個圖的節點被置換,作為圖的函數,GNN不會改變它的輸出。

高效計算。消息傳播是一個局部過程,有專門的實現方法來提高計算效率。

歸納概括.GNN可以在一個圖上訓練,然后在另一個圖上預測;

訓練+較強的表達能力。由于神經網絡需要訓練的參數很多,因此具有表達復雜函數的能力。同時,它具有良好的優化特性,使得基于數據訓練的目標函數逼近成為可能。

我們想研究的問題是GNN的表現力有多強。我們知道前饋神經網絡的表達能力往往受到其寬度的限制。然而,圖神經網絡不僅受到寬度的限制,它如何利用圖的拓撲結構來傳播消息和更新節點也會影響其表達能力。我們希望對表現力有一個理論上的理解,從而比較不同的圖神經網絡模型,嘗試開發更多的表現力模型。

02

GN表達能力的測量

1.圖神經網絡的表現力是什么?

圖神經網絡的表達能力到底是什么,這本身就是一個好問題。目前衡量表達能力的方法有很多,比如GNN是否能區分不同的作文。以上兩個圖是非同構的,并且已經證明了MPNN不能區分這兩個圖,也就是說對于任何MPNN,當我們把它作為一個圖的函數應用到這兩個圖時,我們肯定會得到相等的輸出。

更一般的結論是,MPNN區分同一成分的能力最多相當于Weisfeiler-Lehman (WL)檢驗。許多著作基于這一結論提出了新的模型,包括GIN,它利用內射函數聚合鄰居信息,使MPNN的表達能力在區分非圖同構圖方面達到WL測試的能力。

2.2-不變圖網絡模型

我們關心的一個問題是,除了MPNN,其他類型的GNN在區分不相同的作品時有什么樣的表達能力?

我們感興趣的模型之一是不變圖網絡(IGN)。這種模型是基于等變線性層和非線性激活函數的疊加。

如果圖有n個節點,那么我們考慮從n 2維的歐氏空間到它自己的滿足等變的線性映射空間的線性映射空間。發現這個函數空間的所有維數都與N無關,都只是15維。這意味著我們可以找到15個等變線性函數作為基礎,這些函數可以用來參數化一個等變線性層,然后我們可以通過數據來學習這些參數。這樣,通過疊加非線性激活函數,我們得到了2-IGN模型。

2-IGN模型具有全局信息傳輸,不再基于相鄰節點間的局部消息傳播,因此可能會超過MPNN的表現力。然而,我們也證明了這種2-IGN模型在區分不相同成分的能力上相當于2-WL檢驗,即它區分不相同成分的能力有限。

3.構建一個更具表現力的模型。

然后我們提出了一個更具表現力的模型。在2-IGN思想(即等變線性層和非線性激活函數層層疊加)的基礎上,增加了矩陣乘法的步驟。我們把這個模型叫做Ring-GNN,它的名字來源于基于加法和乘法形成圖算子環的思想。我們從理論上證明了環GNN可以區分前面例子中的兩個不同成分。實驗還表明,它在區分一些不相同的成分方面優于其他GNN模型。

最近有很多其他基于與WL檢驗比較的工作,包括Maron等人的PPGN模型,李攀等人的DE-GNN模型,Vignac等人的SMP模型,游嘉軒等人的ID-GNN模型,總之,這是一個以理論支持的方式構建更強模型的有趣方向。

4.衡量表達能力的其他標準

經過以上的討論,我們可能會想,判斷GNN是否能區分不同的作文有多大意義?如果發現模型無法區分兩個不相同的成分,對我們的實際應用有什么指導價值?因為現實中的任務不需要區分不同的作文。因此,我們希望找到一個更直觀、具體、實用的標準來衡量GNN的表達能力。

因此,我們建議通過計算子圖來衡量GNN表達能力。如果考慮分子預測的場景,有機分子的很多性質是由官能團決定的,可以看作是分子中某些原子的組合,即分子圖的子圖。除了分子預測的任務,統計子圖在社交網絡預測、金融網絡反欺詐等任務中是一項非常有意義的能力。

5.GNN計算子圖的能力有限。

我們證明了傳統的GNN模型,包括MPNN和剛才提到的2-IGN模型,即使在理論上也不能完全準確地計算子圖。

如上圖所示,假設左側是用于計數的模式??磮D1和圖2,我們想分別統計兩個圖中有多少誘導子圖與這個范式同構??梢园l現,圖1包含兩個同構于該范式的誘導子圖;在圖2中,雖然有兩個子圖與該范式同構,但沒有誘導子圖與該范式同構。同時,我們可以證明,無論是MPNN還是2-IGN都無法區分圖1和圖2,也就是說,在圖1和圖2中沒有MPNN或2-IGN可以給出不同的輸出。因此,我們說MPNN和2-IGN不能算這個范式。

6.構建一個可以統計子圖的模型。

基于以上思想,我們提出了一個更具表現力的子圖計數模型。如果我們感興趣的子圖很小,它們會出現在較小的局部鄰域中。此時,我們只需要為每個局部鄰域建立表達模型,然后聚合所有局部鄰域的模型輸出,得到子圖的所有信息。

我們在這里為每個局部鄰域使用的表達模型叫做關系池?;舅枷胧?,如果我們想得到一個滿足置換不變性的函數,我們可以對不滿足置換不變性的函數進行對稱化,例如,通過枚舉所有置換,然后將函數的輸出相加或平均。這樣的模型很有表現力,但是計算復雜度很高。如果輸入圖的大小是n,計算復雜度是n的階乘。

我們的想法是將快速原型模型應用于每個局部鄰域,然后組合來自所有局部鄰域的輸出。如果感興趣的子圖的半徑是r,那么總的計算復雜度就是n的階乘乘以r,如果r很小但是n很大,那么計算復雜度遠小于n的階乘,這就是我們的局部關系池(LRP)模型。LRP模型也可以迭代應用,然后得到深LRP模型。

7.LRP模型的應用

我們將LRP模型應用于分子預測任務,如QM9和molhiv數據集,實驗結果令人滿意。此外,一方面可以利用LRP模型預測分子性質,另一方面也可以利用它尋找與某些分子性質相關的子圖,如找出與分子毒性或水溶性密切相關的官能團,從而達到解釋的目的。

03

圖形增強MLP

1.“gnn簡化版”:圖形增強MLP

最后,我們考慮GNN的簡化版本,稱為圖增強MLP (GA-MLP)。它的基本思想是將節點特征的轉換和傳播分開。與MPNN相比,這種模型使用一些多跳圖算子生成額外的節點特征,從而利用長距離信息代替多層消息傳播。作為GNN的簡化版本,一方面具有更好的可擴展性,可以應用于更大的圖形,另一方面也可能緩解過平滑的問題。

這里我們感興趣的是,除了這些優點之外,圖增強MLP是否比GNN缺乏表達能力。

2.GNN vs圖形增強MLP

首先,我們比較它們區分不同成分的能力。我們發現,我們確實可以找到一些例子來說明差異。例如,上面的圖不能通過僅使用鄰接矩陣的冪的圖增強MLP來區分,但是可以通過GNN來區分。然而,這個結果不能直觀地告訴我們圖增強MLP不擅長哪些任務。

在這方面,我們提出了一個新的度量,即考慮模型是否可以統計圖上的屬性行走??偟乃悸肥?我們要統計從某個節點可以找到多少符合特征要求的走步。例如,如果我們使用不同的顏色來表示節點的不同特征,那么我們要計算有多少次行走滿足“第一跳是紅色節點,第二跳是綠色節點,第三跳是藍色節點”的要求。

對于上面的計數任務,我們可以證明圖增廣MLP做不到,但MPNN理論上可以做到。因為GNN有能力得到有根子樹的信息,所有的行走都包含在這個信息中,但是Graph-Augmented MLP不能完全保留這個信息。我們做了一些實驗,也支持這個結論。

3.不同操作符之間的區別

此外,圖增強MLP還受到其使用的算子集的優缺點的限制。

在社區檢測任務中,我們將GNN與兩個圖增強MLP進行了比較。一個圖增廣MLP是基于鄰接矩陣的冪,另一個是基于最優貝瑟海森矩陣的冪。我們發現,用最佳貝瑟海森矩陣得到的結果優于用鄰接矩陣得到的結果,并且與GNN得到的結果相似。這也是Graph-Augmented MLP模型的性質,模型的效果取決于是否找到了好的算子。

然而,最佳貝瑟黑森矩陣本身的計算依賴于圖形數據,而不是先驗的。相比之下,GNN有能力通過數據直接學習合適的消息傳播模式。然而,一些更一般的結論需要進一步研究。

04

摘要

我們討論了衡量GNN表達能力的三個標準:

能否區分不相同的成分;

子圖像是否可以統計;

你能數出特色步道嗎?

后兩個指標是我們認為與一些實際應用相關且直觀的指標?;谏鲜鰷蕜t,我們證明了一些現有模型在表達性上的局限性,并根據理論結果提出了更具表達性的模型,包括環GNN和局部關系池,它們在分子預測和尋找更適合任務的子圖等實驗中表現良好。

05

精彩的問答

問:表達能力與模型的實際應用效果成正比嗎?有沒有應用實例可以比較?

答:表達能力只是一個方面。模型中還有很多其他方面需要考慮,比如優化、泛化、穩定性、可擴展性等等。并不是表達能力更強的模型總會有更好的表現,而是模型的表現與任務有關。我們的一般經驗是,在分子預測的背景下,強表達模型通常表現得更好。因為分子圖小,模型的可擴展性不是瓶頸。我們希望通過使模型更加復雜來獲得更強的表達能力。然而,在其他場景中,如社交網絡,可伸縮性和過度平滑也可能需要注意。而且,使用復雜的模型可能會導致過擬合,但會受到噪聲的干擾。

問:MPNN也是根據鄰接矩陣聚合傳播的。這和圖增強MLP的工作有什么本質區別?

答:在MPNN,圖中信息傳播的距離與神經網絡的深度一致。例如,有10層MPNN,節點可以獲得超過10跳的節點信息;相比之下,圖增強MLP是一種“淺”神經網絡。如果我們想得到十跳以內的信息,我們不做十層信息傳播,而是使用十跳的圖算子,比如鄰接矩陣的十次冪,生成增廣節點特征,然后對每個節點分別使用兩三層MLP。

問:講座中提到圖形增強MLP的表達能力弱于GNN。是不是因為沒有像GNN那樣交替做傳播和轉化造成的?

答:我覺得可以理解為這個原因。下面兩個不同的根子目錄樹就是例子。

一個兩層的MPNN可以完全獲取圖中有根子樹的信息,并區分它們。因為MPNN做了第一層消息傳播后,節點2得到的嵌入向量是不一樣的,然后通過第二層消息傳播把信息送回根節點。

而Graph-Augmented MLP模型,以鄰接矩陣的冪作為圖子集為例,只能讓根節點知道每層子節點中綠色節點和藍色節點的個數,卻無法得到更具體的信息,因此無法區分以上兩個有根子樹。

問:根據上一個問題中討論的插圖,你能理解GNN有維持秩序的能力,而圖增強MLP卻學會了無序信息嗎?

答:不完全是。正如剛才所說,GNN可以得到有根子樹的完整信息,但Graph-Augmented MLP收集的信息更像是每層子節點特征的整體統計信息。直覺上,這就是對它的理解。我認為秩序問題值得進一步討論。

問:為什么度量模型的表現力和子圖計數有關?

答:這是我們提出的衡量表達能力的標準。從根本上來說,衡量GNN表達能力的標準是圖上函數的逼近能力,也就是普遍逼近的問題:圖上是否有函數可以用GNN逼近。這類似于前饋神經網絡表達能力的研究。從這個基本觀點出發,我們思考GNN能表達什么樣的功能。具體來說,我們試圖探索與現實任務相關的函數,例如GNN是否可以近似子圖計數。

今天的分享就到這里。謝謝你。


最新動態


相關資訊

  • “追尋建黨百年足跡——網絡名人福
  • 倪寶軍同志榮獲“中國網感動內蒙古
  • 品牌跨界,創意推手真正的娛樂也可
  • 第一封信很容易支付&小漁夫攜手幫
  • 分享成功歐木莎智能科技山東站市場
  • 中國科學院軟件研究所、市政府與大
  • 在原材料上漲的情況下,如何看待降
  • 雷軍推手能力有多好?四大秘訣,讓
  • 涉案人員27人,涉案金額619萬余元,順
  • 廚師秘籍如何讓面筋形成緊密網絡?

    微信號:tuisho
    全年無休,早9點至晚9點

    復制號碼

    跳轉微信

    ×


    靚號
    此號僅服務老客戶
    新客戶請聯系微信

    ×
    国产精品国产三级国产专不?