Graph 14 - GNN Adversarial Attack paper

列一些 GNN Adversarial Attack paper的懶人包，大致上用 Gray / White / Black Box 分類，之後有空再整理，以下隨手記的一些 GNN Adversarial Attack paper 讀到的名詞 :

• SSL 半監督式學習
  • Pure Semi-supervised Learning : 把Label與Unlabel data都拿去訓練，最後用一開始就分割出得testing data測試模型結果
  • Transductive Learning : 把Label與Unlabel data都拿去訓練，最後預測unlabel data的label (GRAPH 較常用)

Graph 13 - KDD20 Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang
來源：KDD2018 paper link
code : github

Graph 12 - KDD18 Adversarial Attacks on Neural Networks for Graph Data

作者：Daniel Zügner, Amir Akbarnejad, Stephan Günnemann
來源：KDD2018 paper link
code : github

Basic Adversarial Attack

Adversarial Attack 是一種對 neural network 的攻擊，攻擊方式是對一張圖片加一些肉眼無法判斷的 noise ，讓模型做出錯誤的判斷。首先了解 Adversarial Attack 的歷史，根據我查到的資料，最早是在 2013 年 Christian Szegedy 等人發表的一篇論文 – Intriguing properties of neural networks [link]，他們發現對於用 ImageNet 等圖片資料集訓練出的模型會因微小的改動使模型輸出結果有很大的變化。用關鍵字在學術搜尋中找，最早看到 Adversarial Attack 這個詞差不多在 2016 年，這時的 Adversarial Attack 是針對圖片做攻擊，到了 2018 年，Daniel Zügner等人在 KDD 2018 發表的論文 – Graph Adversarial Attack - KDD18 Adversarial Attacks on Neural Networks for Graph Data [link] 被視為 Graph Adversarial Attack 的第一篇研究，他們提出了 Nettack 攻擊模型攻擊 Graph。

Graph 11 - Scaling up GNN to Large Graph

現實中的常會有非常大張的 Graph ，例如 Facebook 社群網路，如果直接將 GNN 套用在這種大圖記憶體會不夠，以往的做法會是sample M (<<N) 個 mini batch，用這個 mini batch 算 loss 用 SGD 更新，但這會有個問題，如果 sample 的 node 很多彼此之間都沒有連線，就沒辦法 msg passing，導致訓練不起來或效果很差，那如果拿 full batch，又因為太大了，GPU記憶體不夠，被迫用CPU，CPU運算效力又不如GPU。