技術(shù)支持 東莞網(wǎng)站建設(shè)舞蹈培訓(xùn)免費(fèi)的網(wǎng)頁制作軟件
Pytorch自帶一個(gè)PyG的圖神經(jīng)網(wǎng)絡(luò)庫,和構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)類似。不同于卷積神經(jīng)網(wǎng)絡(luò)僅需重構(gòu)__init__( )和forward( )兩個(gè)函數(shù),PyTorch必須額外重構(gòu)propagate( )和message( )函數(shù)。
一、環(huán)境構(gòu)建
? ? ? ? ①安裝torch_geometric包。
pip install torch_geometric
? ? ? ? ②導(dǎo)入相關(guān)庫
import torch
import torch.nn.functional as F
import torch.nn as nn
import torch_geometric.nn as pyg_nn
from torch_geometric.datasets import Planetoid
二、PyG圖學(xué)習(xí)架構(gòu)
? ? ? ? 構(gòu)建方法:首先繼承MessagePassing類,接下來重寫構(gòu)造函數(shù)和以下三個(gè)方法:
message() #構(gòu)建消息傳遞
aggregate() #將消息聚合到目標(biāo)節(jié)點(diǎn)
update() #更新消息節(jié)點(diǎn)
? ? ? ? 1.構(gòu)造函數(shù)
def __init__(self, aggr: Optional[str] = "add",flow: str = "source_to_target", node_dim: int = -2,decomposed_layers: int = 1):
參數(shù) | 內(nèi)容 |
aggr | 消息聚合的方式,常見的方法:add、mean、min、max |
flow | 消息傳播的方向,source_to_target--從源節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?target_to_source--從目標(biāo)節(jié)點(diǎn)到源節(jié)點(diǎn) |
node_dim | 傳播的維度 |
? ? ? ? 2.propagate函數(shù)
? ? ? ? ? ? ? ? 該函數(shù)為消息傳播的啟動(dòng)函數(shù),調(diào)用此函數(shù)后會依次執(zhí)行:message、aggregate、update來完成消息的傳遞、聚合、更新。
? ? ? ? ? ? ? ? 該函數(shù)聲明如下:
propagate(self, edge_index: Adj, size: Size = None, **kwargs)
參數(shù) | 說明 |
edge_index | 邊索引 |
size | 鄰接矩陣的尺寸,若為None則表示方陣 |
**kwargs | 額外參數(shù) |
? ? ? ? 3.message函數(shù)
? ? ? ? ? ? ? ? 用于構(gòu)建節(jié)點(diǎn)消息,傳遞給propagate的tensor可以映射到中心節(jié)點(diǎn)和鄰居節(jié)點(diǎn),僅需在相應(yīng)的變量名后加上_i(中心節(jié)點(diǎn))或_j(鄰居節(jié)點(diǎn))即可。
self.propagate(edge_index, x=x):passdef message(self, x_i, x_j, edge_index_i):pass
x_i | 中心節(jié)點(diǎn)構(gòu)成的特征向量組成的矩陣 |
x_j | 鄰居節(jié)點(diǎn)構(gòu)成的特征向量組成的矩陣 |
edge_index_i | 中心節(jié)點(diǎn)的索引 |
? ? ? ? 4.aggregate函數(shù)
? ? ? ? ? ? ? ? 消息聚合函數(shù),用以聚合來自鄰居的消息,常見的方法有add、sum、mean、max,可以通過super().__init__()中的參數(shù)aggr來設(shè)定
? ? ? ? 5.update函數(shù)
? ? ? ? ? ? ? ? 用于更新節(jié)點(diǎn)的消息
三、GCN圖卷積網(wǎng)絡(luò)
? ? ? ? GCN網(wǎng)絡(luò)的原理可見:圖卷積神經(jīng)網(wǎng)絡(luò)--GCN
? ? ? ? 需要注意?torch_scatter無法使用pip install加載可以參見?torch_scatter安裝
? ? ? ? 1.加載數(shù)據(jù)集
from torch_geometric.datasets import Planetoiddataset = Planetoid(root='Cora', name='Cora')
? ? ? ? ? ? ? ? Cora數(shù)據(jù)集是一個(gè)根據(jù)科學(xué)論文之間相互引用關(guān)系構(gòu)建的圖(Graph)數(shù)據(jù)集合,論文合計(jì)7類,共2708篇論文(2708個(gè)節(jié)點(diǎn)),10556條邊。
? ? ? ? 2.定義GCN層
class GCNConv(MessagePassing):def __init__(self, in_channels, out_channels, add_self_loops=True, bias=True):super(GCNConv, self).__init__()self.add_self_loops = add_self_loopsself.edge_index = Noneself.linear = pyg_nn.dense.linear.Linear(in_channels, out_channels, weight_initializer='glorot')if bias:self.bias = nn.Parameter(torch.Tensor(out_channels, 1))self.bias = pyg_nn.inits.glorot(self.bias)else:self.register_parameter('bias', None)# 1.消息傳遞def message(self, x, edge_index):# 1.對所有節(jié)點(diǎn)進(jìn)行新的空間映射x = self.linear(x) # [num_nodes, feature_size]# 2.添加偏置if self.bias != None:x += self.bias.flatten()# 3.返回source、target信息,對應(yīng)邊的起點(diǎn)和終點(diǎn)row, col = edge_index # [E]# 4.獲得度矩陣deg = degree(col, x.shape[0], x.dtype) # [num_nodes]# 5.度矩陣歸一化deg_inv_sqrt = deg.pow(-0.5) # [num_nodes]# 6.計(jì)算sqrt(deg(i)) * sqrt(deg(j))norm = deg_inv_sqrt[row] * deg_inv_sqrt[col] # [num_nodes]# 7.返回所有邊的映射x_j = x[row] # [E, feature_size]# 8.計(jì)算歸一化后的節(jié)點(diǎn)特征x_j = norm.view(-1, 1) * x_j # [E, feature_size]return x_j# 2.消息聚合def aggregate(self, x_j, edge_index):# 1.返回source、target信息,對應(yīng)邊的起點(diǎn)和終點(diǎn)row, col = edge_index # [E]# 2.聚合鄰居特征aggr_out = scatter(x_j, row, dim=0, reduce='sum') # [num_nodes, feature_size]return aggr_out# 3.節(jié)點(diǎn)更新def update(self, aggr_out):# 對于GCN沒有這個(gè)階段,所以直接返回return aggr_outdef forward(self, x, edge_index):# 2.添加自環(huán)信息,考慮自身信息if self.add_self_loops:edge_index, _ = add_self_loops(edge_index, num_nodes=x.shape[0]) # [2, E]return self.propagate(edge_index, x=x)
? ? ? ? 3.定義GCN網(wǎng)絡(luò)
class GCN(nn.Module):def __init__(self, num_node_features, num_classes):super(GCN, self).__init__()self.conv1 = GCNConv(num_node_features, 16)self.conv2 = GCNConv(16, num_classes)def forward(self, data):x, edge_index = data.x, data.edge_indexx = self.conv1(x, edge_index)x = F.relu(x)x = F.dropout(x, training=self.training)x = self.conv2(x, edge_index)return F.log_softmax(x, dim=1)
? ? ? ? 4.模型調(diào)用
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') # 設(shè)備
epochs = 200 # 學(xué)習(xí)輪數(shù)
lr = 0.0003 # 學(xué)習(xí)率
num_node_features = dataset.num_node_features # 每個(gè)節(jié)點(diǎn)的特征數(shù)
num_classes = dataset.num_classes # 每個(gè)節(jié)點(diǎn)的類別數(shù)
data = dataset[0].to(device) # Cora的一張圖# 4.定義模型
model = GCN(num_node_features, num_classes).to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=lr) # 優(yōu)化器
loss_function = nn.NLLLoss() # 損失函數(shù)# 訓(xùn)練模式
model.train()for epoch in range(epochs):optimizer.zero_grad()pred = model(data)loss = loss_function(pred[data.train_mask], data.y[data.train_mask]) # 損失correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item() # epoch正確分類數(shù)目acc_train = correct_count_train / data.train_mask.sum().item() # epoch訓(xùn)練精度loss.backward()optimizer.step()if epoch % 20 == 0:print("【EPOCH: 】%s" % str(epoch + 1))print('訓(xùn)練損失為:{:.4f}'.format(loss.item()), '訓(xùn)練精度為:{:.4f}'.format(acc_train))print('【Finished Training!】')# 模型驗(yàn)證
model.eval()
pred = model(data)# 訓(xùn)練集(使用了掩碼)
correct_count_train = pred.argmax(axis=1)[data.train_mask].eq(data.y[data.train_mask]).sum().item()
acc_train = correct_count_train / data.train_mask.sum().item()
loss_train = loss_function(pred[data.train_mask], data.y[data.train_mask]).item()# 測試集
correct_count_test = pred.argmax(axis=1)[data.test_mask].eq(data.y[data.test_mask]).sum().item()
acc_test = correct_count_test / data.test_mask.sum().item()
loss_test = loss_function(pred[data.test_mask], data.y[data.test_mask]).item()print('Train Accuracy: {:.4f}'.format(acc_train), 'Train Loss: {:.4f}'.format(loss_train))
print('Test Accuracy: {:.4f}'.format(acc_test), 'Test Loss: {:.4f}'.format(loss_test))