面向多视图异构图的分层投影嵌入方法

郝韵致; 郑铜亚; 王新根; 王新宇; 宋明黎; 陈纯; 周春燕; HAO Yunzhi; ZHENG Tongya; WANG Xingen; WANG Xinyu; SONG Mingli; CHEN Chun; ZHOU Chunyan

面向多视图异构图的分层投影嵌入方法

doi: 10.11887/j.cn.202503001

郝韵致¹ ，郑铜亚¹ ，王新根² ，王新宇² ，宋明黎² ，陈纯² ，周春燕³

1. 浙大城市学院计算机与计算科学学院，浙江杭州 310015

2. 浙江大学计算机科学与技术学院, 浙江杭州 310027

3. 浙江省平安建设大数据重点实验室, 浙江杭州 310016

基金项目: 国家自然科学基金资助项目（61671233，61801208）；国家部委基金资助项目（51304010206）

详细信息

作者简介

郝韵致（1996—），女，河北邯郸人，助理研究员，博士，E-mail: hyzhi@hzcu.edu.cn

通讯作者

周春燕（1972—），女，浙江诸暨人，正高级工程师，硕士，E-mail: hzgazcy@163.com

中图分类号: TP181

文献标识码: A

文章编号: 1001-2486(2025)03-001-09

Multi-view heterogeneous graph embedding method with hierarchical projection

HAO Yunzhi¹ ， ZHENG Tongya¹ ， WANG Xingen² ， WANG Xinyu² ， SONG Mingli² ， CHEN Chun² ， ZHOU Chunyan³

1. School of Computer and Computing Science, Hangzhou City University, Hangzhou 310015 , China

2. College of Computer Science and Technology, Zhejiang University, Hangzhou 310027 , China

3. Zhejiang Provincial Key Laboratory of Social Security Governance Big Data, Hangzhou 310016 , China

摘要

提出一种基于分层投影网络的自监督嵌入方法多视图异构投影网络(multi-view heterogeneous graph projection network, MeghenNet)以学习多视图低维节点表征，其中多视图异构图被定义为明确允许模型同时从多数据源中采集信息建模异构图。MeghenNet采用分层注意力映射机制，其跨关联投影模块用于提取单视图中的语义信息，跨视图模块用于聚合多个视图中的上下文信息。计算每个视图嵌入与全局嵌入之间的互信息损失函数以确保视图之间的信息一致性。在多个真实数据集上的实验表明，所提出算法在处理多视图异构图嵌入问题时明显优于基准算法。

关键词

异构图嵌入 / 多视图异构图 / 图卷积 / 互信息

Abstract

A self-supervised graph embedding approach based on hierarchical projection network called MeghenNet(multi-view heterogeneous graph projection network) was introduced to learn low-dimensional representations from multiple views. The concept of multiple-view heterogeneous graphs was defined to explicitly allow the model to simultaneously collect information from multiple data sources for modeling heterogeneous graphs. A hierarchical attention projection that involves a cross-relation projection to extract semantics information within each view was employed, followed by a cross-view projection to aggregate contextual information from other views. The mutual information loss function between each view embedding and the global embedding was computed to ensure the information consistency across views. Experimental results on several real-world datasets demonstrate that the proposed method outperforms state-of-the-art approaches when handling multi-view heterogeneous graphs.

Keywords

heterogeneous graph embedding / multi-view heterogeneous graphs / graph convolutional / mutual information

1 问题定义 2 算法描述 2.1 跨关联投影 2.2 跨视图投影 2.3 模型调优 3 实验 3.1 实验设定 3.1.1 数据集 3.1.2 基线模型 3.1.3 参数设置 3.2 链接预测 3.3 节点分类 3.4 消融实验 3.5 可解释实验 3.6 其他参数影响 4 结论

随着真实世界中实体关联更加复杂多样，异构图建模与分析引起了广泛关注，异构图嵌入在节点分类、链接预测和社区检测等多个应用领域都取得了显著成果^[1-3]。早期异构图嵌入方法主要集中于提取由数量有限的人工定义元路径所关联的高阶结构信息，然而定义元路径需要特定的领域知识，并且此类方法假设同一类型的所有节点共享相同的注意力权重，导致所得节点嵌入的个性化表征十分有限^[4-5]。近年来，图神经网络（graph neural networks，GNNs）通过端到端的模式学习特定于下游任务的节点表征，极大提升了异构图嵌入算法的性能。通过引入注意力机制与异构关联映射等方法，异构图神经网络能够自动生成元路径并捕获异构语义^[6-12]，如图Transformer网络 ^[6]（graph Transformer network，GTN）、元路径提取图神经网络 ^[10]（meta-path extracted graph neural network，MEGNN）、节点属性增强和结构感知注意的异构图神经网络 ^[12]（heterogeneous graph neural network with attribute enhancement and structure-aware attention，H-AESA）。

尽管图神经网络取得了显著成果^[13-15]，但现有嵌入方法主要集中于单视角图，即模型仅从单数据源收集节点交互。然而，单数据源常因语义单一而不足以独立支撑下游任务的分析，甚至难以保证实体之间的连通性，因此真实场景中的训练数据通常来自多个异构数据源 ^[16-19]。如图1中所示: 基于用户行为和商品信息两个异构数据源能够共同建模得到多视角的电子商务图。传统单视图算法提取节点表征必须将多源关联压缩到单个图中，然而不同数据源中实体关联的稀疏性存在差异，可能会导致融合图中的关联分布极度不平衡，从而使稀疏视图中的链接预测变得极为困难。

图1多视图异构图示例

Fig.1An example of multi-view heterogeneous graph

为了解决现实场景中异构实体之间具有多类关联的问题，近年来针对属性多通路异构图（attributed multiplex heterogeneous networks，AMHEN）的方法被相继提出^[20-21]，如一种基于AMHEN 的通用嵌入方法 ^[17]（general attributed multiplex heterogeneous network embedding，GATNE）将节点嵌入分割为基嵌入、边嵌入和属性嵌入分别学习；自动捕获元路径的多通路异构图卷积网络 ^[18]（multiplex heterogeneous graph convolutional network，MHGCN）通过不同关联对多个通路进行解耦，然后利用关联加权整合生成整体结构；基于行为模式的异构图神经网络 ^[22]（behavior pattern based heterogeneous graph neural network，BPHGNN）通过深度和广度行为模式聚合自适应学习各种行为模式对表征的重要性。然而现有方法仍存在局限性，各视图内的节点最终只生成统一表征，更加注重各视图中信息的整合，忽视了各视图内部的独立信息，而常见的下游任务如商品推荐只面向用户行为视图，使用统一的节点表征可能会引入信息噪声。现有方法对于各视图之间的相互作用也没有显式建模，针对出现在多个视图中的共享节点，需要在考虑节点特征具有全局一致性的同时在各视图中发挥不同作用。

针对上述问题，本文对多个异构数据源中采集的节点及其关联关系进行显式建模，从而定义了多视图异构图（multi-view heterogeneous graph，MHG）。单视图异构图限制每个节点只能扮演一种角色，而MHG允许节点在不同的子视图中扮演具有不同特性的角色并与其他节点之间进行包含特定语义的异构关联。基于MHG的异构图嵌入算法能够输出多个特定于不同下游任务的向量表征。然而MHG的先进性也伴随着独特的挑战：如何提取各数据源的有效信息，而不是简单地拼接多个视图中的局部结构；如何在允许节点在各子视图中有不同特征的同时保证节点高阶邻近关系的一致性。因此本文提出一种基于分层投影网络的自监督嵌入方法多视图异构投影网络（multi-view heterogeneous graph projection network，MeghenNet）。核心是使用分层注意力机制根据“关系—节点—视图”的顺序由小及大地从 MHG 中捕获个性化语义信息学习节点嵌入，取代了单视图异构分析方法中低效的数据源融合预处理，基于注意力机制于不同维度中生成加权聚合结构表征，减少了语义信息损失；同时为捕获各视图间潜在关联从而提取高阶信息，模型通过视图间的共享交叉节点建立了跨视图交互，加强了视图间的一致性；此外模型通过计算图重构损失与互信息损失^[23]实现自监督参数更新。

1 问题定义

MHG定义为G={V，X，E}，节点属性X=∪_m_∈_MX_m 和边E=∪_m_∈_ME_m在不同视图中存在差异。对于G的每个视图G_m={V_m，X_m，E_m}，节点和边映射函数为φ:V→A和φ:E→R，|A|+|R|＞2，其中A 和R分别表示所有节点类型和所有边类型的集合。图1为MHG的一个示例，其中包含两个视图（用户行为视图、商品信息视图）、三类节点（用户、商品、类别）和五类边（点击、添加购物车、收藏、购买、从属）。给定包含|M|个视图的MHG，多视图异构图嵌入旨在学习每个视图中节点v的低维向量表示。

2 算法描述

MeghenNet的学习过程如图2所示。跨关联投影模块从单个视图捕获结构和语义信息；跨视图投影模块整合多个视图后提取高层交互信息；最后模型利用关联负采样和互信息损失函数增强所学习到的节点嵌入。

图2MeghenNet模型架构

Fig.2MeghenNet framework

2.1 跨关联投影

MeghenNet首先分别对MHG的每个视图进行建模。本节以学习q类型节点V^q的嵌入过程为例。对于每一个子视图异构图G_m={V_m，X_m，E_m}，

U_{m ， q}^{l} \in R^{|V_{q}| \times d_{q}}

表示V^q在模型第l层m视图中的d_q维节点表征，此处简单表示为U_q。由于V^q与多种类型的邻居相关联，模型将多类邻居从不同特征空间投射到一个公共特征域。以s类型邻居为例，其投影表示计算为:

Y_{q - q} = U_{q} \cdot W_{q - q}

(1)

Y_{s \to q} = U_{s} \cdot W_{s \to q}, s \in N_{q}

(2)

其中投影矩阵

W_{q - q} \in R^{d_{q} \times d_{q}^{'}}

将嵌入U_q从类型q的特征域投影到新的公共特征域中，矩阵

W_{s \to q} \in R^{d_{s} \times d_{q}^{'}}

将嵌入U_s从s类型域投影到公共特征域中，

N_{q}

为节点V^q的邻居节点类型集合。

为了整合不同节点类型与不同关联关系的邻居信息，模型采用两层注意力聚合机制:

1）关联聚合。在这个层级中模型只考虑节点的单一邻居类型。以s类型邻居举例，V^q和V^s之间可能存在多种关系r。如图1所示，用户与商品之间的关系包括{点击、添加购物车、收藏、购买}，不同关系的重要程度存在显著差异，因此需要针对不同的关系分别建模:

Z_{s, q} = \sum_{r \in R_{s, q}} α_{s, q}^{r} \cdot {\hat{A}}_{s, q}^{r} \cdot Y_{s \to q}^{r}, s \in N_{q}

(3)

其中，

α_{s ， q}^{r}

为关系r的注意力系数。而对于同类型节点聚合嵌入Z_q_，_q则定义为Z_q_，_q=Y_q_，_q。为学习每种关系的注意力系数，首先基于

Y_{s \to q}^{r}

和邻接矩阵

{\hat{A}}_{s ， q}^{r}

训练单维图卷积网络，采用自循环的行归一化邻接矩阵。然后使用特定关系下的邻居节点嵌入和目标嵌入Y_q_-q计算

α_{s ， q}^{r}

α_{s, q}^{r} = \frac{\exp (σ (w_{a}^{T} \cdot [Y_{s \to q}^{r} ‖ Y_{q - q}]))}{\sum_{r_{i} \in R_{s, q}} e x p (σ (w_{a}^{T} \cdot [Y_{s \to q}^{r_{i}} ‖ Y_{q - q}]))}

(4)

其中，节点类s∈

N_{q}

，σ为激活函数，‖为连接操作，w_a为可训练的关系层注意力参数。采用注意力机制而非依赖预定义的关系权重可以自动化学习更为准确的语义表征。

2）类型聚合。在聚合s类型的邻居信息Z_s_，_q之后，需要将对不同下游任务有不同影响的多种类型邻居表征进行融合，因此提出类型聚合来扩充当前节点嵌入的类别知识。在此之前，需要将各节点类型表征由各自的较低层特征空间投影到较高的类型共享空间中。为计算包括当前节点类型在内的不同节点类型的注意力系数，模型首先将嵌入Y_q_，_q分别投影到与同域空间K_s_，_q和目标空间T_q_，_q相同的特征空间中（W_b和W_c为权重矩阵）:

\{\begin{matrix} T_{q, q} = Z_{q, q} \cdot W_{b} \\ K_{q, q} = Z_{q, q} \cdot W_{c} \\ K_{s, q} = Z_{s, q} \cdot W_{c} \end{matrix}

(5)

则类型级注意力系数β可通过以下公式计算:

β_{i, q} = \frac{\exp (σ (w_{b}^{T} \cdot [K_{i, q}^{r} ‖ T_{q, q}]))}{\sum_{j \in N_{q} \cup q} e x p (σ (w_{b}^{T} \cdot [K_{j, q}^{r} ‖ T_{q, q}]))}

(6)

其中，i∈

N_{q}

∪q，w_b是节点类型（包括q）的注意力参数。节点的特定视图级表征可以通过具有相应注意力权重的各类邻居投影嵌入生成:

H_{m, q} = σ (\sum^{i \in N_{q} \cup q} β_{i, q} \cdot Z_{i, q})

(7)

其中，H_m_，_q即为V^q在m视图中的特定嵌入。此处V^q的信息偏好是由关系级和类型级权重决定的，因此在每个视图中，MeghenNet可以学习到更加个性与全面的元路径。

2.2 跨视图投影

由于数据的多样性和异构性，MHG允许同一节点出现在多个视图中。通过共享节点，可以建立跨视图连接并联合多个视图提取有效的高层信息。对于节点V^q，

H_{q} = \cup_{m \in M_{q}} H_{m ， q}

表示节点在多个子视图中的特定嵌入集合。为了学习其他视图信息对当前目标视图及其下游任务的重要性，MeghenNet首先通过非线性投影（例如，单层MLP）将多个特定于视图的嵌入投影到当前目标子视图中:

F_{p \to m} = t a n h (H_{p, q} \cdot W_{p \to m} + b)

(8)

其中，p∈M_q，F_p_→_m 表示p视图中V^q的投影嵌入，W_p_→_m为权重矩阵，b为偏置向量。则视图p对于当前视图m的重要性参数可计算如下:

γ_{p, m} = \frac{\exp [σ (w_{c}^{T} \cdot F_{p \to m})]}{\sum_{p_{i} \in M_{q}} e x p [σ (w_{c}^{T} \cdot F_{p_{i} \to m})]}

(9)

其中，w_c为生成归一化系数γ_p_，_m的可训练向量。使用该系数，V^q的最终高层表征可计算为:

U_{m, q} = \sum_{p \in M_{q}} γ_{p, m} \cdot H_{p, q}

(10)

其中

U_{m ， q} : = U_{m ， q}^{（ l + 1 ）}

是V^q的新生成嵌入，可用作下一层的输入。以上为一个MeghenNet层的完整描述，通过多个MeghenNet层的学习，来自其他视图的信息可以通过视图间共享的交互节点作为中介扩展到当前视图m，其中分层注意力向量α、β和γ的作用为保证聚合信息的有效性。

2.3 模型调优

为保证模型在最后一层生成的最终节点表征在下游任务中的有效性，提出由图重建损失和一致性损失组成的自监督损失函数。图重建损失的目标为保证输入图中的关联节点对在相应嵌入空间中比无关联节点对“更接近”，能够保留原子视图中节点的结构与语义相似性。一致性损失则是为多视图设置而设计，为保证各个视图中的节点表征具有高层的全局一致性。例如，商品表征包含用户行为视图中用户对商品的偏好及商品信息视图中商品的详细信息，确保两个视图中商品表征的全局一致性有助于深入探索用户对商品类别的偏好，对于用户推荐任务十分重要。模型损失函数可表示为以下两部分:

1）图重建损失。不同于之前绝大多数依赖基于元路径的随机游走计算损失的无监督图嵌入方法，MeghenNet将输入和输出之间的图重建直接建模为嵌入向量之间的距离：

\begin{matrix} L_{r} = \sum_{(q, s, r) \in R_{p o s}} L_{(q, s, r)} p (r ∣ u_{q}, u_{s}) + \\ \sum_{(q, s^{'}, r) \in R_{n e g}} L_{(q, s^{'}, r)} p (r ∣ u_{q}, u_{s^{'}}) \end{matrix}

(11)

其中：

u_{q} \in R^{d}

为v_q的嵌入；R_pos和R_neg分别是正负关联的采样，在实践中模型从每个子视图中对训练集进行采样。对于子视图m中的关联节点对（q，s，r），有u_q:=u_m_，_q和u_s:=u_m_，_s。

2）一致性损失。为保证出现在不同视图中的节点的高层全局一致性，模型采用互信息^[13]来衡量特定视图的嵌入与全局嵌入之间的一致性。对视图m中的节点嵌入向量使用

s_{q} \in R^{d}

表示v_q的全局向量，并使用读出函数

G : R^{|M_{q}| \times d} \to R^{d}

将生成的特定视图的表征汇总到全局向量中。为了最大化跨视图互信息，定义判别器为

F : R^{d} \times R^{d} \to R^{d} ， F (u_{m ， q} ， s_{q})

表示分配给该视图-全局嵌入对的概率分数。通过干扰v_q和u_m_，_q之间的对应关系对一致性损失进行负采样。由于节点的高层一致性，同一节点的特定视图嵌入与其全局嵌入s_q之间的判别器得分应该更高。一致性损失函数如下：

(12)

其中，D_pos和D_neg分别表示多个视图中节点的正采样集和负采样集。在上述损失函数的指导下，MeghenNet可以通过反向传播进行优化。算法1给出了MeghenNet的训练过程，可以看出MeghenNet的计算复杂度按照“关系—节点—视图”的顺序分别与关联、节点、视图对的数量呈线性关系，且模型便于实现各部分嵌入的并行计算，具备适应大规模多视图异构图数据处理的能力。

3 实验

本节通过大量的链接预测^[24]和节点分类^[25]实验，证明所提出的MeghenNet的有效性。

3.1 实验设定

3.1.1 数据集

实验采用的四个真实数据集详情如表1所示。

算法1 MeghenNet整体流程

Alg.1 Overall process of MeghenNet

表1实验数据集统计信息

Tab.1 Statistics of experimental datasets

IMDB:该数据集由MovieLens和IMDb网站提供，包括电影（M）、演员（A）、用户（U）和导演（D）四种节点类型，其中包含两个视图——用户评分视图由M-U之间的三类关系组成，电影信息视图包含参与关系M-A和M-D。电影（M）可分为喜剧片、纪录片、剧情片和恐怖片四类。

Yelp:数据集包含用户（U）、业务（B）、预订（R）、服务（S）和星级（L）五种类型的节点。实验构建了由两种视图组成的多视图异构图——用户评级视图包含B-U的三种类型关系，业务信息视图包含关系B-S、B-L和B-R。业务（B）包含三个标签。

Alibaba:实验采用由阿里巴巴移动商务平台真实用户-商品行为数据提取的多源数据集，用户可以通过移动商务平台进行在线支付。如图1所示，包含用户（U）、商品（I）和类别（C）三类节点。用户与商品的关系包括在用户行为视图中重要性不同的{点击、收藏、添加购物车、购买}; 商品信息视图由商品和类别之间的从属关系组成。用户（U）可被归纳为四个类别。

Amazon: 亚马逊数据集可用于链接预测任务，该数据集包含用户（U）、商品（I）、视图（V）和品牌（B）四种类型的节点。此处构建了一个由用户评价视图和商品信息视图组成的多视图异构图。

3.1.2 基线模型

单视图同构图嵌入方法：Node2Vec^[26]是一种具有代表性的同构图嵌入方法，它首先通过随机游走生成节点序列，然后通过skip-gram模型学习节点嵌入；归纳表征方法图采样与聚合^[27]（graph sample and aggregate，GraphSAGE）通过节点采样后聚合局部邻域特征来生成嵌入。实验采用基于卷积均值的聚合器和基于随机游走的无监督损失函数。

单视图异构图嵌入方法：MEGNN^[10]采用消息传递范式同时将异构图拓扑结构、节点属性和语义关系编码到节点嵌入中并自动提取有效的元路径；GTN^[6]同样是一种有代表性的半监督异构图神经网络，能够自动识别具有高阶关联的有效元路径进行异构节点表征；H-AESA^[12]提出了具有节点属性增强和结构感知注意的异构嵌入。

多通路异构图嵌入方法：多通路网络嵌入方法^[16]（multiplex network embedding，MNE）通过统一的图嵌入模型同步学习一个通用嵌入和不同类型关联的附加嵌入；GATNE^[17]首次形式化了具有节点属性的多通路异构网络嵌入问题，并将节点嵌入分解为基嵌入、边嵌入和属性嵌入来进行自监督训练；MHGCN^[18]根据不同关联类型对多个异构视图进行解耦，然后通过多种关联加权整合来编码全局异构信息。

3.1.3 参数设置

对于所有图嵌入方法，设置节点嵌入的维度为64，负样本为5。对于同构图方法Node2Vec和GraphSAGE，在实验中忽略数据的异构性，平等计算所有类型的节点和边。对于基于游走的算法，设置游走序列数为20，游走长度为50，上下文的窗口大小设置为5。对于基于元路径的方法，实验采用IMDB中的元路径{MAM，MUM，MDM}、 Yelp中的元路径{UBU，BUB，UBSBU}、Alibaba中的元路径{UIU，IUI，UICIU}和Amazon中的元路径{UIU，IUI，UIVIU，UIBIU}。对于单视图方法，实验将不同的节点属性和异构关联直接拼接以融合生成全局异构图。对于单视图异构图算法，实验为不同的关系设置不同的权重:IMDB中的M-U和Yelp中的B-U之间关联权重为{1，2，3}; Amazon中用户评分为{1，2，3，4，5}; Alibaba中用户与商品之间权重设置为{点击:1、收藏:2、添加购物车:3、购买:4}。对于提出的MeghenNet，实验采用子视图节点嵌入的平均值作为读出函数，判别器通过一个双线性评分函数

F (u_{m ， x} ， s_{x}) = σ (u_{m ， x} W_{d} s_{x})

对视图-全局表征对进行评分，其中W_d是一个可训练的评分矩阵。

3.2 链接预测

链接预测任务针对IMDB中M-U、Yelp中B-U、Alibaba与Amazon中I-U关联进行预测。各数据集中80%的原始边被分为训练集，其余为测试集，测试集分别包含10%随机采样的正边与每类关系中随机采样的具有相同数量的负边。模型通过训练集进行训练，并在测试集上报告链接预测任务的AUC和F1分数。

四个数据集上的实验结果见表2。通过对比实验结果可以得出，所提出的MeghenNet持续且显著地优于所有基线模型。与最优的基线模型相比，MeghenNet在链接预测任务中的AUC在IMDB、Yelp、Alibaba和Amazon上分别提高了0.026 3、0.046 4、0.027 0和0.038 9。值得注意的是，同构图方法Node2Vec和GraphSAGE有时会比MEGNN等异构方法获得更高的AUC和F1分数，这表明不准确或不完整的元路径可能导致更差的模型性能。由于多视图异构图更接近原始数据结构，MeghenNet可以避免信息丢失带来的性能下降。此外，MeghenNet通过自动化学习不同结构和语义的重要性，并以自监督的形式进行参数更新，能够减少对人工先验知识的需求。

表2链接预测效果评估

Tab.2 Performance evaluation of link prediction

3.3 节点分类

节点分类任务旨在通过模型学习到的节点嵌入来预测测试集中节点最可能的标签。在生成节点向量后，实验采用80%的标记节点训练一个线性分类器，并用剩余的节点进行测试。分类任务采用IMDB中的电影节点（M）、Yelp中的业务节点（B）和Alibaba中的用户节点（U）。实验重复进行10次并报告Micro-F1和Macro-F1的平均分数。

表3展示了三个数据集上节点分类任务的结果。由表可以看出，MeghenNet的性能明显优于所有基线模型。在大多数情况下，同构方法Node2Vec和GraphSAGE的分类性能差于异构方法，这是由模型中异构语义的缺失导致。总体而言，对比最佳基线，MeghenNet在Micro-F1和Macro-F1上实现了约0.05的提升。通过与基于元路径的异构模型的对比，能够验证多层注意机制的有效性。此外，与MNE和GATNE等多通路方法中将不同的关系简单地视为不同视图的建模方式相比，MeghenNet的多视图结构不仅能够自动捕获重要性权重，而且可以防止表征融合过程中的信息丢失。通过上述实验分析可以看出，所提出的MeghenNet能够对多视图异构图中的信息进行个性化且全面的提取，并在两个经典任务上具有明显的性能优势。

表3节点分类效果评估

Tab.3 Performance evaluation of node classification

3.4 消融实验

为验证多视图建模和一致性损失的有效性，基于MeghenNet设计了以下三种变体模型:

1）MeghenNet_w_/o_β（缩写MN_w_/o_β）是没有节点类型级注意力系数β的简化版本。在计算特定视图的嵌入时简单使用平均函数来聚合不同类型的邻居节点信息。

2）MeghenNet_single（缩写MN_single）将模型中的多视图表征结构替换为单视图异构图，相当于为所有视图中的节点生成统一的聚合表征向量。

3）MeghenNet_incons（缩写MN_incons）通过只计算重建损失来训练模型，删除一致性损失函数。

各变体模型的参数设置与原模型MeghenNet相同。在Yelp和Alibaba数据集上的链接预测实验结果如表4所示。原模型显著优于简化模型MeghenNet_w_/o_β和MeghenNet_incons，验证了多层注意力系数学习和一致性损失的有效性。此外，MeghenNet的性能优于MeghenNet_single，表明了多视图建模能够减少视图融合过程中的信息丢失，并减少数据不平衡带来的损失。

表4消融实验分析

Tab.4 Ablation study

3.5 可解释实验

通过分析模型从关联级、类型级和视图级训练得到的注意力权重参数（包括α、β和γ），能够证明所提出的MeghenNet对特定下游任务具有一定的可解释性。以IMDB数据训练结果为例，在每个视图中可生成各个节点类型的平均注意力系数。可以看出，在M-U之间不同关联类型的注意力参数α更为稳定，大部分趋近于{0.375，0.25，0.375}。少数注意力系数分布如{0.231 7，0.163 2，0.605 1}的语义信息可表示为“用户评分越高的电影对其越重要”。表5中显示了参数β和γ的实验结果。

如表5所示，MeghenNet能够自发学习每种节点类型的重要性。由IMDB训练得出的注意力系数可以看出，电影信息视图比用户评分视图对最终节点嵌入的贡献更大，在浅层聚合中演员节点在电影信息视图中表现出较大的影响力。由此可以从单个和多个视图中挖掘有效的元路径，例如{MAM}和{MUMAM}。

3.6 其他参数影响

本节研究所提出模型MeghenNet中超参数的影响。在其他超参数固定的情况下，逐渐将嵌入维度d从16增加到256，在Yelp和Alibaba数据集上进行链接预测的AUC报告如图3（a）所示。可以看出维度的大小对Yelp影响较小，这是因为 Yelp 数据集规模较小且关联数量相对而言较为稀疏，因此 MeghenNet 能够在表征维度有限的情况下聚合足够的语义信息应用至下游任务。在 Alibaba 数据集上，模型性能在初始状态下随着d的增加显著提升，到达峰值后趋于平稳并稍有下降，这可能是聚合信息的增加导致的过拟合现象，因此实验中模型设置维度为64。同时，如图3（b）所示，随着负样本数量的增加，MeghenNet的预测AUC增加，当负样本数量达到5个时趋于稳定。因此模型设置负样本为5。

表5链接预测注意力系数分析

Tab.5 Attention coefficients analysis of link prediction

图3超参数学习

Fig.3Hyper-parameter study

4 结论

本文形式化定义了多视图异构图嵌入问题，并提出一种无先验知识的自监督多视图异构图嵌入算法MeghenNet，通过多层注意力机制来学习各视图中的个性化节点嵌入。该算法考虑不同层次的异构性，首先通过关联聚合与类型聚合捕获单个子视图内的语义信息来学习特定视图的嵌入，然后通过跨视图投影来聚合多个视图之间的高层交互信息，从而实现视图之间的信息互补，通过潜在的全局语义使彼此受益。此外，算法使用图重建和一致性损失函数来确保所学嵌入的有效性和一致性。实验结果表明，MeghenNet在MHG嵌入任务上明显优于最先进的基准方法。对于未来可能的研究方向，首先是探索一种自动分割和合并视图的策略，进一步减少预处理步骤；然后是针对动态多视图异构图的研究，并尝试学习节点的动态表示。

图1多视图异构图示例

Fig.1An example of multi-view heterogeneous graph

下载: 全尺寸图片

图2MeghenNet模型架构

Fig.2MeghenNet framework

下载: 全尺寸图片

图3超参数学习

Fig.3Hyper-parameter study

下载: 全尺寸图片

表1实验数据集统计信息

下载: 全尺寸图片

表2链接预测效果评估

下载: 全尺寸图片

表3节点分类效果评估

下载: 全尺寸图片

表4消融实验分析

下载: 全尺寸图片

表5链接预测注意力系数分析

下载: 全尺寸图片

图1多视图异构图示例

Fig.1An example of multi-view heterogeneous graph

图2MeghenNet模型架构

Fig.2MeghenNet framework

图3超参数学习

Fig.3Hyper-parameter study

表1实验数据集统计信息

表2链接预测效果评估

表3节点分类效果评估

表4消融实验分析

表5链接预测注意力系数分析

引用提醒

图(3) / 表(5)

引用本文

郝韵致，郑铜亚，王新根，等. 面向多视图异构图的分层投影嵌入方法[J]. 国防科技大学学报， 2025， 47（3）： 1-9.

复制

HAO Y Z, ZHENG T Y, WANG X G, et al. Multi-view heterogeneous graph embedding method with hierarchical projection[J]. Journal of National University of Defense Technology, 2025, 47(3): 1-9.

Copy

计量

图1多视图异构图示例

Fig.1An example of multi-view heterogeneous graph

图2MeghenNet模型架构

Fig.2MeghenNet framework

图3超参数学习

Fig.3Hyper-parameter study

表1实验数据集统计信息

表2链接预测效果评估

表3节点分类效果评估

表4消融实验分析

表5链接预测注意力系数分析

洪明利, 王靖, 贾彩燕. 多通道图注意力解耦社交推荐方法[J]. 国防科技大学学报,2022,44(3):1-9. HONG M L, WANG J, JIA C Y. Multi-channel graph attention network with disentangling capability for social recommendation[J]. Journal of National University of Defense Technology,2022,44(3):1-9.(in Chinese)

张程东, 王绍卿, 刘玉芳, 等. 采用新型元路径的异构图表示学习方法[J]. 计算机科学与探索,2023,17(7):1680-1689. ZHANG C D, WANG S Q, LIU Y F,et al. Method of heterogeneous graph representation learning using novel meta-path[J]. Journal of Frontiers of Computer Science and Technology,2023,17(7):1680-1689.(in Chinese)

WEI W, HUANG C, XIA L H,et al. Contrastive meta learning with behavior multiplicity for recommendation[C]//Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining,2022.

DONG Y X, CHAWLA N V, SWAMI A.metapath2vec:scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,2017.

SHI C, HU B B, ZHAO W X,et al. Heterogeneous information network embedding for recommendation[J]. IEEE Transactions on Knowledge and Data Engineering,2019,31(2):357-370.

YUN S, JEONG M, KIM R,et al. Graph Transformer networks[C]//Proceedings of the 33rd Conference on Neural Information Processing Systems,2019.

WANG X, JI H Y, SHI C,et al. Heterogeneous graph attention network[C]//Proceedings of the World Wide Web Conference,2019.

ZHANG R, ZIMEK A, SCHNEIDER-KAMP P. A simple meta-path-free framework for heterogeneous network embedding[C]//Proceedings of the 31st ACM International Conference on Information & Knowledge Management,2022.

ZHANG C X, SONG D J, HUANG C,et al. Heterogeneous graph neural network[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining,2019.

CHANG Y M, CHEN C, HU W B,et al. MEGNN:meta-path extracted graph neural network for heterogeneous graph representation learning[J]. Knowledge-Based Systems,2022,235:107611.

HONG H T, GUO H T, LIN Y C,et al. An attention-based graph neural network for heterogeneous structural learning[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(4):4132-4139.

FAN S H, LIU G J, LI J. A heterogeneous graph neural network with attribute enhancement and structure-aware attention[J]. IEEE Transactions on Computational Social Systems,2024,11(1):829-838.

邬锦琛, 杨兴耀, 于炯, 等. 双通道异构图神经网络序列推荐算法[J]. 计算机科学与探索,2023,17(6):1473-1486. WU J C, YANG X Y, YU J,et al. Sequence recommendation with dual channel heterogeneous graph neural network[J]. Journal of Frontiers of Computer Science and Technology,2023,17(6):1473-1486.(in Chinese)

LONG X L, HUANG C, XU Y,et al. Social recommendation with self-supervised metagraph informax network[C]//Proceedings of the 30th ACM International Conference on Information & Knowledge Management,2021.

RAO X, CHEN L S, LIU Y,et al. Graph-flashback network for next location recommendation[C]//Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining,2022.

ZHANG H M, QIU L W, YI L L,et al. Scalable multiplex network embedding[C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence,2018.

CEN Y K, ZOU X, ZHANG J W,et al. Representation learning for attributed multiplex heterogeneous network[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining,2019.

YU P Y, FU C F, YU Y W,et al. Multiplex heterogeneous graph convolutional network[C]//Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining,2022.

MELTON J, KRISHNAN S. MuxGNN:multiplex graph neural network for heterogeneous graphs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2023,45(9):11067-11078.

PARK C, KIM D, HAN J W,et al. Unsupervised attributed multiplex network embedding[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(4):5371-5378.

LIU Z J, HUANG C, YU Y W,et al. Fast attributed multiplex heterogeneous network embedding[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management,2020.

FU C F, ZHENG G J, HUANG C,et al. Multiplex heterogeneous graph neural network with behavior pattern modeling[C]//Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining,2023.

VELICKOVIC P, FEDUS W, HAMILTON W L,et al. Deep graph infomax[C]//Proceedings of International Conference on Learning Representations,2019.

FAN H Y, ZHANG F B, WEI Y X,et al. Heterogeneous hypergraph variational autoencoder for link prediction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2022,44(8):4125-4138.

JI H Y, WANG X, SHI C,et al. Heterogeneous graph propagation network[J]. IEEE Transactions on Knowledge and Data Engineering,2021,35(1):521-532.

GROVER A, LESKOVEC J.node2vec:scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,2016.

HAMILTON W L, YING R, LESKOVEC J. Inductive representation learning on large graphs[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems,2017.

首页

期刊介绍

投稿指南

编委会

出版声明

开放获取声明

联系我们

期刊订阅

Rss

AI检索

English

1 问题定义

2 算法描述

3 实验

4 结论