皮皮网

1.(一)和超-超学习(Hypergraph Learning)
2.超图hypergraph?超图超图
3.论文笔记：Dynamic Hypergraph Neural Networks
4.不用训练（反向传播）的神经网络？一文带你认识神经网络的前世今生（1943-2024）
5.超图如何助力推荐系统？2022多篇论文带你走进超图
6.[CVPR 2022] GroupNet: 基于多尺度超图的轨迹预测及关系推理

(一)和超-超学习(Hypergraph Learning)

       经过一段时间的停更，我重新开始分享新的神经神经专题内容，聚焦于超图学习和图神经网络的网络网络应用。这些技术广泛应用于时空张量表示、源码分类预测以及稀疏数据增强，解析卷积特别适用于交通流、超图超图粘贴源码是什么天气等具有时空特征的神经神经数据场景。我还会继续更新之前的网络网络时空数据分析和可视化教程，不局限于R语言，源码也会涉及Python。解析卷积在深入超图学习之前，超图超图先简单回顾一些基本概念：

       图(Graph)，神经神经在数学中，网络网络是源码描述对象间关系的结构，由顶点和边构成。解析卷积例如，有向图中边的方向可以表示流，但这里我们将重点放在无向图上，其邻接矩阵是对称的。度（Degree）定义为一个顶点的边数。正则图则是所有顶点度数相同的图。

       使用矩阵可以直观地表示图，邻接矩阵记录边与顶点的连接，而度矩阵则记录每个顶点的连接情况。对于有向图，邻接矩阵是非对称的。

       二分图（Bipartite Graph）是特殊类型，其顶点分为两组，边连接不同组的顶点。通过着色理论，jdk 8 源码二分图可以只用两种颜色表示。

       超图(Hypergraph)则是扩展了图的概念，一条边可以连接多个顶点。例如，论文作者的合作关系可以使用超图表示，以区分单独的合作论文。超图可以用关联矩阵或二分图的关联图形式来表示，其术语与图论类似，但涉及多顶点边的处理。

       接下来，我们将进入编程表示图和超图的实际操作部分。

超图hypergraph?

       开始新的专题，关注超图学习与图神经网络。主要应用领域为时空张量表示、分类和预测，以及稀疏数据增强，如交通流、天气等具有时空意义的场景。

       时空数据分析和可视化将不定期更新，欢迎留言交流。教程将涉及R语言和Python，以问题为导向，而非单一方法或语言。

       首先引入图的基本概念。

       定义：图是由节点和连接这些节点的边组成的结构。

       例如，有向图表示边的方向，顶点顺序在边定义中至关重要。

       度：连接某节点的pytorch 源码下载边的数量。

       正则图：所有节点度数相同的图。

       矩阵表示：使用矩阵记录节点和边的关系，矩阵中的1表示连接。

       邻接矩阵：描述顶点间直接连接。

       二分图：顶点分为两组，组内无连接，组间有连接。

       超图：一组节点与一组超边组成，超边可连接多个节点，更直观表示复杂关系。

       以论文合作为例，用图表示作者与论文合作，超图则能显示多作者合作于同一论文。

       超图矩阵表示与二分图关联。

       超图术语与图论术语相似。

       下节将探讨如何编程表示图和超图。

论文笔记：Dynamic Hypergraph Neural Networks

       本文提出动态超图神经网络框架(DHGNN)，旨在解决神经网络模型中深层生成嵌入特征在捕获高阶关系方面的局限性。该框架由动态超图构建(DHG)和超图卷积(HGC)两部分构成。HGC模块包括顶点卷积与超边缘卷积，分别负责聚合顶点与超边特征。

       DHGNN的关键贡献在于动态超图构建(DHG)与超图卷积(HGC)。DHG通过欧氏距离与k-means算法生成多个超边，为顶点构建动态超图结构。HGC则将顶点特征与超边特征分别聚合至形心顶点，形成新特征。

       顶点卷积通过学习变换矩阵T，利用一维卷积压缩顶点特征，得到超边特征。股性 源码超边卷积则利用多层感知机(MLP)生成权值，加权求和超边特征，形成形心顶点新特征。整个超图卷积过程实现了动态调整超图结构，提升特征表示能力。

       实验结果展示，DHGNN在引文网络实验中对比其他方法有显著提升，尤其在小训练集下效果更优。在微博情感预测任务中，DHGNN相较于现有最佳方法，实现了1.8%的准确性提升，并大幅缩短训练时间。

不用训练（反向传播）的神经网络？一文带你认识神经网络的前世今生（-）

       从最简单的神经元到各式各样的神经网络模型，神经网络发展至今已经经历了年！神经网络按照网络信息流向可分为前馈神经网络（如多层感知机）和反馈神经网络（如循环神经网络），这是两种类型的统称，而非特殊的神经网络。

       让我们回溯神经网络的发展历程，从年的M-P模型开始，两位大佬McCulloch和Pitts提出的模型，加权求和再加偏置，通过激活函数得到结果。但模型中的权重值都是预先设置的，无法学习。直到年，心理学家Hebb提出Hebb学习规则，虽然这些规则只能作用于单个神经元。

       进入年，感知机（Perceptron）作为二分类线性判别模型出现，js源码解读更多详情可参考李航老师的《统计学习方法》。年，自适应线性单元（ADALINE）采用线性激活函数而非符号函数，适用于回归问题。年，Minsky和 Papert证明了感知机功能有限，无法解决“异或”逻辑问题，使得神经网络发展停滞，进入了“AI winter”。

       年，自组织映射（SOM）的提出成为神经网络发展的一颗亮点，它在低潮时期提供了新的思路。年，Hopfield神经网络（HNN）的提出使得神经网络再次进入蓬勃发展时期。年，波尔兹曼机（BM）作为一种随机生成型神经网络出现，限制玻尔兹曼机（BRM）的提出进一步提高了学习效率。

       年，反向传播（BP）算法的提出，使得神经网络的学习效率大大提高，BP神经网络因此成为我们熟知的多层感知机。Cybenko等人证明了具有隐含层的神经网络在激活函数为Sigmoid函数的情况下具有逼近任何连续函数的能力。自编码器（AE）的提出，用于表征学习，去噪AE（DAE）和稀疏AE（SAE）进一步提高AE的性能。生成模型变分自编码器（VAE）通过将输入映射到概率分布，进一步改进AE的生成能力。

       径向基神经网络（RBFNNs）的提出，通过径向基函数作为激活函数，提高计算效率。循环神经网络（RNN）在年被提出，解决序列数据的处理问题。回声状态网络（ESN）和递归神经网络（recursive NN）是RNN的衍生形式，分别具有不同的特点和应用。

       孪生网络（Siamese Networks, SN）在年被提出，用于计算相似度。脉冲神经网络（SNN）在年作为第三代神经网络出现，目前尚未有完善的学习方法。混合型脉冲神经网络液体状态机（LSM）进一步提高计算效率。卷积神经网络（CNN）在年成功应用于手写数字识别，引起广泛关注。极限学习机（ELM）在年提出，简化了前馈神经网络的学习过程。

       图神经网络（GNN）在年被设计用于处理图结构数据，超图神经网络作为更复杂情况的解决方案。生成对抗网络（GAN）在年提出，用于生成真实数据样例。神经图灵机（NTM）在年结合图灵机的理论，利用神经网络进行数据处理。残差网络（ResNet）在年解决了深度网络的退化问题，深度Q网络（DQN）则在强化学习领域取得了重大突破。

       YOLO模型（You Only Look Once）在年提出，实现快速实时的目标检测。胶囊网络（CapsNets）在年为解决局部敏感性和层次结构解析能力不足问题提供了新思路。PointNet和PointNet++在处理点云数据方面取得了显著进步。Transformer在年引入，其核心在于动态分配注意力权重，用于生成上下文相关的输出。扩散模型和NeRF模型分别在年提出，重塑了SLAM系统，为三维场景建模提供了新方法。

       最后，感谢知名算法工程师毛毛和靓毛的大力支持，本文来源于公众号：算法设计与优化。

超图如何助力推荐系统？多篇论文带你走进超图

       超图在推荐系统中发挥着重要作用，GNN技术因其高阶交互捕捉和图结构整合能力而被广泛应用。本文选取了年SIGIR会议中的四篇论文，从不同角度探讨了超图在聚类算法、会话推荐、社交推荐和协同过滤中的应用。

       首先是《Co-clustering Interactions via Attentive Hypergraph Neural Network》论文，它提出一种CLAH方法，通过注意力超图神经网络对完整交互进行建模，利用注意力机制选择重要属性，实现协同聚类，以提高推荐的准确性。

       《Enhancing Hypergraph Neural Networks with IntentDisentanglement for Session-based Recommendation》关注会话推荐，通过构建超图模型HIDE，从微观和宏观角度分析用户意图，有效处理动态耦合和噪声信号。

       《DH-HGCN: Dual Homogeneity Hypergraph ConvolutionalNetwork for Multiple Social Recommendations》则利用DH-HGCN处理社会推荐，考虑用户关系复杂性和物品静态属性之间的联系，通过超图卷积网络捕获高阶相关性。

       最后，《Hypergraph Contrastive Collaborative Filtering》针对协同过滤中的问题，提出HCCF模型，通过超图增强的对比学习，改善了性能，尤其是在稀疏数据和偏态分布的处理上。

       这四篇论文展示了超图在推荐系统中的多元应用，为理解和优化推荐算法提供了新的视角和方法。

[CVPR ] GroupNet: 基于多尺度超图的轨迹预测及关系推理

       本文介绍了近期被CVPR 接收的工作，题为“GroupNet: Multiscale Hypergraph Neural Networks for Trajectory Prediction with Relational Reasoning”。

       智能体交互关系广泛存在于各种场景中，如自动驾驶、体育分析和物理世界中的相互作用。在多智能体轨迹预测中，揭示多个智能体间的相互作用是精确和可解释轨迹预测的基础。然而，这些复杂的交互关系尚未被前人工作充分探讨。因此，为了更全面地建模交互关系，本文提出了GroupNet，一个基于多尺度超图的神经网络，从交互捕获和交互表示学习两方面进行建模。

       GroupNet的核心思想是学习一个多尺度的交互超图，其中每个点代表一个运动智能体，每条超边代表智能体间的交互。分为两步进行多尺度交互超图的学习：多尺度超图结构推理和多尺度超图神经信息传递。

       多尺度超图结构推理基于关联矩阵，采用attention的方式计算关联矩阵。通过寻找不同大小的最大子矩阵来获取不同大小的交互群体，即超图中的超边连接。多尺度超图神经信息传递借鉴了“神经信息传递”的方式，在群组节点之间进行神经网络化的信息传递。分为点到超边和超边到点两个步骤。

       以GroupNet为核心，本文提出了一个基于CVAE的轨迹预测框架，主要分为Encoder和Decoder两部分。Encoder用于获取各个智能体的特征表达以及隐变量的特征表达。Decoder进行特征的解码，用于同时预测未来轨迹和重建过去轨迹。

       在仿真和真实数据集上，GroupNet取得了优异的性能，验证了模型设计的合理性。欢迎各位留言、私信等进一步的交流！

Edge Representation Learning with Hypergraphs

       在图神经网络（GNN）取得显著进展的同时，对于边缘（edge）的表示学习却相对较少关注。传统的GNN主要集中在节点的表示学习上，而边缘在图重构和生成等任务中的关键作用并未充分挖掘。为此，我们提出了一种创新的边缘表示学习框架，称为双超图变换（DHT）的边缘超图神经网络（EHGNN）。

       DHT将图的边缘转换为超图的节点，这样可以利用已有的节点级表示学习技术来处理边缘。通过这种方式，我们能够更精确地捕捉边缘信息，这对于图的精确重构和生成至关重要，例如，两个分子结构（a）和（b）虽然节点相同，但边缘差异极大，导致性质迥异。

       在超图中得到边缘的表示后，我们提出两种新的图级边缘池化方法：HyperCluster和HyperDrop。HyperCluster通过聚类相似的边缘来获得全局表示，保留了所有边缘，适用于图重构；HyperDrop则通过计算边的修剪分数，删除对任务不重要的边，更适合于图分类，因为它有助于识别任务相关的边缘并保持节点完整性。

       我们的主要贡献包括：（1）引入了双超图变换，将图的边缘作为超图的节点，从而允许使用为节点设计的现有消息传递方案；（2）提出了HyperCluster和HyperDrop，这两个方法针对图级表示学习，分别解决了现有方法在边缘信息保留和节点完整性上的局限；（3）通过实验验证，我们的方法在图重构、生成和分类任务中表现出色，超越了现有图表示学习方法。

       与现有的工作相比，我们的方法不依赖于线图变换的不唯一性和可扩展性限制，而是利用超图的灵活性来处理多节点关系。此外，我们避免了传统方法中O(n2)的时间复杂度，为边的表示学习提供了一个更高效和灵活的解决方案。