略读Twitter推荐算法(Twitter's Recommendation Algorithm)

2023年4月1日twitter发布了其推文推荐算法:https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm

在这里写一些略读笔记

截屏2023-04-03 12.29.24

在In-Network Source网络内源中,运用了Real Graph。真实的Graph是预测两个用户之间的参与可能性的模型。你和推文作者之间的真实的图谱得分越高,我们将包含的推文就越多。我们可以学到从论文到技术的使用。

在Out-of-Network Sources网络外源中的Social Graph社交图谱,运用GraphJet。这是一个图形处理引擎,维护用户和推文之间的实时交互图,以执行这些遍历。虽然用于搜索Twitter参与和关注网络的这种启发式方法已被证明是有用的(这些方法目前服务于约15%的家庭时间轴推文),但嵌入空间方法已成为网络外推文的更大来源。

Embedding Spaces嵌入空间,Twitter最有用的嵌入空间之一是 SimClusters. SimClusters使用自定义矩阵分解算法.有14.5万个社区,每三周更新一次。用户和推文在社区空间中表示,并且可以属于多个社区。社区的规模从几千个用户的个人朋友组到数亿用户的新闻或流行文化。

simclusters.png.img.fullhd.medium

在这其中,让我有些震惊的是运用了一个约48M参数的神经网络进行排名打分。