关于AA测试和AB测试的一些思考

Sat, 19 Sep 2020 00:00:00 +0900

关于AA测试和AB测试的一些思考

起因

一般的AA/AB测试都怎么做呢？正常来说，取一部分用户，然后把用户分成2组（也可以是多组，本文中我们只讨论最典型的2组的情况），在一段时间的运行以后，比较其结果。

随想： BPR Loss 与 Hinge Loss

Mon, 03 Aug 2020 00:00:00 +0900

随想： BPR Loss 与 Hinge Loss

在之前的文章里，我们在加速Ranknet的时候意外的得到了BPR Loss：

L_{\omega} = - \sum_{i,j \in S}{log(sigmoid(s_i-s_j))}

我们说过，Ranknet不一定用NN，任何可微的模型都可以塞到后端去。其实我们一直没有用贝叶斯的观点来看Ranknet，只是给分数的差值加了一层 sigmoid 之后使用二元交叉熵损失函数，四舍五入一个亿…啊不对…等于是Logistic回归了，结果就导出了BPR Loss一样的形式。

资料收集

Wed, 03 Jun 2020 00:00:00 +0900

资料收集

博客

开源项目

wzhe06/CTRmodel:Spark上的CTR模型
- Naive Bayes
- Logistic Regression
- Factorization Machine
- Random Forest
- Gradient Boosted Decision Tree
- GBDT + LR
- Neural Network
- Inner Product Neural Network (IPNN)
- Outer Product Neural Network (OPNN)
jrzaurin/pytorch-widedeep:Pytorch实现的Deep & Wide
allegro/allRank: Pytorch 实现的 Learning To Rank
haowei01/pytorch-examples: Pytorch的，L2R，CF算法的例子。
microsoft/recommenders: 微软的推荐系统最佳实践

向量稳定化

Thu, 06 Nov 2025 00:00:00 +0900

向量稳定化

最近接触到的一篇论文：Orthogonal Low Rank Embedding Stabilization

为什么我们要向量稳定化？

在训练机器学习模型的时候，尤其是推荐系统的模型的时候，有很多的模型会输出User或者Item的Embedding。这些Embedding一般来说很难在下游的任务中使用，其原因是不够稳定。在训练稍微复杂一点的模型——哪怕只是一个几层的神经网络——我们也不能保证每一次输出的向量都是一样的，因为在Loss函数中我们约束的往往是User和Item求得的Score（内积或者Cosine Similarity之类），然后基于这个内积我能对物品进行正确的排序以保证用户感兴趣的物品在前面。

Understanding LightGCN in a visualized way

Fri, 09 Oct 2020 00:00:00 +0900

Understanding LightGCN in a visualized way

In this article, I’m going to introduce LightGCN, a new algorithm for collaborative filtering problem.

What’s LightGCN

LightGCN is short for Light Graph Convolutional Neural-network, it’s a new approach for collaborative filtering which published in SIGIR 2020.

So, let’s talk about what’s the graph, what’s the convolution and why it’s called “light”.

Graph

This is the graph we have:

It can be represented as a heap of (user, item, interaction) triplets Of course, LightGCN is capable to use more than one kind of interaction (just create more LightGCN and concatenate them together).

无采样的矩阵分解

Sun, 20 Jun 2021 00:00:00 +0900

无采样的矩阵分解

前言

很久以前，有个大佬说过，集体负责制就是不负责制，真正的负责是要落实到人的。那么反过来企业级理解，无采样其实就是全采样的意思。

这里的采样，指的是负采样，所谓负，指的就是负样本，负样本是相对正样本而言的。

Learning To Rank 之 RankNet

Wed, 03 Jun 2020 00:00:00 +0900

Learning To Rank 之 RankNet

先记录一下自己的梯度简化推导过程，我自己纸上推了3遍，每次纸丢了就要重新推。特此记录，省的全尼玛忘了。

标准的 RankNet Loss 推导

对于Ranknet，其实是将一个排序问题（比如Top N推荐）演变成一个分类问题。假设我们已经有一个训练好的评分器，输入User ID和Item ID能给出一个评分，那么，这个评分应该满足越相关（或者用户越喜欢）数值越大。那么在训练这个评分器的时候，我们假定有i和j两个item，且i更加相关，那么对于分类来说满足：

推荐系统相关博客 on 清雨影的Blog

关于AA测试和AB测试的一些思考

关于AA测试和AB测试的一些思考

起因

随想： BPR Loss 与 Hinge Loss

随想： BPR Loss 与 Hinge Loss

资料收集

资料收集

博客

开源项目

向量稳定化

向量稳定化

为什么我们要向量稳定化？

Understanding LightGCN in a visualized way

Understanding LightGCN in a visualized way

What’s LightGCN

Graph

无采样的矩阵分解

无采样的矩阵分解

前言

Learning To Rank 之 RankNet

Learning To Rank 之 RankNet

标准的 RankNet Loss 推导