DLRM(Deep Learning Recommendation Model)

해당 포스팅은 DLRM에 관해 공부하면서 남긴 참고용 기록입니다.

영어와 한글을 계속 혼용하고 있으며, 정돈되지 않은 문장 사용은 양해 부탁드립니다.

 

1. Summary

딥러닝의 발전으로, 신경망 기반 추천 모델은 개인화와 추천 시스템의 중요한 툴임.

Facebook research team이 recommendation systems와 predictive analytics의 두 가지 관점을 합쳐서 Deep Learning Recommendation Model(DLRM)을 개발하였고, PyTorch and Caffe2로 implementation을 provide함.

관련 github 링크는 하단의 References의 링크 확인

 

DLRM은 sparse features*를 임베딩하고, dense features를 처리하기 위해 multilayer perceptron (MLP)를 사용함.

모델은 이러한 features를 합치고 다른 MLP를 사용하여 event probability를 define합니다.

 

* Sparse Features in Machine Learning

Sparse features: features with sparse data are features that have mostly zero values (결측값이 있는 데이터와는 다른 것임에 주의 - sparse data는 값이 0 이라는 것을 알고 있지만, missing data는 어떤 값이 와야하는지 모른다는 차이가 있다)

예시) 원핫인코딩된 word vectors나 categorical 데이터의 counts

반면에 dense data는 대부분 non-zero values를 가지는 데이터입니다.

 

 

2. Details

A deep learning recommendation model

model architecture

- 모든 categorical feature들은 embedding vector로 표현

- 모든 continuous feature들은 MLP에 의해서 embedding vector와 동일한 길이의 dense representation으로 변환

- 모든 embedding vector 쌍과 processed dense feature 사이의 내적을 계산

- 다음 단계에서는 내적을 한 결과와 내적 이전의 original dense features 를 combine하여 다른 MLP로 후처리

- 마지막으로 MLP의 결과를 sigmoid function에 넣어 확률을 계산하게 된다.

 

 

References:

1) https://arxiv.org/abs/1906.00091v1

2) https://www.topbots.com/ai-marketing-research-papers-2020/#ai-marketing-2020-6

3) https://www.kdnuggets.com/2021/01/sparse-features-machine-learning-models.html

4) https://github.com/facebookresearch/dlrm

5) https://yunmorning.tistory.com/61

6) https://medium.com/swlh/deep-learning-recommendation-models-dlrm-a-deep-dive-f38a95f47c2c