Deep Cross Network

Deep & Cross Network for Ad Click Predictions

 

Deep Cross Network (DCN)은

"Deep &Cross Network for Ad Click Predictions"이라는 논문에서 소개된 구조로서

추천시스템과 광고분야에서 사용되는 모델로

복잡한 특성 간의 교차를 효과적으로 학습하여 예측 성능을 향상하는데 목적이 있습니다.

 

주요 특징

• Cross Layer : 특성간의 교차를 반복적으로 소행하여 고차원 상호작용을 학습합니다.
• Deep Network : 기존의 심층 신경망 구조를 통해 비선형 변환을 학습하여 복잡한 패턴을 포착합니다.
• 하이브리드 구조 : 교차 계층과 딥 네트워크를 병렬로 구성하여 두 계층의 장점을 병렬로 활용합니다.

이러한 특징들로 인해 특성 간의 복잡한 상호작용을 학습하여 예측 성능을 향상하며,

교차 계층을 통해 학습된 특성 간의 상호작용을 해석할 수 있어 모델의 투명성을 높일 수 있습니다.

 

하지만 모델 복잡도가 증가하여 학습 및 추론 시간이 길어질 수 있고,

이로 인해 과적합의 위험이 있으므로 정규화 기법등의 사용이 필요합니다.

 

DCN의 한계 그리고 DCNv2의 등장

이러한 DCN도 특성 간의 복잡한 상호작용을 충분히 포착하지 못하여 예측 성능에 한계가 있으며

모델복잡도가 높기 때문에 이를 개선한 DCNv2 가 등장하였습니다.

 

DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems

 

 

해당 논문에서는 두 가지 주요 구조를 제안하고 있습니다.

 

1. Stacked : 스택형 구조에서는 교차 네트워크와 딥 네트워크가 순차적으로 연결되어 특성 간의 상호작용을 먼저 학습한 후 딥 네트워크에서 비선형 변환을 통해 복잡한 패턴을 학습합니다. 그리고 구조가 비교적 간단하며 모델의 흐름을 이해하기 용이합니다. 하지만 모델 깊이가 깊어짐에 따라 학습이 복잡해지고 학습시간이 길어지며 과적합 위험이 증가할 수 있습니다.
2. Parallel : 병렬형 구조에서는 교차 네트워크와 딥 네트워크가 동시에 입력 데이터를 처리한 후, 그 출력을 결합하여 최종 출력을 생성합니다. 동시에 입력데이터를 처리할 수 있기 때문에 병렬학습의 효율성이 높고 다양한 패턴을 포착할 수 있지만 자원소모가 증가할 수 있습니다.

 

모델의 목적과 데이터 특성에 따라 적절한 구조를 선택하는 것이 중요할 것으로 생각됩니다.