본문 바로가기

Data Science/Algorithm21

DIN (Deep Interest Network) DIN - Deep Interest Network는 딥러닝 추천시스템에서 사용하는 유명한 모델 중 하나입니다.DIN에 대한 구조, 학습방법, 장단점에 대해서 한번 살펴볼까요? 구조입력층 : 사용자 행동로그 (예) 클릭 히스토리, 구매 이력 등Attention Layer : 사용자의 과거 행동 중 현재 추천 대상 아이템과 관련이 높은 항목에 가중치 부여Embedding Layer : 사용자와 아이템의 각 feature (나이, 카테고리 등)를 임베딩 백터로 변환Fully Connected Layer : Attention Mechanism으로 생성된 사용자 관심 벡터를 통해 최종 점수를 예측출력층 : 관심을 반영한 특징을 통해 개인화된 추천 점수를 계산 학습방법목적함수 : Binary Cross Entrop.. 2024. 11. 27.
Optimizer 딥러닝에서 옵티마이저 (Optimizer)는 모델의 학습 과정에서 손실 함수(Loss Function) 값을 최소화하기 위해가중치(weights)를 업데이트 하는 알고리즘을 의미합니다.효과적인 옵티마이저의 선택은 모델의 수렴 속도와 최종 성능에 큰 영향을 미칩니다. 주요 옵티마이저 종류SGD (Stocastic Gradient Descent)전체 데이터셋이 아닌 무작위로 선택된 일부 데이터(미니배치)를 사용하여 가중치를 업데이트 합니다.계산 효율성이 높지만 학습 과정에서 진동이 발생할 수 있습니다. Momentum이전 기울기 정보에 관성을 부여하여 현재 기울기에 더해줌으로써수렴속도를 높이고, Local Minimum에 빠지는 것을 방지합니다. NAG (Nesterov Accelerated Gradient.. 2024. 11. 26.
BERT - Bidirectional Encoder Representation from Transformers BERT는 2018년 구글이 발표한 자연어 처리(NLP)모델로,Transformer 아키텍쳐를 기반으로 한 사전 학습 언어 모델 (Pre-trained Language Model)입니다.NLP의 다양한 과제를 해결하기 위해 설계된 BERT는 문맥을 양방향으로 이해한다는 점에서 기존 모델과 차별화됩니다. BERT의 등장배경기존 RNN, LSTM기반 모델은 계산 속도가 느리고 긴 문맥을 처리하는데 제약이 있었습니다.또한 단방향 모델(예: GPT)는 문맥을 한 방향으로만 처리하거나 제한된 방식에 국한되었습니다. 이로인해 문맥 정보 손실도 발생했었구요.이와 더불어 Attention 메커니즘 기반의 Transformer는 병렬 연산을 지원하며 긴 문맥 처리 능력을 향상시켰으며, 이를 활용한 모델이 NLP 문제에서.. 2024. 11. 24.
RoBERTa - A Robustly Optimized BERT Pretraining Approach RoBERTa (A Robustly Optimized BERT Pretraining Approach)는 Facebook AI에 의해 개발된 NLP 모델로,기존의 BERT모델을 기반으로 더 나은 성능을 얻기 위해 여러 가지 최적화를 수행한 모델입니다.RoBERTa는 BERT의 기본 아키텍쳐 (Transformer기반, Bidirectional Encoder)를 유지하면서학습방식과 데이터 활용법을 대폭 개선하여 더 우수한 성능을 달성했습니다. RoBERTa의 핵심 개선점은 다음과 같습니다.더 긴 학습 과정 : RoBERTa는 BERT보다 더 긴 시간 동안 대량의 데이터를 활용해 학습되었습니다.더 큰 데이터 세트 활용 : RoBERTa는 BERT보다 약 10배 더 많은 데이터를 사용했습니다.Next Sente.. 2024. 11. 23.