人 煙403 DIN (Deep Interest Network) DIN - Deep Interest Network는 딥러닝 추천시스템에서 사용하는 유명한 모델 중 하나입니다.DIN에 대한 구조, 학습방법, 장단점에 대해서 한번 살펴볼까요? 구조입력층 : 사용자 행동로그 (예) 클릭 히스토리, 구매 이력 등Attention Layer : 사용자의 과거 행동 중 현재 추천 대상 아이템과 관련이 높은 항목에 가중치 부여Embedding Layer : 사용자와 아이템의 각 feature (나이, 카테고리 등)를 임베딩 백터로 변환Fully Connected Layer : Attention Mechanism으로 생성된 사용자 관심 벡터를 통해 최종 점수를 예측출력층 : 관심을 반영한 특징을 통해 개인화된 추천 점수를 계산 학습방법목적함수 : Binary Cross Entrop.. 2024. 11. 27. Optimizer 딥러닝에서 옵티마이저 (Optimizer)는 모델의 학습 과정에서 손실 함수(Loss Function) 값을 최소화하기 위해가중치(weights)를 업데이트 하는 알고리즘을 의미합니다.효과적인 옵티마이저의 선택은 모델의 수렴 속도와 최종 성능에 큰 영향을 미칩니다. 주요 옵티마이저 종류SGD (Stocastic Gradient Descent)전체 데이터셋이 아닌 무작위로 선택된 일부 데이터(미니배치)를 사용하여 가중치를 업데이트 합니다.계산 효율성이 높지만 학습 과정에서 진동이 발생할 수 있습니다. Momentum이전 기울기 정보에 관성을 부여하여 현재 기울기에 더해줌으로써수렴속도를 높이고, Local Minimum에 빠지는 것을 방지합니다. NAG (Nesterov Accelerated Gradient.. 2024. 11. 26. 머신러닝(Machine Learning) 머신러닝머신러닝은 컴퓨터가 프로그래밍 없이 데이터를 기반으로 학습하여 스스로 패턴을 발견하여 예측하거나 결정을 내리는 인공지능(AI)의 한 분야입니다. 데이터를 처리하고 분석하여 모델을 생성하며, 이를 통해 새로운 데이터에 대한 예측과 문제해결을 합니다. 1. 머신러닝의 기본 원리머신러닝의 기본 원리는 데이터를 통해 학습하는 것입니다. 입력 데이터와 그에 상응하는 출력을 통해 컴퓨터는 데이터의 패턴과 구조를 이해하며, 이를 바탕으로 새로운 데이터를 처리합니다.데이터 수집 : 학습에 필요한 데이터 준비모델 학습 : 데이터를 사용해 알고리즘을 학습시켜 모델 생성예측 및 평가 : 학습된 모델을 새로운 데이터에 적용하고 성능 평가2. 머신러닝의 유형Supervised Learning 입력 데이터와 아웃풋이 있는.. 2024. 11. 25. BERT - Bidirectional Encoder Representation from Transformers BERT는 2018년 구글이 발표한 자연어 처리(NLP)모델로,Transformer 아키텍쳐를 기반으로 한 사전 학습 언어 모델 (Pre-trained Language Model)입니다.NLP의 다양한 과제를 해결하기 위해 설계된 BERT는 문맥을 양방향으로 이해한다는 점에서 기존 모델과 차별화됩니다. BERT의 등장배경기존 RNN, LSTM기반 모델은 계산 속도가 느리고 긴 문맥을 처리하는데 제약이 있었습니다.또한 단방향 모델(예: GPT)는 문맥을 한 방향으로만 처리하거나 제한된 방식에 국한되었습니다. 이로인해 문맥 정보 손실도 발생했었구요.이와 더불어 Attention 메커니즘 기반의 Transformer는 병렬 연산을 지원하며 긴 문맥 처리 능력을 향상시켰으며, 이를 활용한 모델이 NLP 문제에서.. 2024. 11. 24. 이전 1 2 3 4 ··· 101 다음
