bert 학습1 BERT - Bidirectional Encoder Representation from Transformers BERT는 2018년 구글이 발표한 자연어 처리(NLP)모델로,Transformer 아키텍쳐를 기반으로 한 사전 학습 언어 모델 (Pre-trained Language Model)입니다.NLP의 다양한 과제를 해결하기 위해 설계된 BERT는 문맥을 양방향으로 이해한다는 점에서 기존 모델과 차별화됩니다. BERT의 등장배경기존 RNN, LSTM기반 모델은 계산 속도가 느리고 긴 문맥을 처리하는데 제약이 있었습니다.또한 단방향 모델(예: GPT)는 문맥을 한 방향으로만 처리하거나 제한된 방식에 국한되었습니다. 이로인해 문맥 정보 손실도 발생했었구요.이와 더불어 Attention 메커니즘 기반의 Transformer는 병렬 연산을 지원하며 긴 문맥 처리 능력을 향상시켰으며, 이를 활용한 모델이 NLP 문제에서.. 2024. 11. 24. 이전 1 다음
