NLP1 어텐션 (Attention) 메커니즘, 자연어 처리 모델 (NLP) 어텐션 메커니즘이란?어텐션 메커니즘은 시퀀스 데이터에서 중요한 부분에 더 많은 가중치를 할당하여 정보를 효율적으로 처리하는 기법이다. 특히 번역, 요약, 감정 분석과 같은 자연어 처리(NLP)에서 큰 성과를 보이고 있다. 병렬처리가 가능하며 이는 학습과 예측 속도를 향상시켜준다. 동작 방식 Query, Key, Value 계산 : 입력 데이터에서 모든 단어에 대해 Query, Key, Value라는 세가지 벡터를 만듬. Query는 찾고자 하는 정보, Key는 각 단어의 특징, Value는 그 단어의 실제 정보를 뜻한다.Query와 Key를 사용하여 각 단어가 다른 단어들과 얼마나 관련이 있는지 점수를 계산한다. 이렇게 하면 입력 문장 내의 단어들 간 중요도를 나타내는 '가중치'가 생성된다.각 단어의 V.. 2024. 11. 4. 이전 1 다음
