본문 바로가기

분류 전체보기212

어텐션 (Attention) 메커니즘, 자연어 처리 모델 (NLP) 어텐션 메커니즘이란?어텐션 메커니즘은 시퀀스 데이터에서 중요한 부분에 더 많은 가중치를 할당하여 정보를 효율적으로 처리하는 기법이다. 특히 번역, 요약, 감정 분석과 같은 자연어 처리(NLP)에서 큰 성과를 보이고 있다. 병렬처리가 가능하며 이는 학습과 예측 속도를 향상시켜준다. 동작 방식 Query, Key, Value 계산 : 입력 데이터에서 모든 단어에 대해 Query, Key, Value라는 세가지 벡터를 만듬. Query는 찾고자 하는 정보, Key는 각 단어의 특징, Value는 그 단어의 실제 정보를 뜻한다.Query와 Key를 사용하여 각 단어가 다른 단어들과 얼마나 관련이 있는지 점수를 계산한다. 이렇게 하면 입력 문장 내의 단어들 간 중요도를 나타내는 '가중치'가 생성된다.각 단어의 V.. 2024. 11. 4.
24-11-01 TIL 오늘은 딥러닝 코드공부랑 새로받은 AI활용 강의를 들었다. 팀 도전과제로 짰었던 딥러닝 코드와 다른 팀들의 코드들도 비교해 가면서 한 줄 한 줄 이해하는 것을 목표로 공부를 했었고, 오후 중간쯤 부터는 새로받은 강의를 들었다. 딥러닝이랑 머신러닝만 들었을때는 코드적인 부분에서 이해가지 않는 것도, 이걸 어떻게 만들어 가야할 지도 막막했는데, 활용강의 에서는 조금 더 세세하게 코드들에 대해서 설명을 해주셔서 이전 강의 보다는 이해하기가 수월했다. 따라가기가 훨씬 편했다. 이전의 줄어들었던 자신감이 다시 조금씩 올라오는 것도 같다.안그래도 내가 딥러닝과 머신러닝에 너무 시간을 많이 잡아 먹혀서 이렇게 하는것이 맞는건가 하는 의문과 이전 강의도 제대로 못 이해했는데 새로운 강의를 듣는것이 맞는가 하는 의문을 .. 2024. 11. 1.
순환 신경망 (RNN) 순환 신경망이란?시계열 데이터나 순차적인 데이터를 처리하기 위해 설계된 신경망이다. sequence 데이터를 다루는데 최적화 되어있다.(데이터가 순서를 이루고 있는 경우 작동이 잘됨) RNN은 이전 시간 단계의 정보를 현재 시간 단계로 전달해, 시퀀스 데이터의 패턴을 학습할 수 있다.  동작 원리 순환 구조 : RNN은 반복적인 구조로 구성되어, 현재 입력과 이전 단계의 은닉 상태(Hidden State)를 함께 고려해 출력을 생성한다. 이 은닉 상태는 다음 단계로 전달되어 이전 입력에 대한 정보를 유지하게 된다.동작 원리 : 네트워크 내에서 모든 단계가 동일한 가중치 행렬을 사용하여 계산을 수행하여 시퀀스의 패턴을 학습한다. 순전파(Forward Propagation)와 역전파(Backpropagati.. 2024. 11. 1.
합성곱 신경망(CNN) 합성곱 신경망이란?사람의 시각 정보를 모델링한 것이다. 이미지 처리에 성능이 좋으며 주로 이미지 분석, 음성인식, 텍스트 분석에 사용된다.합성곱 층(Convolutional Layer), 풀링 층(Pooling Layer), 완전 연결 층(Fully Connected Layer)으로 구성된다. 합성곱 층 : 필터(이미지에서 특정 패턴을 추출하는 작은 크기의 행렬)와 입력 이미지를 곱한 후 결과를 합산하여 특징맵(Featuer Map)을 생성한다. 특징맵의 크기는 필터의 크기와 이동 폭(stride), 패딩(padding) 설정에 따라 달라진다. 여러 층을 거치며 다양한 특징들을 추출하게 된다.풀링 층 : 이미지 공간 크기를 줄여 계산량을 줄이고, 특징을 압축하는 역할을 한다. 보통 Max Pooling과.. 2024. 11. 1.
인공신경망(ANN) 인공신경망이란?사람의 실제 신경망을 모델링해서 만든것이 인공신경망이다. 입력층(Input Layer), 은닉층(Hidden Layer) , 출력층(Output Layer)으로 구성되어 있으며, 각 층은 뉴런으로 이루어져있다. 입력층 : 입력데이터를 받아들이는 층, 입력층의 뉴런수는 입력데이터 피쳐수와 동일하다.은닉층 : 입력데이터를 처리하고 특징을 추출하는 층, 은닉층의 뉴런수와 층수는 모델의 복잡성과 성능에 영향을 미친다. 출력층 : 최종 예측값을 출력하는 층, 출력층의 뉴런 수는 예측하려는 클래스 수 또는 회귀문제 출력차원과 동일하다.  동작 방식 순전파(Forward Propagation)입력 데이터를 통해 각 층의 뉴런이 활성화되고, 최종 출력 값을 계산한다. 각 뉴런은 입력 값에 가중치(weig.. 2024. 11. 1.
24-10-31 TIL 오늘은 새로추가된 강의를 앞부분만 조금 들었다. AI활용에 대한 주제였는데, 1주차를 조금 들었을 뿐인데 머리가 벌써 조금 아파졌다.  딥러닝은 아직도 공부중이다. 팀과제의 코드를 다시 한번 쭉 보았는데, 너무 어려웠다. 그래도 희망적인 부분은 어느정도 코드가 이해가 된다는 것이었다. 내가 활용할 수 있을지에 대해선 미지수이지만. 다양한 코드들을 접해보며 익숙해지는 것이 일단 목표다. 직접코드를 짜보는것은 조금 뒤로 미루기로 했다. 어제 있었던 팀과제 발표회 영상을 다른 조들과 우리조의 코드를 비교해 보며 다시 보아야 할 것 같다. 발표회 당일때는 막상 발표자도 아니었지만 좀 떨리기도 하고 다른사람들의 발표가 잘 귀에 들어오지 않았으므로, (물론 코드를 일일이 확인하기 어려운 것도 있었다.) 발표회 영상.. 2024. 10. 31.

티스토리툴바