본문 바로가기

Coding210

과적합 방지 기법 정규화(Nomalization) 입력 데이터의 분포를 일정한 범위로 조정하여 모델의 학습을 안정화하고 성능을 향상시키는 기법이다. 배치 정규화(Batch Nomalization) : 미니 배치 단위로 평균과 분산을 계산하여 각 배치의 입력을 정규화한다. 학습 속도를 높이고 안정적이다. ( 미니배치란? 전체 데이터셋을 작은 부분집합으로 나눈것이다. 이것은 적절한 크기로 나누어 모델을 업데이트 하기 위함이다.)레이어 정규화(Layer Normalization) : 모든 활성화 값을 본다음 평균과 분산을 보고 이 값을 통해 정규화하는 것이다.     드롭아웃(Dropout) 학습 과정 중 무작위로 뉴런을 비활성화하여 일부 뉴런의 영향을 제거하는 방법이다. 학습된 모델이 특정 뉴런에 의존하지 않게 해준다. 학습.. 2024. 11. 6.
오토인코더 & 생성형 모델 & 전이 학습 오토인코더란?입력 데이터를 압축하고, 이를 다시 복원하는 과정을 통해 데이터를 효율적으로 표현하는 비지도 학습 모델이다. 주로 차원 축소, 잡음 제거, 생성 모델 등 다양한 분야에서 활용된다.  구조  √ 인코더(Encoder) : 입력 데이터를 압축하여 저차원 표현으로 변환하는 역할이다. 주요 특징들을 선택해 작은 벡터로 압축한다. √  잠재 공간(Latent Space) : 인코더에서 압축된 정보가 잠시 저장되는 공간이다. 핵심 특징을 함축하고 있으며, 차원이 낮기 때문에 정보의 손실이 있을 수 있지만 중요한 특징들은 남아 있다.   √  디코더(Decoder) : 압축된 데이터를 다시 원래 크기로 복원하는 역할이다. 역과정을 수행하며 데이터를 원래의 형태에 가깝게 재구성한다.  입력 데이터와 출력 .. 2024. 11. 5.
이미지 처리 모델 ResNet (Residual Network)깊은 신경망을 학습하기 위해 개발된 모델이다. 잔차학습 개념을 도입하여 기울기 소실 문제를 해결하였고, 층이 몇개로 구성되어 있냐에 따라 이름이 바뀐다. 딥러닝에서 중요한 발전을 이룩한 모델이다. 이미지 분류, 객체 검출 등 다양한 컴퓨터 비전 작업에서 높은 성능을 발휘하고, 깊은 네트워크에서도 안정적으로 학습할 수 있어, 복잡한 패턴을 잘 학습한다. -> 잔차학습 (Residual Learning) : 잔차연결 또는 스킵연결 이라 불리는 연결 방식을 도입하는 것이다. 일반적인 네트워크는 각 층이 이전층의 출력을 받아 계산하지만 ResNet에서는 일부 층을 건너뛰어 신호를 다음 층으로 직접 전달하는 잔차연결이 추가된다. 이를 통해 각 레이어는 이전 출력의 잔차.. 2024. 11. 5.
SQL 문제 : 저자 별 카테고리 별 매출액 집계하기 문제 설명다음은 어느 한 서점에서 판매중인 도서들의 도서 정보(BOOK), 저자 정보(AUTHOR) 테이블입니다.BOOK 테이블은 각 도서의 정보를 담은 테이블로 아래와 같은 구조로 되어있습니다.Column nameTypeNullableDescriptionBOOK_IDINTEGERFALSE도서 IDCATEGORYVARCHAR(N)FALSE카테고리 (경제, 인문, 소설, 생활, 기술)AUTHOR_IDINTEGERFALSE저자 IDPRICEINTEGERFALSE판매가 (원)PUBLISHED_DATEDATEFALSE출판일AUTHOR 테이블은 도서의 저자의 정보를 담은 테이블로 아래와 같은 구조로 되어있습니다.Column nameTypeNullableDescriptionAUTHOR_IDINTEGERFALSE저자.. 2024. 11. 5.
어텐션 (Attention) 메커니즘, 자연어 처리 모델 (NLP) 어텐션 메커니즘이란?어텐션 메커니즘은 시퀀스 데이터에서 중요한 부분에 더 많은 가중치를 할당하여 정보를 효율적으로 처리하는 기법이다. 특히 번역, 요약, 감정 분석과 같은 자연어 처리(NLP)에서 큰 성과를 보이고 있다. 병렬처리가 가능하며 이는 학습과 예측 속도를 향상시켜준다. 동작 방식 Query, Key, Value 계산 : 입력 데이터에서 모든 단어에 대해 Query, Key, Value라는 세가지 벡터를 만듬. Query는 찾고자 하는 정보, Key는 각 단어의 특징, Value는 그 단어의 실제 정보를 뜻한다.Query와 Key를 사용하여 각 단어가 다른 단어들과 얼마나 관련이 있는지 점수를 계산한다. 이렇게 하면 입력 문장 내의 단어들 간 중요도를 나타내는 '가중치'가 생성된다.각 단어의 V.. 2024. 11. 4.
24-11-01 TIL 오늘은 딥러닝 코드공부랑 새로받은 AI활용 강의를 들었다. 팀 도전과제로 짰었던 딥러닝 코드와 다른 팀들의 코드들도 비교해 가면서 한 줄 한 줄 이해하는 것을 목표로 공부를 했었고, 오후 중간쯤 부터는 새로받은 강의를 들었다. 딥러닝이랑 머신러닝만 들었을때는 코드적인 부분에서 이해가지 않는 것도, 이걸 어떻게 만들어 가야할 지도 막막했는데, 활용강의 에서는 조금 더 세세하게 코드들에 대해서 설명을 해주셔서 이전 강의 보다는 이해하기가 수월했다. 따라가기가 훨씬 편했다. 이전의 줄어들었던 자신감이 다시 조금씩 올라오는 것도 같다.안그래도 내가 딥러닝과 머신러닝에 너무 시간을 많이 잡아 먹혀서 이렇게 하는것이 맞는건가 하는 의문과 이전 강의도 제대로 못 이해했는데 새로운 강의를 듣는것이 맞는가 하는 의문을 .. 2024. 11. 1.

티스토리툴바