본문 바로가기

Coding210

사전 학습 & 파인 튜닝 사전 학습(Pre-training) 이란?대구모의 텍스트 데이터셋을 사용해 모델이 일반적인 언어 이해 능력을 학습하는 과정이다.  ▼ 특징 대규모 데이터셋 사용 : 인터넷에서 수집한 방대한 양의 텍스트 데이터로 모델을 학습시킨다. 예를 들어, BERT 는 수십억 개의 문장으로 사전 학습되어있다. 일반적인 언어 이해 : 모델은 텍스트 내 단어의 의미, 문장 구조, 문맥 등 언어의 전반적인 특징을 학습한다.작업 비특화 : 특정 작업에 맞춰진 학습이 아닌, 전반적인 언어 이해에 초점을 맞춘다.  ▼ 목적사전 학습을 통해 모델은 다양한 텍스트에서 언어의 기본적인 규칙을 배우고, 이후에 특정 작업에 빠르게 적응할 수 있는 기반을 다진다. Hugging Face에서 제공하는 대부분의 모델들은 이 단계까지 완료된 상.. 2024. 11. 11.
다양한 NLP모델 ★ 실습하기 전에는 꼭 가상환경 설정해주기!! ▼GPT-2 (Generative Pre-trained Transformer 2)OpenAI에서 개발한 언어 생성 모델로, 문장을 생성하거나 이어지는 텍스트를 예측하는 데 뛰어난 성능을 발휘한다. Transformer 라이브러리에서 바로 사용 가능하며, 여러 텍스트 생성 작업에 활용할 수 있다. from transformers import pipeline# GPT-2 기반 텍스트 생성 파이프라인 로드generator = pipeline("text-generation", model="gpt2")# 텍스트 생성result = generator("When I was a girl", max_length=100, num_return_sequences=1)print(r.. 2024. 11. 11.
PyTorch를 활용하여 Transformer 모델 구현 PyTorch 란?Facebook AI Research(FAIR) 에서 개발한 딥러닝 프레임워크로, 유연하고 사용하기 쉬운 API 덕분에 연구자들과 개발자들 사이에서 인기가 많다. 이 프레임워클르 사용하면 딥러닝 모델을 쉽게 구축하고 실험할 수 있다. Transformer 모델이란? 자연어 처리(NLP)에서 뛰어난 성능을 보이는 모델이다. Self-Attention 메커니즘을 활용해 템스트의 문맥을 파악하고, 병렬 처리에 강한 구조를 가지고 있다. BERT, GPT, T5같은 유명한 모델들이 모두 Transformer 기반이다.  ▼ 사전 학습된 모델 사용해보기 PyTorch 허브(Pytorch Hub)를 이용하면, 사전 학습된 다양한 모델들을 손쉽게 활용할 수 있다. torch.hub.load() 를 .. 2024. 11. 11.
API로 인공지능 활용하기 API (Application Programming Interface)란?프로그램 간에 데이터를 주고받을 수 있게 해주는 인터페이스이다. 서로 다른 소프트웨어가 "대화"할 수 있도록 돕는 일종의 통로라고 생각하면 된다. 서버와 클라이언트 간에 요청과 응답을 주고받는 방식으로 작동한다. API를 사용하면 복잡한 기능을 직접 구현할 필요없이, 이미 만들어진 서비스를 활용할 수 있다. 특히 인공지능 API는 누구나 손쉽게 AI의 강력한 기능을 자신의 프로그램에 통합할 수 있게 해준다.   ▼인공지능 API활용 방법텍스트 생성 API : ChatGPTOpenAI에서 제공하는 텍스트 생성 AI API이다. GPT(Generative Pre-trained Transformer)라는 언어 모델을 기반으로, 사용자가 .. 2024. 11. 11.
GitHub으로 AI활용하기 Github이란?코드 저장소이자 협업 플랫폼이다. 전 세계 개발자들이 모여 코드와 아이디어를 공유하고 함께 프로젝트를 진행하는 공간이다. 오픈소스란?소스코드가 공개된 소프트웨어를 말한다. 누구나 이 코드를 보고, 수정하고, 배포할 수 있다. 리눅스나 파이썬 같은 프로그램들이 포함되어 있다.   다양한 AI 프로젝트DeepArt - AI로 그림 그리기딥러닝을 이용해 이미지를 예술 작품처럼 변환해주는 프로젝트이다. 사진을 바탕으로 유명 화가의 스타일을 적용할 수 있다. OpneAI Gym - 강화학습으로 게임 만들기강화학습(적응형 AI 학습)의 연구와 개발을 위한 도구들이 모여있는 라이브러리이다. 다양한 환경에서 AI 에이전트를 훈련시킬 수 있다.Mozilla Common Voice - 음성 인식 데이터셋 .. 2024. 11. 11.
허깅페이스 (Hugging Face) 허깅페이스(Hugging Face)란?자연어 처리(NLP)를 중심으로 다양한 AI 모델들을 제공하는 플렛폼이다. 원래는 대화형 AI(챗봇)를 만드는 스타트업으로 시작했지만, 지금은 AI와 머신러닝 모델을 개발하는 커뮤니티로 성장했다.  ▼ 특징 Transformers 라이브러리 : 이 라이브러리는 BERT, GPT-3 간은 최신 NLP 모델을 쉽게 사용할 수 있다.모델 허브 (Model Hub) : 수천 개의 미리 학습된 모델들이 모여있는 곳이다. 클릭 몇 번으로 모델을 가져다 쓸 수 있다.커뮤니티 중심 : 허깅페이스는 오픈소스 커뮤니티를 중심으로 운영한다. 그래서 정 세계개발자들이 협력해 모델을 만들고 공유한다.★ '허깅페이스'라는 이름은 🤗 이모티콘에서 따왔다. 이모티콘이 따뜻하고 친근한 느낌을 주.. 2024. 11. 10.

티스토리툴바