본문 바로가기

분류 전체보기212

RAG, Vector DB, LangChain RAG (Retrieval-Augmented Generation) 란?검색기반 생성 기법이다. LLM은 많은 데이터를 학습했음에도, 최신 정보나 특정 도메인 지식에 대한 한계를 가질 수 있다. 이를 보완하기 위해 RAG는 LLM이 직접 답을 생성하는 대신, 외부 데이터베이스나 문서에서 관련 정보를 검색한 후, 그 정보를 바탕으로 답변을 생성하는 방식이다.   ▼ 동작 원리질문 입력 사용자가 질문을 하면, RAG 시스템은 질문에 맞는 답변을 생성하기 전에 검색 단계를 거친다.문서 검색 (Retrieval)벡터DB나 기타 정보 저장소에서 질문과 관련된 문서를 검색한다. 이때 사용되는 검색 방법은 텍스트를 벡터화하여 의미적으로 유사한 문서를 찾는 것이다. 답변 생성 (Generation)검색된 문서를 바탕으로.. 2024. 11. 13.
LLM (Large Language Model) LLM 이란?대규모 텍스트 데이터를 학습하여 자연어를 이해하고 생성할 수 있는 AI모델이다. 기본적으로 자연어 처리(NLP)의 다양한 작업, 예를 들면 번역, 질문 응답, 텍스트 생성(소스코드 등) 등을 할 수 있다.    ▼ 주요 기능자연어 이해(NLU) : 질문이나 명령을 이해하고 적절히 응답하는 능력텍스트 생성 : 기존 데이터를 바탕으로 자연스러운 텍스트를 생성번역 및 요약 : 다른 언어로 번역하거나 긴 텍스트를 요약 질문 응답 시스템(Q&A) : 사용자의 질문에 정확하게 답변하는 기능  ▼ 동작 원리학습 (Training)LLM은 대규모 텍스트 데이터셋을 이용해 학습한다. 여기서 중요한 것은 '패턴 인식'이다. 수많은 텍스트에서 단어와 문장의 패턴을 찾아내어, 새로운 문장이나 답변을 생성할 때 그.. 2024. 11. 13.
24-11-12 베이직반 수업 파이썬 기초 문제 풀이  1. 문자열 겹쳐쓰기  프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr  ▼ 풀이## 잘못된 풀이def solution(my_string, overwrite_string, s): for i in range(s, len(overwrite_string)+1, 1): my_string[i], overwrite_string[i] = overwrite_string[i], my_string[i] answer = my_string return answer## 풀이 1def solution(my_string, overwrite_string, s): answer.. 2024. 11. 12.
FastAI 사전 학습된 모델 실습 ▼ FastAI 설치# FastAI 와 PyTorch 설치 pip install fastai, pytorch # 설치가 완료되면 라이브러리 임포트from fastai.vision.all import * ♠ 이번 실습에서는 ResNet 사전 학습된 모델을 사용해 고양이와 강아지 이미지를 분류하는 작업을 수행할 것이다. # 데이터셋 로드path = untar_data(URLs.PETS) # PETS 데이터셋 다운로드 및 압축 해제path_imgs = path/'images'# 이미지 파일 라벨링 함수 정의def is_cat(x): return x[0].isupper()# 데이터블록 정의dls = ImageDataLoaders.from_name_func( path_imgs, get_image_files.. 2024. 11. 12.
Ultralytics YOLO활용 YOLO(You Only Look Once)란?객체 탐지 모델 중 하나로, 이미지에서 객체의 위치와 종류를 동시에 예측하는 강력한 딥러닝 모델이다. 한 번의 신경망 전파만으로 객체를 탐지하기 때문에 실시간 처리가 가능할 정도로 매우 빠르다.    ▼ 특징 속도 : 전체 이미지를 한 번에 처리하여 빠르게 객체를 탐지할 수 있다.정확도 : 여러 객체가 있는 복잡한 이미지에서도 높은 정확도로 객체를 탐지할 수 있다.다양한 크기 : 다양한 크기의 이미지와 객체를 처리할 수 있다.   ▼ Ultralytics YOLOv8설치 및 작동 # YOLOv8설치pip install ultralytics# 필요한 라이브러리 임포트from ultralytics import YOLOimport cv2from matplotlib.. 2024. 11. 12.
모델 서빙 모델 서빙이란?학습된 머신러닝 모델을 실제 애플리케이션에서 사용할 수 있도록 제공하는 과정이다. 서빙된 모델은 외부에서 입력 데이터를 받아 예측을 수행하고, 그 결과를 응답으로 반환한다. 이를 위해 API(애플리케이션 프로그래민 인터페이스)를 활용해 모델에 접근할 수 있도록 한다.  ▼ 주요 개념RESTful API : REST(Representational State Transfer) 아키텍처 스타일을 따르는 API로, HTTP프로토콜을 사용하여 클라이언트와 서버 간에 데이터를 주고받는 방식이다. FastAPI : Python으로 작성된 빠르고 간단한 웹 프레임워크로, RESTful API를 구축하는 데 매우 적합하다.   ▼ RESTful API 개요GET : 서버에서 데이터를 가져올 때 사용한다. .. 2024. 11. 12.

티스토리툴바