chunking1 개인 과제 해설 chunkingchunking은 긴 문서를 더 작고 관리하기 쉬운 부분들로 나누는 과정vectorDB에 chunk단위로 적재하게 된다장점 검색 정확도 향상 : 관련된 정보만 정확하게 검색 가능컨텍스트 제한 : LLM이 처리할 수 있는 컨텍스트 길이 내에서 효율적으로 정보 처리유연한 검색 : 필요한 부분만 선택적으로 검색 가능고려사항청크 크기 : 너무 작으면 문맥이 끊기고, 너무 크면 관련 정보 찾기 어려움중복 : 일부 중복을 허용하여 문맥 유지 필요의미 단위 : 가능한 의미가 완견된 단위로 분할CharacterTextSplitter구분자(seperator)를 기준으로 split하여 chcunk를 나누는 방법separator : 텍스트를 분할할때 사용할 구분자. 기본값은 "\n\n"chunk_size : .. 2024. 11. 20. 이전 1 다음