VectorDB 란?

Vector DB 란?

1. Vector

   1. 숫자 배열로 구성된 데이터 포인트로, 일반적으로 머신러닝/딥러닝 모델의 출력으로 생성됨.

   2. 벡터는 고차원 공간에서 텍스트, 이미지, 오디오, 비디오 등의 데이터를 수치적으로 표현함.

   3. 예: 강아지 -> [0.12, 0.54, 0.78,... 0.91] (512차원 임베딩)

2. 유사도 검색(Similarity Search)

   1. 벡터 간의 거리(유사도) 를 계산하여 입력 벡터와 가장 가까운 벡터를 찾는 과정임.

   2. 대표적인 거리 측정법

      1. L2 Distance(Euclidean Distance) : 두 벡터 간의 유클리드 거리

      2. Cosine Similarity : 두 벡터 간의 각도 유사도.

      3. Inner Product : 두 벡터 간의 내적 값

3. 벡터화(Embedding)

   1. 텍스트, 이미지, 오디오 등의 비정형 데이터를 머신러닝 모델을 통해 벡터로 변환하는 과정임.

   2. 모델 예시:

      1. 텍스트 : BERT, Sentence-BERT, OpenAI Embeddings

      2. 이미지 : ResNet, CLIP

      3. 오디오 : Wav2Vec

4. 고차원 공간(High-dimensional space):

   1. 벡터는 수백에서 수천 차원으로 구성되며, 전통적인 DB에서 다루기 어려운 구조임.

   2. Vector DB 는 고차원 공간에서 효율적으로 검색을 수행하도록 설계되었음.

---

Vector DB 의 주요 기능

1. 벡터 저장

   1. 벡터 데이터(숫자 배열)와 메타데이터 (태그 ,키워드 등) 을 함께 저장함.

2. 유사도 검색

   1. 입력 벡터와 가장 유사한 벡터를 빠르게 찾음.

   2. 최근접 이웃 검색(Nearest Neighbor Search, NNS) 을 사용함.

3. 필터링

   1. 메타데이터(예:태그) 를 사용하여 검색 범위를 제한할 수 있음.

4. 확장성

   1. 대규모 벡터 데이터를 저장하고 검색할 수 있도록 설계되었음.

   2. 분산 아키텍처를 통해 성능 확장 가능

---

Vector DB 의 활용 사례

1. 검색 엔지 최적화

   1. 예 : 사용자가 입력한 쿼리(텍스트)를 벡터화하여 가장 관련성 높은 문서나 항목을 검색.

   2. 사용 사례:

      1. 구글 검색, 추천 시스템.

2. 추천 시스템

   1. 사용자의 선호 데이터를 벡터화하여 유사한 아이템 추천

   2. 예 : 넷플릭스 영화 추천, 전자상거래 상품 추천

3. 이미지 검색

   1. 입력 이미지와 유사한 이미지를 데이터베이스에서 검색

   2. 예 : 핀터레스트, 쇼핑 플랫폼에서 비슷한 제품 찾기

4. 자연어 처리(NLP)

   1. 텍스트 쿼리를 기반으로 문서, 문장, 단어를 검색.

   2. 예 : 대화형 AI 시스템, 문서 요약

5. 생성형 AI

   1. 생성형 AI 응용에서 임베딩을 활용하여 문맥 기반 검색

   2. 예 : OpenAI 의 GPT 와 같은 모델을 위한 지식 베이스 검색.

---

Vector DB 와 전통적인 DB의 차이점

특징	Vector DB	RDBMS
데이터 구조	고차원 벡터	테이블(행과 열)
검색 기준	유사도 기반 (거리 계산)	정확한 매칭 (SQL 쿼리)
데이터 유형	비정형 데이터 (텍스트, 이미지 등)	정형 데이터 (숫자, 문자열)
확장성	분산 처리 지원	수직 확장 (Scale-up)
응용 사례	추천 시스템, 이미지 검색, NLP	금융 데이터, 사용자 관리

---

대표적인 Vector DB 솔루션

1. Milvus

   1. 오픈소스 벡터 데이터베이스

   2. 대규모 벡터 데이터 검색에 최적화

   3. 유사도 검색 및 필터링 지원.

2. Weaviate

   1. 벡터와 메타데이터 통합.

   2. NLP 및 텍스트 기반 검색에 강점.

3. Pinecone

   1. 클라우드 기반 벡터 데이터베이스

   2. 사용자가 벡터 검색에 집중할 수 있도록 관리형 서비스 제공.

4. Qdrant

   1. Rust 기반의 빠르고 가벼운 벡터 DB.

   2. 고성능 검색과 필터링 기능

5. FAISS(Facebook AI Similarity Search)

   1. Facebook 에서 개발한 라이브러리로 고차원 벡터 검색을 지원

   2. 완전한 DB는 아니지만, 검색 알고리즘 최적화에 유용

---

Vector DB 의 한계

1. 텍스트 검색 한계

   1. 전통적인 텍스트 검색(RDB의 LIKE, WHERE 조건) 처럼 완전한 키워드 기반 검색은 어려움.

   2. 이를 보완하기 위해 ElasticSearch 또는 RDBMS 와의 통합이 필요함.

2. 학습 데이터 의존성

   1. 벡터화의 품질은 모델과 학습 데이터에 따라 크게 달라질 수 있음.

3. 고차원 공간의 복잡성

   1. 차원이 높아질수록 계산량이 증가하여 효율적인 인덱싱 기법이 필요함.(예 : IVF, HNSW)