RAG(검색 증강 생성)을 활용한 LLM 한계 극복

[출처] Elastic

 

검색 증강 생성(RAG, Retrieval Augmented Generation)은 텍스트 생성 과정에 정보 검색을 통합한 자연어 처리(NLP) 기술입니다. LLM(Large Language Model)이 가지는 다양한 한계점을 해결해 주는 뛰어난 보완재이며, 기업 입장에서는 내부 보안이 필요한 문서/텍스트 데이터들을 LLM에 적용하여 활용할 수 있다는 큰 장점이 있습니다.

 

아래에서는 RAG의 주요 특징 및 LLM과 어떤 시너지를 낼 수 있는지에 대해 요약하여 설명합니다.

자세한 내용은 아래 본문에서 확인 가능합니다.

생성형 AI 환각의 종말? RAG로 엿보는 LLM의 미래[테크트렌드]

 

---

RAG 작동 원리

• 검색 (Retriever)
• 증강 (Augmentation)
• 생성 (Generator)

RAG 특징

아래에서는 RAG의 주요 특징 및 LLM과 어떤 시너지를 낼 수 있는지에 대해 요약하여 설명합니다.

1. 검색과 생성을 결합한다. 
   검색된 정보를 텍스트를 생성하는 과정에 통합하는 것으로 LLM에 외부 데이터를 추가해 정확도를 높인다.
2. 지속적으로 업데이트되는 외부 데이터나 지식을 활용한다. 
   LLM에 학습된 데이터뿐만 아니라 새롭게 업데이트되는 외부 데이터들을 활용할 수 있다.
3. 특정 영역(Domain)에 특화된 전문적이고 구체적인 정보와 지식을 제공한다.
4. 정보의 출처를 제공함으로써 답변의 근거를 확인할 수 있어 정보의 투명성이나 정확도 면에서 우수하다.
5. 맥락 이해가 가능하다는 것이다.

RAG 한계 및 고려사항

RAG는 단기적으로 볼 때 LLM의 한계를 보완하고 성능을 향상시키기 위한 유용한 도구이긴 하지만 아래와 같은 결점들을 보완해야 한다.

1. 외부 지식 DB에서 정보를 검색하고 처리하다 보니 기존 LLM에 비해 학습비용이 추가로 발생하게 된다.
2. 검색에 외부 DB를 사용하다 보니 개인정보 보호나 보안 문제도 발생한다.
3. 외부 검색 엔진에서 제공되는 정보에 의존하다 보니 그 정보의 질과 양에 따라 오히려 편향되고 부적절한 결과를 낼 수도 있다. 
4. 외부 정보 검색 시스템을 LLM에 통합시키다 보니 시스템의 복잡성도 증가한다.

결론

LLM은 사전 학습된 정보를 기반하여 입력된 질문에 적절한 응답을 생성하는데 목적이 있고, RAG는 실시간 외부 데이터를 검색하여 참조함으로써 생성된 텍스트의 정확성과 문맥적 관련성을 향상시키는데 목적을 둔다. 이처럼 각각 역할과 목적이 다르다 보니 대체재라기 보다는 보완적인 관계라고 할 수 있으며, 상호 보완을 통해 더욱 효과적인 서비스 제공이 가능하다.

출처

[1] 생성형 AI 환각의 종말? RAG로 엿보는 LLM의 미래 [테크트렌드]