HCX 격파 도전: 엔지니어링 밋업(1)

 

HCX 엔지니어링 밋업

 

 

이번에 네이버클라우드에서 칼을 갈았다. HCX 상품군 판매에 관해, 파트너사 엔지니어의 역량을 끌어올려보겠다는 야심작! 퇴근 후 파트너사와 함께하는 HCX(HyperCLOVA X) 미팅을 시작했다.

 

생각보다 HCX 의 로드맵을 공유하면서, 정말 본격적으로 엔지니어의 역량을 키워보겠다는 의지가 느껴진다. 공개할 수 없는 것들은 제외하고, 최대한 네이버 클라우드 현직자 분의 발표 세션 위주로 정리해보려고 한다. 발표 세션만 요약해보았다. 이번에는, HCX를 활용한 Advanced RAG 구현 방안에 대해 발표를 들었다. Advanced RAG는 기존 Naive RAG의 한계를 극복하기 위해 개발된 향상된 검색 증강 생성 기술이다.

 

 

Advanced RAG의 주요 특징과 구성 요소

1. 기본 구조

- Naive RAG보다 향상된 검색 증강 생성 기술
- 프리 리트리버, 포스트 리트리버 추가로 정확도 향상
- 모듈화된 구성으로 유연성 확보

2. 구현 단계

① 문서 전처리 및 로딩
   - PyMuPDF, pdfplumber 등 도구 활용
   - 표 구조 유지 및 이미지 처리 중요

② 청킹
   - 문단 나누기 기능 활용
   - Langchain의 RecursiveCharacterTextSplitter 사용

③ 임베딩 및 인덱싱
   - BGE-M3 등 다국어 지원 모델 활용

④ 사용자 의도 파악 (디텍팅)

⑤ 리랭킹: 하이브리드 검색 후 정확도 향상

⑥ 캐싱: 토큰 비용 절감 및 응답 속도 개선


3. 캐싱 구현 사례
- 레디스로 캐시 스토어 구성
- 서치 엔진으로 벡터 스토어 구성
- 레디스: 텍스트 정확 일치 시 답변
- 서치 엔진: 유사 문장 검색 답변
- 성능 테스트 결과:
  - LLM 응답: 9-10초
  - 레디스 캐시 히트: 0.01초
  - 서치 엔진 유사도 검색: 0.14초

4. 유사도 측정 결과
- 완전 동일 텍스트: 유사도 1
- 문장 부호만 다른 경우: 유사도 0.98
- 의미는 같지만 단어가 다른 경우: 유사도 0.97 이상
- 의미가 다른 경우: 유사도 0.95 이하
- 권장 유사도 설정: 0.97-0.98

5. 프롬프팅 개선 사례
- 복잡한 표 데이터 처리 시 문제 발생
- CoT(Chain of Thought) 적용으로 개선
- 마크다운 대신 JSON 형식으로 변환하여 정확도 향상

6. 기타
- Langchain의 HyperCLOVA X 공식 지원
- 프로젝트 경험 공유 및 지속적인 업데이트 필요성 강조

 

 

 

앞으로도 열심히 참여해서 엔지니어의 AI 역량을 키워보고 싶다.