🎵 Plexamp는 안녕, Ollama로 구축한 로컬 RAG 기반 AI 음악 에이전트

최근 로컬 환경에서 대형 언어 모델(LLM)을 돌리는 것이 대중화되면서, 단순히 채팅을 나누는 단계를 넘어 실질적인 **’개인용 서비스’**를 만드는 재미가 커지고 있습니다. 이번 프로젝트는 기존 상용 서비스에 대한 갈증에서 시작해, 내 하드디스크의 음악을 완벽하게 통제하는 나만의 AI 음악 비서를 구축한 기록입니다.

---

1. 왜 직접 만들었나? (Motivation)

그동안 음악 관리와 스트리밍을 위해 Plexamp를 애용해 왔습니다. 하지만 날이 갈수록 폐쇄적으로 변하는 지원 정책과 매달 지불해야 하는 구독 모델, 그리고 커스터마이징의 한계에 지치고 말았습니다.

“내 데이터를 내가 가장 편한 방식으로, 비용 걱정 없이 쓰고 싶다.”

또한, 수만 곡의 라이브러리를 수동으로 플레이리스트화하여 관리하는 것은 불가능에 가깝습니다. 사람이 일일이 관리하다 보면 결국 듣는 곡만 듣게 되고, 이름조차 기억나지 않는 수많은 명곡은 하드디스크 깊숙한 곳에서 잠들게 됩니다. 이는 명백한 저장 공간의 낭비이자 소중한 데이터의 방치입니다.

이 간결한 목표를 위해 로컬 GPU 서버와 오픈소스 AI 도구들을 결합하기로 했습니다.

---

2. 시스템 설계: RAG(Retrieval-Augmented Generation)

단순한 키워드 검색은 오타나 모호한 표현에 취약합니다. 이를 해결하기 위해 사용자의 의도를 벡터(Vector)로 이해하는 RAG 아키텍처를 채택했습니다.

• 임베딩 모델: mxbai-embed-large (Ollama를 통해 로컬 구동)
• 벡터 DB: ChromaDB (유사도 기반 곡 검색)
• 인터페이스: 텔레그램 봇 API (언제 어디서나 접근 가능)
• 인프라: Docker & Docker Compose (간편한 배포 및 관리)

---

3. 핵심 중의 핵심: 데이터 관리가 전부다! (Data Cleaning)

이번 프로젝트를 진행하며 가장 뼈저리게 느낀 점은 **”Garbage In, Garbage Out”**입니다. 아무리 뛰어난 AI 모델을 써도, 소스 데이터(파일명, 태그)가 엉망이면 검색 결과는 처참합니다.

특히 윈도우와 리눅스를 오가는 환경에서 발생하는 **한글 인코딩 깨짐(NFD/NFC 충돌)**과 불필요한 광고성 접미사([MV], Official, Kpop)는 검색 정확도를 떨어뜨리는 주범이었습니다.

🛠️ 데이터 정화 프로세스

단순한 쉘 스크립트 대신 Python의 강력한 유니코드 처리 능력을 활용했습니다.

• 인코딩 정규화: unicodedata.normalize('NFC', ...)를 통해 자모 분리 현상을 완벽히 해결.
• 바이트 단위 제어: 파일명이 완전히 깨진 상태에서도 바이트 레벨에서 복구를 시도하여 유실되는 데이터를 최소화.
• 지능형 인덱싱: 파일명뿐만 아니라 디렉토리 경로와 ID3 태그를 하나의 문장으로 조합해 AI가 이해하기 쉬운 맥락을 제공.

데이터가 깨끗해지는 순간, AI의 검색 성능은 비약적으로 상승했습니다.

---

4. 이번 프로젝트의 가장 큰 의의: “앱 만들기가 너무 쉽다”

과거에 이런 시스템을 구축하려면 복잡한 검색 엔진 로직과 데이터베이스 설계에 수주가 걸렸을 것입니다. 하지만 지금은 다릅니다.

• AI와의 협업: 로컬 LLM과 대화하며 복잡한 파이썬 스크립트와 도커 설정을 순식간에 짜낼 수 있습니다.
• 모듈화된 도구: Ollama와 ChromaDB 같은 도구들이 추상화가 잘 되어 있어, 조립 위주로 개발이 가능합니다.

이제는 거창한 개발 팀이나 큰 자본 없이도, 개인이 본인의 불편함을 해결하는 수준 높은 앱을 며칠 만에 뚝딱 만들 수 있는 시대가 되었습니다.

---

5. 결과 및 향후 계획

• 성능: 수천 곡의 라이브러리에서 “신나는 곡 찾아줘” 혹은 “가수 이름”만 입력해도 0.5초 이내에 정확한 곡을 전송합니다.
• 자유: 구독료도 없고, 정책 변화에 휘둘릴 일도 없습니다. 모든 데이터는 내 서버 안에서만 안전하게 흐릅니다.

물론 데이터베이스를 얼마나 잘 만드느냐에 따라 많은 차이가 있습니다!!

🔮 향후 계획

1. 자동 플레이리스트: 사용자의 요청 기록을 분석해 취향에 맞는 곡을 먼저 제안하는 기능.
2. 오디오 분석 결합: 텍스트를 넘어 오디오 파형 자체를 분석해 ‘비슷한 느낌의 곡’을 찾는 멀티모달 검색 도입.

---

나만의 데이터를 AI의 힘으로 재발견하는 과정은 매우 즐거웠습니다. 상용 서비스의 제약에서 벗어나 나만의 디지털 영토를 구축하고 싶은 분들이라면, 지금 당장 로컬 AI 에이전트 개발에 도전해 보시길 권합니다.