1. 전조 증상: 10년을 버틴 HP Gen8의 비명
오랫동안 내 홈 서버의 심장이었던 HP MicroServer Gen8의 하드디스크에서 불길한 소음과 I/O 에러가 감지되었습니다. 10년이라는 세월을 버틴 녀석을 이제는 놓아줄 때가 되었음을 직감하고, 데이터를 잃기 전 과감한 업그레이드를 결정했습니다.
2. 하드웨어 조립 및 견적: “선택과 집중의 200만 원 투자”
새로운 서버는 단순한 저장소를 넘어 **로컬 AI(LLM)**를 원활하게 돌릴 수 있는 고사양 시스템으로 기획했습니다. 총 소요 비용은 약 200만 원으로 잡았으며, 기존 자원을 최대한 활용하면서 핵심 연산 부품에 집중 투자했습니다. 부품 간의 호환성은 인터넷 견적 업체를 통해 1차로 검증했고, 제미나이(Gemini)에게 두 번, 세 번 확인하며 실수를 줄였습니다. 이번 조립에서 가장 애를 먹었던 부분은 케이스 선정이었습니다. 기존 Gen8처럼 작고 예쁜 크기를 원했지만, 성능을 타협하지 않으면서 그런 규격을 만족하는 케이스는 찾을 수 없었습니다. 결국 눈물을 머금고 큼직한 케이스를 선택했는데, 이 선택은 생각지도 못한 나비효과를 불러왔습니다. 넓어진 내부 공간을 보니 GPU를 넣지 않을 수 없었던 것이죠.
[서버 구축 최종 견적서]
| 부품명 | 상세 사양 | 비고 |
| :— | :— | :— |
| CPU | Intel Core Ultra 7 245K | 최신 아키텍처 적용 |
| Cooler | 고성능 공랭/수랭 쿨러 | 발열 제어 핵심 |
| RAM | DDR5 64GB (32GB x 2) | 넉넉한 워크스테이션급 용량 |
| SSD | NVMe M.2 1TB | OS 및 작업용 고속 스토리지 |
| HDD | 기존 HDD 재사용 | 데이터 저장용 (비용 절감) |
| VGA | NVIDIA RTX 3060 12GB | 중고 급매 (AI 연산 핵심) |
| CASE/PW | 저소음 케이스 및 750W 80PLUS Gold | 안정적인 전력 공급 |
| 총 비용 | 약 2,000,000원 | |
3. 신의 한 수: RTX 3060 12GB 중고 급매
조립 과정에서 가장 잘한 판단은 바로 RTX 3060 12GB의 영입이었습니다. 최근 AI 열풍으로 GPU 가격이 치솟고 있고 앞으로 더 비싸질 것이라는 전망에, 상태 좋은 중고 매물을 보자마자 고민 없이 급매로 가져왔습니다. 12GB의 넉넉한 VRAM은 로컬에서 14B급 모델을 돌리기에 최적의 선택이었고, 결과적으로 지금 돌려보니 절대 후회하지 않는 최고의 판단이었습니다.
4. 마이그레이션의 난관: 네트워크와 도커의 늪
기존 데이터를 옮기는 과정은 생각보다 험난했습니다.
기존 데이터를 옮기는 과정은 생각보다 훨씬 험난했습니다. 우선 내부 와이파이 망과 공인 IP를 동시에 사용하다 보니 게이트웨이 우선순위가 뒤바뀌어 외부 통신이 툭툭 끊기는 삽질을 겪어야 했습니다.
더 큰 문제는 도커 이미지 관리였습니다. 기존 서버에서 docker save로 추출해 온 이미지들에 Tag와 Label이 제대로 달려 있지 않았던 것입니다. 분명히 이미지를 로드했는데도 docker images 목록에는 나타나지 않아, 파일이 깨진 줄 알고 똑같은 추출과 복사 작업을 두 번, 세 번 반복하며 애를 먹었습니다.
결국 이 미스터리한 상황을 제미나이에게 물어보니, **”이미지는 정상적으로 로드되었으나 Tag가 <none>으로 표시되어 목록에서 놓치고 있는 것”**이라는 명쾌한 진단을 내려주었습니다. 제미나이가 알려준 대로 Tag를 다시 지정하고 조치하자마자 그제야 수많은 이미지가 제 자리를 찾기 시작했습니다.
5. 해결사 LLM: “구글링의 시대는 갔다, 이제는 AI 피드백” (강조!!)
이번 마이그레이션 과정에서 가장 놀라웠던 점은 LLM(AI)과의 실시간 협업이었습니다. 예전 같으면 커뮤니티와 공식 문서를 뒤지며 며칠을 허비했을 법한 문제들을 AI 덕분에 단 몇 분 만에 해결할 수 있었습니다.
- 실시간 트러블슈팅:
libimf.so같은 난해한 라이브러리 누락 에러나 Docker 내부에서 GPU를 인식하지 못하는 치명적인 에러가 발생했을 때, 당황하지 않고 에러 로그를 있는 그대로 AI에게 던졌습니다. 그러면 AI는 즉시 원인을 분석하고, 제 환경에 딱 맞는 정확한 해결 명령어를 제시해 주었습니다. - 불가능을 가능으로: 과거에는 서버 부팅조차 안 되는 절망적인 상황에 직면하면 더 이상 손쓸 방도가 없어 막막하기만 했습니다. 하지만 이번에는 LLM을 통해 실시간으로 문제를 진단하고 해결해 나가는 과정을 겪으며, 기술적인 감동을 넘어 말 그대로 **’감동의 눈물’**이 날 정도였습니다.
- 압도적 시간 단축: 덕분에 전체 마이그레이션과 디버깅 시간을 80% 이상 절감할 수 있었습니다. 이제 시스템 엔지니어에게 AI는 단순한 보조 수단이 아니라, 없어서는 안 될 **’필수 도구’**임을 뼈저리게 체감했습니다.
- “기술의 발전이 단순히 하드웨어의 성능 향상에 그치지 않고, 문제를 해결하는 방식 자체를 혁신했다는 점이 이번 구축기의 핵심입니다.”
6. 마침내, 나만의 로컬 AI 환경: Ollama 구동
모든 설정을 마치고 Ollama를 통해 최신 Qwen 2.5 Coder 14B 모델을 올렸습니다. 3060의 12GB VRAM 덕분에 14B 모델이 아주 매끄럽게 돌아가며, 보안 걱정 없는 나만의 로컬 AI 비서가 탄생했습니다.
[포스팅을 마치며]
낡은 Gen8의 하드 에러로 시작된 여정이었지만, 결과적으로 245K CPU와 3060 GPU가 조화된 강력한 AI 서버를 얻었습니다. 특히 복잡한 서버 설정 과정에서 AI의 도움으로 시간을 대폭 줄인 경험은 정말 짜릿했습니다. 이제 이 강력한 머신으로 새로운 프로젝트들을 마음껏 돌려볼 예정입니다!