LocalGPT: Rust로 만든 27MB 로컬 AI 어시스턴트 [2026]

작성자:

LocalGPT: Rust로 만든 27MB 로컬 AI 어시스턴트

  • GitHub Stars: 280
  • 언어: Rust (93.1%)
  • 라이선스: Apache-2.0

이 프로젝트가 뜨는 이유

LocalGPT는 로컬에서 돌아가는 AI 어시스턴트다. 데이터가 외부로 나가지 않는다. 클라우드 AI의 프라이버시 우려가 커지면서 주목받고 있다.[GitHub]

27MB 단일 바이너리로 Node.js, Docker, Python 없이 작동한다. 개발자가 4일 밤 만에 완성했다는 점도 화제다.[GitHub]

뭘 할 수 있나?

  • 영속적 메모리: MEMORY.md에 장기 기억 저장. SQLite FTS5와 sqlite-vec로 검색한다.
  • 자율 작업: HEARTBEAT.md로 작업 큐를 자동 처리한다.
  • 다양한 인터페이스: CLI, 웹 UI, 데스크톱 GUI, HTTP API 지원.
  • 멀티 LLM: Claude, OpenAI, Ollama 등 여러 프로바이더 연결 가능.

빠른 시작

# 설치
cargo install localgpt

# 대화형 채팅
localgpt chat

# 데몬 모드 (웹 UI + API)
localgpt daemon

어디에 쓰면 좋을까?

민감한 데이터를 다루는 개발자에게 적합하다. 회사 코드를 클라우드에 올리기 꺼려지는 상황에서 유용하다.[GitHub]

개인 지식 관리 도구로도 괜찮다. 마크다운 기반이라 기존 노트와 통합이 쉽다.

주의할 점

  • Rust 빌드 환경(cargo)이 필요하다. 진입 장벽이 있을 수 있다.
  • Stars 280개 초기 프로젝트라 장기 유지보수는 지켜봐야 한다.
  • Ollama면 완전 로컬이지만 Claude/OpenAI 쓰면 API 호출은 외부로 나간다.

자주 묻는 질문 (FAQ)

Q: LocalGPT를 쓰면 데이터가 외부로 안 나가나?

A: 메모리와 검색 데이터는 로컬 SQLite에 저장된다. 다만 LLM으로 Claude나 OpenAI를 쓰면 대화 내용이 해당 서버로 전송된다. 완전한 로컬 실행을 원하면 Ollama 같은 로컬 LLM을 사용해야 한다. 프로바이더 선택에 따라 프라이버시 수준이 달라진다.

Q: 영속적 메모리는 어떻게 작동하나?

A: 마크다운 파일 기반이다. MEMORY.md에 장기 기억, knowledge 디렉토리에 구조화 정보를 저장한다. SQLite FTS5로 키워드 검색, sqlite-vec로 시맨틱 검색을 수행한다. 세션이 바뀌어도 이전 맥락을 자동으로 불러온다.

Q: 기존 AI 도구 대비 장점은?

A: 27MB 단일 바이너리로 의존성 없이 실행 가능하다. cargo install 한 줄이면 된다. 마크다운 메모리는 직접 읽고 편집할 수 있어 투명하다. HEARTBEAT 자율 작업은 다른 로컬 AI 도구에서 보기 드문 기능이다.

이 글이 유용했다면 AI Digester를 구독해주세요.

참고 자료

댓글 남기기