Llama: 내 컴퓨터에서 쓰는 로컬 LLM과 API

Llama.app은 무엇을 하는 서비스인가요?

Llama.app은 언어 모델을 내 컴퓨터에서 실행하는 무료 오픈 소스 앱 Llama의 다운로드 및 문서 사이트입니다. 모델을 내려받아 브라우저에서 대화하거나 로컬 API를 통해 다른 앱이 사용하도록 연결할 수 있습니다. 공식 사이트는 llama.cpp 팀과 Hugging Face의 프로젝트로 소개합니다.

글쓰기와 콘텐츠 분석을 로컬로 처리하려는 사용자, 편집기나 에이전트에 자체 모델을 연결하려는 개발자에게 유용합니다. 모델의 실행과 연결은 앱이 관리하며, 답변 품질과 입력 방식은 선택한 모델에 따라 달라집니다.

컴퓨터 메모리와 작업에 맞는 모델 고르기

모델 크기와 대화의 컨텍스트 길이는 함께 메모리를 사용합니다. 모델 파일을 저장할 공간이 있다는 사실만으로 긴 문서도 빠르게 처리할 수 있다고 판단하면 안 됩니다.

Llama는 하드웨어에 맞는 모델을 추천하고 실행 설정을 자동 구성합니다. 공식 모델 목록의 메모리 안내는 모델별 권장 사항입니다. 모든 모델에 동일하게 적용되는 최소 RAM 수치가 아닙니다. 실제 한국어 질문이나 작업 자료로 먼저 결과를 확인하는 편이 좋습니다.

모델은 다른 도구와 공유하는 Hugging Face 캐시에 저장되며 유휴 상태에서는 메모리에서 내려갑니다. Mac 앱의 작은 다운로드 용량에는 별도로 받는 모델 가중치가 포함되지 않습니다.

로컬 LLM 설치부터 첫 대화까지

1. Mac 앱 또는 Windows 11 앱을 내려받아 실행합니다. Mac에서는 brew install --cask llama-app도 사용할 수 있습니다.
2. 메뉴 막대나 시스템 트레이 아이콘을 열고 추천 모델 옆의 다운로드 화살표를 누릅니다.
3. 다운로드된 모델을 선택하고 메모리와 대화 길이에 맞는 컨텍스트 창을 설정한 뒤 채팅을 엽니다.
4. 짧은 질문으로 정상 응답을 확인하고 실제 작업으로 넘어갑니다.

공식 시작 안내에 절차가 나와 있습니다. Linux에는 명령줄 설치 경로가 제공됩니다.

편집기와 에이전트를 로컬 API에 연결하기

호환 클라이언트의 기본 주소를 http://localhost:9931/v1로 설정합니다. GET /v1/models로 실제 모델 ID를 조회한 뒤 클라이언트에서 지정하세요.

API 문서는 스트리밍, 구조화 출력, 도구 호출과 Anthropic 호환 Messages 엔드포인트를 설명합니다. 코딩 에이전트 구성에서 Llama는 모델을 제공하고, 별도로 실행하는 에이전트가 도구와 동작을 관리합니다. API 형식이 맞는 것과 해당 모델이 작업을 잘 수행하는 것은 각각 확인해야 합니다.

파일을 질문하고 대화 기록 활용하기

웹 인터페이스는 시각 모델에 이미지와 PDF를, 오디오 입력 모델에 MP3/WAV를 전달할 수 있습니다. 텍스트 전용 모델에 이미지 이해 기능이 자동으로 생기지는 않습니다.

지원 파일을 첨부하고 날짜 추출이나 특정 범위의 요약처럼 확인 가능한 결과를 요청하세요. 답변은 원문과 비교해야 합니다. 대화 검색, 분기, JSON 가져오기와 내보내기로 이전 작업을 찾거나 보관할 수 있습니다.

무료 사용과 오프라인, 개인정보의 범위

2026년 10월 27일 확인 기준 앱은 무료이며 로컬 API의 토큰 요금제는 공식 사이트에서 안내하지 않습니다. 하드웨어, 저장 공간과 전력은 사용자가 제공합니다. 앱의 MIT 라이선스가 각 모델의 사용 조건까지 대체하지 않으므로 상업적 이용은 모델별로 확인해야 합니다.

필요한 파일을 받은 뒤에는 로컬 추론을 오프라인으로 실행할 수 있습니다. 업데이트와 외부 도구는 인터넷을 사용할 수 있습니다. Windows 저장소는 원격 측정 데이터를 보내지 않는다고 설명합니다. 서버는 기본적으로 같은 컴퓨터에서만 접근할 수 있으며, 네트워크 공개와 다른 앱의 연결은 데이터 흐름을 바꿉니다.

자주 묻는 질문

유료 구독이 필요한가요?

현재 앱은 무료입니다. 연결한 외부 서비스에는 별도 비용이 있을 수 있습니다.

인터넷 없이 쓸 수 있나요?

프로그램과 모델이 준비되어 있으면 로컬 추론은 가능합니다. 온라인 도구는 별도로 확인해야 합니다.

RAM은 얼마나 필요한가요?

모델과 컨텍스트에 따라 다릅니다. 컴퓨터에 맞춘 추천 모델부터 시작하세요.

로컬 모델이면 에이전트 데이터도 모두 안전한가요?

모델의 위치만으로 모든 데이터 처리를 판단할 수 없습니다. 클라이언트와 도구, 외부 연결도 검토하세요.

공식 자료와 개발자 커뮤니티

• 웹 인터페이스 안내: 첨부 파일과 대화 관리.
• 에이전트 연결 안내: 클라이언트 설정.
• Mac 저장소와 Windows 저장소: 코드, 릴리스와 문제 보고.