Llama: AI cục bộ cho trò chuyện và API trên máy tính

Llama.app dùng để làm gì? Giải thích dễ hiểu

Llama.app là trang tải xuống và tài liệu của Llama, ứng dụng miễn phí, mã nguồn mở để chạy mô hình ngôn ngữ trên máy tính của bạn. Bạn tải một mô hình rồi trò chuyện trong trình duyệt hoặc cho ứng dụng khác sử dụng qua API cục bộ. Trang chính thức giới thiệu dự án của nhóm llama.cpp và Hugging Face.

Công cụ phù hợp với người muốn viết và phân tích nội dung bằng AI cục bộ, cũng như lập trình viên cần cung cấp mô hình cho trình soạn thảo hoặc tác nhân. Khả năng xử lý và chất lượng trả lời phụ thuộc vào mô hình đã chọn.

Chọn mô hình vừa với bộ nhớ máy

Kích thước mô hình và độ dài ngữ cảnh cùng sử dụng bộ nhớ. Tải được tệp không có nghĩa mọi cuộc hội thoại dài đều chạy nhanh.

Llama đề xuất mô hình theo phần cứng và tự cấu hình tham số. Xem khuyến nghị riêng trong danh mục mô hình, thay vì coi một con số RAM là yêu cầu chung. Hãy thử với câu hỏi tiếng Việt và dữ liệu thực tế trước khi chọn mô hình dùng lâu dài.

Mô hình nằm trong bộ nhớ đệm Hugging Face dùng chung với công cụ khác và được giải phóng khỏi RAM khi không hoạt động. Dung lượng tải nhỏ của ứng dụng Mac không bao gồm trọng số mô hình; cần tính thêm dung lượng đĩa.

Cài AI cục bộ và bắt đầu cuộc trò chuyện đầu tiên

Tải ứng dụng cho Mac hoặc Windows 11 rồi mở lên. Trên Mac cũng có thể dùng brew install --cask llama-app.

Mở biểu tượng trên thanh menu hoặc khay hệ thống, bấm mũi tên tải cạnh mô hình được đề xuất. Sau khi tải xong, chọn mô hình, đặt cửa sổ ngữ cảnh phù hợp với bộ nhớ và mở chat. Gửi một câu hỏi ngắn để kiểm tra trước khi thực hiện tác vụ chính.

Hướng dẫn bắt đầu trình bày quy trình này. Với Linux, trang web cung cấp cách cài bằng dòng lệnh.

Hỏi về tệp và sử dụng lại hội thoại

Giao diện web nhận ảnh và PDF với mô hình có khả năng thị giác, hoặc MP3/WAV với mô hình hỗ trợ âm thanh. Mô hình chỉ xử lý văn bản không tự có thêm khả năng đọc ảnh.

Đính kèm tệp được hỗ trợ, yêu cầu kết quả cụ thể như trích ngày tháng hoặc tóm tắt một phần, rồi đối chiếu với bản gốc. Tìm kiếm hội thoại, tạo nhánh và nhập/xuất JSON giúp quay lại hoặc lưu công việc.

Kết nối trình soạn thảo và tác nhân với API cục bộ

Đặt địa chỉ cơ sở của ứng dụng tương thích thành http://localhost:9931/v1. Dùng GET /v1/models để lấy ID mô hình thực tế trước khi cấu hình.

Tài liệu API mô tả trả lời dạng luồng, đầu ra có cấu trúc, gọi công cụ và endpoint Messages tương thích Anthropic. Llama phục vụ mô hình, còn chương trình tác nhân riêng quản lý công cụ và hành động. Cần kiểm tra cả khả năng của mô hình lẫn ứng dụng khách trên tác vụ bạn định làm.

Miễn phí, ngoại tuyến và giới hạn riêng tư

Kiểm tra ngày 27 tháng 10 năm 2026: ứng dụng miễn phí và trang chính thức không quảng bá phí theo token cho API cục bộ. Bạn vẫn cung cấp phần cứng, lưu trữ và điện năng. Giấy phép MIT của ứng dụng không thay thế giấy phép từng mô hình; cần xem riêng điều kiện thương mại.

Suy luận cục bộ có thể chạy ngoại tuyến sau khi tải đủ tệp. Cập nhật và công cụ bên ngoài có thể cần mạng. Kho Windows tuyên bố không gửi dữ liệu đo lường sử dụng. Máy chủ mặc định chỉ truy cập từ chính máy tính; bật truy cập mạng sẽ thay đổi phạm vi này. Ứng dụng kết nối cũng có cách xử lý dữ liệu riêng.

Câu hỏi thường gặp

Có cần đăng ký gói trả phí không?

Hiện ứng dụng được cung cấp miễn phí. Dịch vụ bên ngoài có thể tính phí riêng.

Có dùng được khi mất mạng không?

Có, đối với suy luận cục bộ khi phần mềm và mô hình đã sẵn sàng. Công cụ trực tuyến là phần riêng.

Cần bao nhiêu RAM?

Tùy mô hình và ngữ cảnh. Hãy bắt đầu từ đề xuất dành cho máy của bạn.

Tác nhân có giữ mọi dữ liệu trên máy không?

Không thể kết luận chỉ từ mô hình cục bộ. Cần xem ứng dụng khách, công cụ và kết nối mạng.

Tài liệu chính thức và cộng đồng

• Hướng dẫn giao diện web: tệp đính kèm và quản lý hội thoại.
• Kết nối tác nhân: cấu hình ứng dụng khách.
• Kho Mac và kho Windows: mã nguồn, phiên bản và báo lỗi.