Cuộc chạy đua vũ trang AI local không nằm ở tốc độ xung nhịp CPU hay số nhân xử lý. Nó nằm ở bộ nhớ. Nhưng không phải mọi loại bộ nhớ đều bình đẳng. Khi người dùng phổ thông cố gắng nhồi nhét 128GB RAM DDR4 vào một chiếc máy tính cũ với hy vọng chạy được Llama 3, họ thường va phải một thực tế phũ phàng: mô hình chạy chậm như rùa bò. Tại sao 12GB VRAM trên một chiếc card đồ họa tầm trung lại có thể đè bẹp 128GB RAM hệ thống? Câu trả lời nằm ở một từ khóa duy nhất: Băng thông.
Nghịch lý bộ nhớ: Tại sao 128GB RAM vẫn thua 12GB VRAM?
Trong xử lý ngôn ngữ lớn (LLM), mỗi khi một token được tạo ra, GPU hoặc CPU phải đọc lại toàn bộ trọng số (weights) của mô hình từ bộ nhớ. Đây là cơ chế "Memory Bound" - nơi tốc độ tính toán của chip nhanh hơn gấp nhiều lần tốc độ cung cấp dữ liệu của bộ nhớ. Theo Massedcompute, băng thông của RAM DDR4 tiêu chuẩn chỉ dao động từ 20-50 GB/s, trong khi VRAM GDDR6 trên các dòng card đồ họa dân dụng dễ dàng đạt ngưỡng 500-1000 GB/s. Thậm chí, các dòng GPU doanh nghiệp sử dụng bộ nhớ HBM3 có thể chạm mốc 4.800 GB/s.
Sự khác biệt này dẫn đến một hố sâu về hiệu năng. Một mô hình 70B (70 tỷ tham số) ở định dạng nén 4-bit nặng khoảng 40GB. Để tạo ra một từ duy nhất, hệ thống phải "quét" qua toàn bộ 40GB dữ liệu này. Với RAM hệ thống (50 GB/s), tốc độ lý thuyết chỉ đạt chưa đầy 1 token mỗi giây. Ngược lại, một chiếc RTX 4090 với băng thông gần 1.000 GB/s có thể xử lý cùng mô hình đó với tốc độ 15-20 tokens/giây. Như Bentoml đã khẳng định: "Suy luận LLM gần như hoàn toàn bị giới hạn bởi băng thông bộ nhớ".
Tuy nhiên, RAM hệ thống có một lợi thế tuyệt đối: Giá rẻ và dung lượng khổng lồ. Bạn có thể lắp 128GB hoặc thậm chí 256GB RAM vào một bo mạch chủ dân dụng với chi phí chỉ bằng một phần nhỏ so với việc mua GPU có dung lượng tương đương. Điều này tạo ra một kịch bản tranh luận: Tốc độ hay Dung lượng? Nếu muốn chạy các mô hình siêu lớn (120B+) để nghiên cứu mà không quan tâm đến việc phải chờ đợi vài giây cho mỗi từ, RAM là cứu cánh duy nhất. Nhưng nếu muốn tương tác thời gian thực, VRAM là bắt buộc.
Thiết bị "rẻ nhất" để chạy Local AI: 3 kịch bản thực chiến
Tìm kiếm phần cứng AI giá rẻ trong năm 2026 yêu cầu một tư duy "thợ săn". Không có thiết bị hoàn hảo cho mọi nhu cầu, chỉ có thiết bị tối ưu cho kích thước mô hình bạn chọn.
Kịch bản 1: Entry-level "không drama" với RTX 3060 12GB
Đây là điểm khởi đầu rẻ nhất và ổn định nhất cho bất kỳ ai muốn bước chân vào thế giới AI. Với mức giá đồ cũ chỉ khoảng 180-220 USD, RTX 3060 12GB cung cấp đủ VRAM để chạy các mô hình 7B và 8B (như Llama 3.1 hoặc Mistral) ở tốc độ cực cao, lên tới 45 tokens/giây. Theo Hardware-corner, kiến trúc Ampere trên dòng card này hỗ trợ đầy đủ các thư viện hiện đại như Flash Attention 2 và định dạng BF16, giúp việc cài đặt trở nên dễ dàng ("Plug and Play"). Đây là lựa chọn cho những người ưu tiên sự ổn định và tốc độ cho các tác vụ cơ bản.
Kịch bản 2: "Quái vật" đồ cổ Tesla P40 - 24GB VRAM giá 150 USD
Đối với những người dùng có ngân sách thắt chặt nhưng khao khát chạy các mô hình lớn (30B-70B), Tesla P40 là một "huyền thoại" hồi sinh. Với 24GB VRAM nhưng mức giá chỉ ngang một chiếc ổ cứng SSD cao cấp, P40 cho phép chạy các mô hình mà RTX 3060 không thể chạm tới.
Tuy nhiên, "của rẻ là của ôi" nếu bạn không biết cách thuần phục. Tinycomputers cảnh báo rằng P40 sử dụng kiến trúc Pascal cũ kỹ, không có Tensor Cores, dẫn đến việc xử lý các phép toán FP16/BF16 cực kỳ chậm. Người dùng bắt buộc phải sử dụng định dạng GGUF thông qua llama.cpp để tận dụng tối đa phần cứng này. Ngoài ra, việc thiếu quạt tản nhiệt (vốn thiết kế cho server) đòi hỏi người dùng phải tự chế hệ thống tản nhiệt bằng quạt thổi hoặc in 3D ống dẫn khí. Đây là lựa chọn dành cho những "vibe coder" thích vọc vạch và chấp nhận tiếng ồn để đổi lấy dung lượng bộ nhớ.
Kịch bản 3: Mac Mini M4 - Cứu cánh cho những mô hình khổng lồ
Trong năm 2026, Apple đã chứng minh rằng kiến trúc Unified Memory (Bộ nhớ thống nhất) là một giải pháp thay thế GPU rời đầy quyền năng. Chiếc Mac Mini M4 Pro với 64GB RAM thống nhất có thể cho phép GPU truy cập gần như toàn bộ dung lượng này để chạy AI. Với băng thông lên tới 273 GB/s, M4 Pro đạt tốc độ 11-18 tokens/giây trên các mô hình 32B - một con số cực kỳ ấn tượng so với kích thước nhỏ gọn và mức tiêu thụ điện chỉ khoảng 50W.
Nghiên cứu từ Vminstall chỉ ra rằng mặc dù Mac Mini có giá khởi điểm cao hơn (khoảng 1.100 - 1.600 USD), nhưng nó lại là thiết bị "tất cả trong một" hiệu quả nhất. Không cần cấu hình phức tạp, không cần bộ nguồn 1000W, và cực kỳ yên tĩnh. Đối với các nhà phát triển cần chạy model 70B ở mức độ "đủ dùng" mà không muốn biến phòng làm việc thành một lò sưởi, Mac Mini M4 là lựa chọn hàng đầu.
Phân biệt Fact và Opinion: Khi nào nên chọn RAM lớn?
Có một luồng quan điểm cho rằng: "Chỉ cần dùng kỹ thuật offloading là có thể chạy model lớn trên máy yếu". Thực tế (Fact) là bạn có thể đẩy một phần mô hình từ VRAM sang RAM hệ thống để chạy, nhưng tốc độ sẽ bị kéo tụt xuống mức của linh kiện chậm nhất. Theo các báo cáo trên Reddit/LocalLLaMA, việc offload chỉ 10% model sang RAM DDR4 có thể khiến tốc độ inference giảm đi 5-10 lần.
Ý kiến (Opinion) cho rằng việc đầu tư vào RAM hệ thống dung lượng cao là lãng phí cho AI là không hoàn toàn chính xác. Trong các tác vụ như RAG (Retrieval-Augmented Generation) - nơi cần lưu trữ hàng triệu vector trong bộ nhớ để truy xuất dữ liệu - RAM hệ thống lại đóng vai trò quan trọng hơn VRAM.
Tóm lại, nếu mục tiêu là chạy các mô hình 8B-14B để chat hoặc code, hãy chọn RTX 3060 12GB. Nếu ngân sách tối thiểu nhưng muốn trải nghiệm mô hình 70B, hãy tìm mua Tesla P40 và chấp nhận vọc vạch. Và nếu bạn cần một cỗ máy chuyên nghiệp, ổn định để chạy các mô hình trung bình đến lớn (32B-70B), Mac Mini M4 Pro chính là "món hời" công nghệ của năm 2026. Đừng nhìn vào dung lượng, hãy nhìn vào băng thông trước khi rút hầu bao.