LLM API, Bài 1: Mô hình ngôn ngữ nhìn từ phía API

Token, cửa sổ ngữ cảnh, không trạng thái và nhiệt độ - bốn thứ quyết định mọi lời gọi.

14 phút đọc

4 câu quiz

Chưa bắt đầu

Điều kiện hoàn thành & nhận XP

Đọc hết 100% nội dung bài
Hoàn thành "Kiểm tra nhanh" (0/4 câu)

Vì sao bài này quan trọng

Từ phía giao diện chat, mô hình có vẻ nhớ bạn và đọc chữ như người. Từ phía API thì khác: nó đếm token, quên sạch sau mỗi lời gọi, và trả lời ngẫu nhiên có kiểm soát. Không nắm bốn điều này, bạn sẽ thiết kế sai từ chỗ lưu lịch sử tới chỗ tính tiền.

Bắt đầu bằng một câu hỏi

Người dùng chat 20 lượt với bot của bạn. Ở lượt 21, ứng dụng gửi lên API những gì để mô hình còn nhớ ngữ cảnh?

Chặng này dạy bạn gọi mô hình ngôn ngữ lớn (LLM) từ mã như một kỹ sư: mỗi lời gọi tốn bao nhiêu, chậm bao lâu, hỏng ra sao. Bài đầu đặt nền: mô hình trông thế nào từ phía API.

Token: đơn vị của mọi thứ

Mô hình đọc token - mẩu văn bản do bộ tách từ cắt ra, có khi cả từ, có khi một phần từ. Tiếng Việt có dấu thường tốn nhiều token hơn tiếng Anh. Cửa sổ ngữ cảnh, max tokens và giá đều tính bằng token, nên ước lượng bằng token chứ không bằng từ; số chính xác nằm ở trường usage trong phản hồi.

Không trạng thái: lịch sử là việc của bạn

JavaScript

const SYSTEM = 400;
const MOI_TIN = 60;
let tongVao = 0;

for (let luot = 1; luot <= 30; luot++) {
  // lịch sử: (luot - 1) cặp hỏi-đáp trước đó, cộng câu hỏi mới
  const vao = SYSTEM + (luot - 1) * 2 * MOI_TIN + MOI_TIN;
  tongVao += vao;
  if (luot === 1 || luot === 10 || luot === 30) {
    console.log("Lượt " + luot + ": " + vao + " token vào");
  }
}
console.log("Cả hội thoại: " + tongVao + " token vào");

Token vào mỗi lượt khi gửi lại cả lịch sử (giả định: 60 token mỗi tin, system prompt 400)

Mô hình không nhớ gì, nên lượt 30 mang theo cả 29 lượt trước và tốn gấp khoảng mười lần lượt 1.

Ba tham số hay bị hiểu lầm

Chạm hoặc di chuột vào từng dòng

Cửa sổ ngữ cảnhContext window: Trần token vào + ra của một lời gọi. Hiểu lầm hay gặp: nghĩ là chỉ giới hạn đầu vào.
Max tokensMax tokens: Trần token đầu ra của lời gọi này. Hiểu lầm hay gặp: nghĩ là độ dài mô hình sẽ viết.
Nhiệt độTemperature: Độ ngẫu nhiên khi lấy mẫu token: thấp thì ổn định hơn, không đúng hơn. Hiểu lầm hay gặp: nghĩ nhiệt độ 0 thì không bịa.

Sắp chạm trần thì làm gì

Giữ vài lượt gần nhất, tóm tắt phần cũ. Đừng tăng max tokens - nó chỉ nới phần đầu ra và ăn thêm chỗ của lịch sử.

Bài tập·JavaScript·Không bắt buộc

Cửa sổ trượt cho lịch sử hội thoại

Mô hình không nhớ gì nên mỗi lượt bạn gửi lại lịch sử. Ngân sách đầu vào là 1.000 token, system prompt tốn 400. Mã dưới đang gửi lại cả 8 tin nên vượt ngân sách. Sửa để giữ các tin MỚI nhất cho tới khi hết chỗ (không được cắt đôi một tin), rồi in số tin giữ lại và tổng token vào.

Sửa mã bên dưới, bấm Chạy và kiểm tra. Chấm theo kết quả in ra - viết cách nào cũng được.

Kết quả cần in ra

Giữ 6/8 tin, 930 token vào
Trong ngân sách: có

Mã của bạn

const SYSTEM = 400;
const NGAN_SACH = 1000;
const tin = [120, 90, 60, 150, 80, 70, 110, 60]; // token từng tin, cũ -> mới

let giu = tin.slice(); // đang giữ tất cả

const tong = SYSTEM + giu.reduce((s, x) => s + x, 0);
console.log("Giữ " + giu.length + "/" + tin.length + " tin, " + tong + " token vào");
console.log("Trong ngân sách: " + (tong <= NGAN_SACH ? "có" : "không"));

Ctrl/⌘ + Enter để chạy

Dừng & Kiểm tra

Điểm giữa bài

Vì sao chi phí mỗi lượt chat tăng dần khi hội thoại dài ra?

Từ phía API, mô hình là một hàm: token vào, token ra, không nhớ gì.

Bài sau: cấu trúc một lời gọi, từng trường một.

Sơ đồ trực quan

01Văn bản được tách thành token

02Lịch sử + câu hỏi mới gửi trong một lời gọi

03Mô hình sinh token ra, lấy mẫu theo nhiệt độ

04Ứng dụng tự lưu lịch sử cho lượt sau

Ví dụ thực tế · Bot chăm sóc khách hàng nội bộ

Một nhóm thấy chi phí mỗi hội thoại tăng dần theo số lượt dù câu hỏi ngắn. Nguyên nhân: mỗi lượt gửi lại toàn bộ lịch sử, nên lượt thứ 30 mang theo 29 lượt trước. Họ chuyển sang giữ 6 lượt gần nhất cộng một bản tóm tắt phần cũ, và chi phí mỗi lượt thôi tăng theo độ dài hội thoại.

LLM API, Bài 1: Mô hình ngôn ngữ nhìn từ phía API

Token: đơn vị của mọi thứ

Không trạng thái: lịch sử là việc của bạn

Dừng & Kiểm tra

Góp ý bài học