Xây ứng dụng có AI bên trong

Gọi một mô hình ngôn ngữ giống gọi tổng đài không nhớ bạn: mỗi lần gọi phải kể lại từ đầu, và mỗi phút gọi đều tính tiền.

• Lịch sử

  Gọi tổng đài: Kể lại câu chuyện mỗi lần gọi

  Gọi LLM qua API: Gửi lại cả hội thoại mỗi lượt

• Cước

  Gọi tổng đài: Tính theo phút

  Gọi LLM qua API: Tính theo token vào và ra

• Câu trả lời

  Gọi tổng đài: Có khi nói lan man

  Gọi LLM qua API: Yêu cầu JSON theo schema rồi kiểm

Tóm gọn trong một câu

LLM không nhớ gì giữa hai lời gọi - mọi thứ nó biết là thứ bạn gửi lần này.

RAG giống một thủ thư: tìm đúng mấy trang liên quan trước, rồi mới trả lời dựa trên đúng mấy trang đó.

• Xếp sách

  Thủ thư: Chia sách theo chủ đề

  Hệ thống RAG: Chia tài liệu thành đoạn, gắn nguồn và quyền

• Tìm

  Thủ thư: Tra mục lục

  Hệ thống RAG: Tìm đoạn gần nghĩa nhất bằng embedding

• Trả lời

  Thủ thư: Đọc đúng trang rồi mới nói

  Hệ thống RAG: Chỉ dùng đoạn tìm được, trích nguồn

Tóm gọn trong một câu

Tìm đúng trước, trả lời sau - và nói không biết khi không tìm thấy.

Agent là mô hình được cầm công cụ. Evals là bộ đề kiểm tra để biết sửa prompt hôm nay có làm hỏng thứ hôm qua không.

• Công cụ

  Nhân viên mới: Máy tính, điện thoại

  Agent: Hàm bạn khai báo bằng JSON Schema

• Giới hạn

  Nhân viên mới: Không tự ký hợp đồng

  Agent: Số bước tối đa, duyệt trước hành động ghi

• Kiểm tra

  Nhân viên mới: Đánh giá thử việc

  Agent: Bộ câu hỏi vàng chạy mỗi lần đổi prompt

Tóm gọn trong một câu

Mô hình chỉ yêu cầu gọi công cụ - mã của bạn mới là người làm, và evals là người chấm.

Chạy được trên máy bạn mới là nửa đường. Nửa còn lại là phân quyền, giám sát chi phí, và kế hoạch khi nó trả lời sai.

• Dữ liệu

  Bản thử: Vài tài liệu mẫu

  Bản chạy thật: Pipeline nạp và xoá theo nguồn

• Chất lượng

  Bản thử: Thử vài câu

  Bản chạy thật: Eval trong CI và lấy mẫu log

• Sự cố

  Bản thử: Sửa tay

  Bản chạy thật: Công tắc tắt, chuyển người, sổ tay sự cố

Tóm gọn trong một câu

Sản phẩm AI tốt là thứ biết khi nào mình sai và dừng lại đúng lúc.