B2Shift · Đã xuất bản 27 tháng 8, 2026 · Đã cập nhật 27 tháng 8, 2026

Một tác nhân AI có thể thực hiện các hành động — không chỉ tạo văn bản — kế thừa các yêu cầu bảo mật của bất kỳ thứ gì nó được kết nối, cộng với một số yêu cầu của chính nó. Hầu hết các sự cố đều liên quan đến quyền truy cập quá rộng chứ không phải bản thân mô hình.

Quyền truy cập có đặc quyền ít nhất là quyền kiểm soát quan trọng nhất

Một tác nhân phải có danh tính riêng và các quyền trong phạm vi riêng của mình, không bao giờ được cấp thông tin xác thực mượn của quản trị viên. Chỉ cấp các hệ thống và lĩnh vực mà nhiệm vụ cụ thể yêu cầu. Mở rộng quyền truy cập sau này là thay đổi cấu hình; việc phát hiện một tác nhân có quyền truy cập không cần thiết sau một năm hoạt động là một vấn đề kiểm tra chứ không phải là cách khắc phục nhanh chóng.

Phân chia hành động theo khả năng đảo ngược chứ không phải theo mức độ ấn tượng của chúng

Việc đọc, soạn thảo, phân loại và định tuyến thường có thể chạy mà không cần giám sát. Gửi tiền, công bố giá, trả lời khiếu nại dưới tên của bạn hoặc xóa hồ sơ xứng đáng được con người phê duyệt - hoặc ít nhất là một khoảng thời gian trì hoãn để một người có thể can thiệp. Đối xử với mọi hành động như nhau sẽ hạn chế quá mức các trường hợp hữu ích hoặc hạn chế dưới mức các trường hợp nguy hiểm.

Giám sát độ lệch, không chỉ thời gian hoạt động

Một tác nhân có thể trực tuyến về mặt kỹ thuật và mắc sai lầm một cách âm thầm: trả lời bằng kiến ​​thức cũ, phân loại sai tỷ lệ yêu cầu ngày càng tăng hoặc vượt ra ngoài phạm vi dự định của nó khi hệ thống ngược dòng thay đổi. Việc giám sát cần theo dõi chất lượng đầu ra và xu hướng tin cậy, không chỉ liệu dịch vụ có đáp ứng hay không.

Đưa ra mọi quyết định có thể tái cấu trúc

Mọi hành động phải ghi lại điều gì đã kích hoạt hành động đó, bối cảnh mà hành động đó sử dụng, điều hành động quyết định, độ tin cậy của hành động đó, liệu con người có chấp thuận hành động đó hay không và kết quả là điều gì đã thay đổi. Top 10 của OWASP dành cho Ứng dụng LLM ghi lại các loại lỗi phổ biến - tác nhân quá mức, xử lý đầu ra không an toàn, chèn nhanh - đáng để bạn kiểm tra lại thiết kế của mình trước khi khởi chạy.

Xử lý sự tự tin là một con đường được thiết kế sẵn, không phải là một suy nghĩ lại

Các trường hợp có độ tin cậy thấp phải có đích đến rõ ràng: một người được nêu tên hoặc hàng đợi đánh giá, không bao giờ được đưa ra dự đoán tốt nhất trong im lặng. Chế độ thất bại mà bạn muốn là "cái này thuộc về con người"; điều bạn đang thiết kế chống lại là "điều này đã xảy ra sai sót và không ai nhận thấy trong ba tuần." Xem Đại lý AI / Nhân viên AI để biết cách đưa tính năng này vào một bản dựng và Cách giữ cho tự động hóa AI an toàn cũng như nhận thức được GDPR về nửa bảo vệ dữ liệu của bức tranh này.

Nguồn

OWASP — Top 10 for Large Language Model Applications

European Data Protection Board — Opinion 28/2024 on AI models

Thảo luận về quy trình làm việc của bạn