BroadRouter
Bắt đầu

Gửi dữ liệu nhạy cảm tới API LLM: che, tối thiểu hóa, ghi log ít

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

Để gửi dữ liệu nhạy cảm tới API LLM, trước hết hãy xác định tác vụ cần trường nào và bỏ phần còn lại. Thay tên, số và ID bằng placeholder đảo ngược được trước request, rồi khôi phục trong code của bạn. Dùng nhà cung cấp không lưu giữ dữ liệu, không ghi nội dung prompt vào log, và khóa API key vào server của bạn.

The word "PRIVATE" in bold letters, with the text "Control what AI sees." and "LSDF by BroadNet".

Bot chăm sóc khách hàng đọc khiếu nại có tên và mã đơn hàng. Pipeline tổng đài gửi bản chép lời có số thẻ. Ứng dụng sức khỏe gửi triệu chứng. Tất cả đều hữu ích cho model, và tất cả đều là dữ liệu nhạy cảm ngay khi rời khỏi server của bạn.

OWASP xếp tiết lộ thông tin nhạy cảm là LLM02 trong Top 10 năm 2025 cho ứng dụng LLM. Phần lớn hướng dẫn tập trung vào những gì model có thể để lộ. Bài này tập trung vào phần bạn kiểm soát: bạn gửi gì, và bạn giữ lại gì.

Với API LLM, thế nào là dữ liệu nhạy cảm?

Hãy chia các trường thành ba nhóm trước khi viết prompt:

Nhóm Ví dụ Quy tắc mặc định
Định danh trực tiếp Tên, email, số điện thoại, số căn cước, số tài khoản Thay bằng placeholder
Đặc biệt hoặc chịu quản lý Sức khỏe, sinh trắc học, tôn giáo, số thẻ, thông tin đăng nhập Không gửi trừ khi tác vụ cần và bạn có cơ sở pháp lý
Ngữ cảnh Tên sản phẩm, loại vấn đề, ngày tháng, số tiền Thường gửi được

Theo GDPR, các loại dữ liệu đặc biệt (Điều 9) cần một điều kiện cụ thể trước khi được xử lý. Dữ liệu thẻ và các bí mật như mật khẩu hay API key tuyệt đối không được đưa vào prompt.

Bước 1: tác vụ thực sự cần những trường nào?

Cách che tốt nhất là không gửi trường đó. Hãy hỏi tác vụ cần gì:

  1. Tóm tắt một ticket? Model cần nội dung khiếu nại, không cần địa chỉ khách hàng.
  2. Phân loại ý định? Nó cần nội dung tin nhắn, không cần ID tài khoản.
  3. Soạn thư trả lời? Nhiều nhất là cần tên gọi, và một placeholder là đủ.

Hãy dựng prompt từ các trường được chọn, đừng đổ cả bản ghi dưới dạng JSON. Cách này còn giảm token input, nên tiết kiệm tiền.

Bước 2: che thế nào để model vẫn hiểu văn bản?

Thay mỗi giá trị bằng một placeholder có loại và số thứ tự. Model giữ nguyên cấu trúc câu, còn code của bạn khôi phục giá trị sau đó.

import os, re
from openai import OpenAI

PATTERNS = {   # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
    "EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
    "IBAN":  r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
    "PHONE": r"\+?\d[\d\s-]{7,}\d",
}

def redact(text):
    mapping, n = {}, {}
    for kind, pat in PATTERNS.items():
        def sub(m):
            n[kind] = n.get(kind, 0) + 1
            key = f"[{kind}_{n[kind]}]"
            mapping[key] = m.group(0)
            return key
        text = re.sub(pat, sub, text)
    return text, mapping

def restore(text, mapping):
    for key, value in mapping.items():
        text = text.replace(key, value)
    return text

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.

ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    messages=[
        {"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
        {"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
    ],
).choices[0].message.content
print(restore(reply, mapping))   # the mapping never left your server

Biểu thức chính quy bắt được các giá trị có cấu trúc. Tên và địa chỉ cần nhận dạng thực thể. Các công cụ mã nguồn mở như Microsoft Presidio kết hợp mẫu, checksum và model nhận dạng thực thể có tên, và cho phép bạn thêm bộ nhận dạng riêng. Hãy test mọi bộ phát hiện trên dữ liệu của chính bạn: tên tiếng Ả Rập, định dạng số điện thoại vùng Vịnh và văn bản trộn nhiều hệ chữ là những chỗ bộ phát hiện chung chung hay bỏ sót.

Nếu muốn chạy một proxy thay vì tự viết phần che, BroadNet có công bố một proxy mã nguồn mở: LLM Sensitive Data Firewall (LSDF), giấy phép Apache-2.0. Nó đứng trước bất kỳ endpoint tương thích OpenAI nào, kể cả các model BroadNet không host, và theo BroadNet, nó kiểm tra request, phản hồi, các chunk streaming, tham số tool call khi streaming, context truy xuất được và trường suy luận, cùng một bộ làm sạch riêng cho trace và log. Trong đánh giá tháng 5/2026 của BroadNet trên các bộ dữ liệu của chính họ, bộ phát hiện PII diện rộng đạt recall 1,000 trên 40 ca phát lại thông tin đăng nhập, 0,944 trên dữ liệu lâm sàng tổng hợp và 0,685 trên PII tiếng Anh diện rộng, so với 0,194, 0,056 và 0,326 khi chỉ dùng Microsoft Presidio (bài viết của BroadNet). Đó là số liệu BroadNet đưa ra cho công cụ của chính họ; hãy chạy profile monitor trên traffic của bạn trước khi áp dụng chặn.

Hai quy tắc cho placeholder:

  • Giữ nhất quán trong một cuộc hội thoại, để [NAME_1] là cùng một người ở mọi lượt.
  • Bảo model giữ nguyên chúng, như trong system prompt ở trên.

Bước 3: dữ liệu đi đâu ở phía nhà cung cấp?

Che dữ liệu giảm những gì đi ra ngoài. Phần tiếp theo do nhà cung cấp quyết định. Hãy hỏi:

  • Nội dung có được lưu sau request không, và lưu bao lâu?
  • Có được dùng để huấn luyện không, và mặc định là gì?
  • Ai vận hành phần cứng, và ở đâu?

Câu trả lời của các nhà cung cấp rất khác nhau. Xem so sánh chính sách lưu giữ dữ liệu của API LLM để có nguyên văn chính thức từ năm nhà cung cấp, checklist ZDR cho các câu hỏi kỹ thuật, và checklist GDPR cho phần hợp đồng.

Bước 4: làm sao để prompt không nằm trong log của chính bạn?

Chính hệ thống của bạn là nơi prompt hay bị lưu lại nhất. Các điểm rò rỉ thường gặp:

  • Debug log của HTTP client in ra body của request.
  • SDK tracing và observability mặc định ghi lại toàn bộ prompt.
  • Công cụ báo lỗi đính kèm payload của request bị lỗi.
  • Sự kiện analytics chứa tin nhắn của người dùng.
  • Hàng đợi retry và dead-letter queue lưu nguyên request.

Thay vào đó, hãy ghi: request ID, model, số token prompt và completion, độ trễ, mã trạng thái và ID ánh xạ che dữ liệu của bạn (không bao giờ ghi chính bảng ánh xạ). Bấy nhiêu là đủ để debug chi phí và lỗi. Bài về ghi log mức sử dụng có một wrapper ghi đúng các trường này và tính chi phí cho mỗi lệnh gọi.

Bước 5: bảo vệ đường đi tới API thế nào?

  • Giữ key trên server, không bao giờ đặt trong code trình duyệt hay mobile. Bảo mật API key cho LLM nói về lưu trữ và xoay vòng key.
  • Khóa key vào địa chỉ IP đi ra của bạn bằng danh sách IP cho phép.
  • Dùng một API key cho mỗi dịch vụ, để có thể thu hồi một key mà không làm dừng mọi thứ.

Bước 6: cần kiểm tra gì trong phản hồi?

Che dữ liệu bảo vệ request. Phản hồi cũng cần kiểm tra, vì model có thể lặp lại, đoán hoặc dựng lại giá trị:

  • Tính toàn vẹn của placeholder. Sau restore(), hãy tìm các token còn sót như [PHONE_3] không hề có trong bảng ánh xạ. Chúng nghĩa là model đã tự bịa ra một cái.
  • PII mới trong output. Chạy cùng bộ phát hiện trên phản hồi. Một thư trả lời chứa địa chỉ email bạn chưa từng gửi đáng được xem lại trước khi tới tay khách hàng.
  • Rò rỉ giữa người dùng. Nếu bạn cache phản hồi hoặc chia sẻ trạng thái hội thoại, hãy chắc chắn giá trị đã khôi phục của người này không bao giờ xuất hiện trong thư trả lời cho người khác.

Hãy kiểm tra mọi kênh output, không chỉ câu trả lời chat. Nghiên cứu Safety Map của BroadNet phát hiện giá trị nhạy cảm lọt ra qua tham số tool call trong 20 trên 73 lần chạy có điền tham số đó, và qua trường suy luận trong 29 trên 43 lần chạy có điền trường đó, trong khi câu trả lời hiển thị được đánh giá là an toàn, bị bỏ sót hoặc bị cắt ngắn.

Hãy test toàn bộ vòng lặp trên một bộ cố định gồm 50 ví dụ thật, nhạy cảm, mỗi khi bạn đổi prompt, model hoặc bộ phát hiện. Hãy đếm giá trị bị bỏ sót, không chỉ giá trị bắt được: một số thẻ bị lọt quan trọng hơn cả trăm placeholder đúng.

Âm thanh nhạy cảm có cần xử lý tương tự không?

Một tin nhắn thoại có thể chứa tên, số điện thoại và thông tin sức khỏe chỉ trong mười giây. Bản chép lời thừa hưởng tất cả. Hãy che bản chép lời trước khi gửi nó tới LLM để tóm tắt, và chỉ giữ âm thanh gốc trong thời gian bắt buộc. Pipeline chép lời cho tổng đài của chúng tôi cho thấy bước che nằm giữa bước chép lời và bước tóm tắt.

BroadNet Inference phù hợp ở đâu

Tuyên bố quyền riêng tư của BroadNet cho biết gateway của họ “keeps no prompts, messages, images, audio, responses or transcripts” (bản dịch: không giữ prompt, tin nhắn, hình ảnh, âm thanh, phản hồi hay bản chép lời) và không dùng dữ liệu inference “to train, fine-tune or evaluate models” (bản dịch: để huấn luyện, fine-tune hay đánh giá model). BroadNet giữ các bản ghi không chứa nội dung như thời gian xử lý, số token và chi phí; danh sách đầy đủ có trên trang không lưu giữ dữ liệu. Key có thể giới hạn theo địa chỉ IP của bạn. Qwen3.8 27B, model dùng trong ví dụ trên, đã được BroadNet test bằng tiếng Ả Rập, điều quan trọng khi placeholder của bạn nằm trong văn bản tiếng Ả Rập.

Đó là phần việc phía nhà cung cấp. Nó không che dữ liệu giúp bạn, và không dọn log cho bạn. Bước 1, 2 và 4 vẫn là việc của bạn với bất kỳ nhà cung cấp nào, kể cả BroadNet. Nếu bạn cần DPA bằng văn bản hoặc danh sách bên xử lý phụ cho dữ liệu chịu quản lý, hãy hỏi BroadNet trước khi gửi; tuyên bố cho biết danh sách bên xử lý phụ được cung cấp khi có yêu cầu.

Câu hỏi thường gặp

Gửi PII tới API LLM có an toàn không?

Có thể, nếu có biện pháp kiểm soát: hợp đồng với nhà cung cấp, chính sách lưu giữ và huấn luyện rõ ràng, tối thiểu hóa và che dữ liệu trước request, và log sạch phía bạn. Nếu thiếu những thứ đó, đừng gửi PII thô.

Có nên che dữ liệu trước khi gửi tới ChatGPT hay API LLM khác không?

Hãy che mọi thứ tác vụ không cần. Với tóm tắt, phân loại và soạn thảo, tên và số thường có thể thay bằng placeholder mà không giảm chất lượng, rồi khôi phục sau khi có phản hồi.

Che dữ liệu (redaction) và giả danh hóa (pseudonymisation) khác nhau thế nào?

Che dữ liệu xóa vĩnh viễn một giá trị. Giả danh hóa thay giá trị bằng placeholder mà bạn có thể ánh xạ ngược bằng một khóa do bạn giữ. Theo GDPR, dữ liệu đã giả danh hóa vẫn là dữ liệu cá nhân, nên vẫn cần bảo vệ.

Không lưu giữ dữ liệu có nghĩa là gửi gì cũng được không?

Không. Không lưu giữ dữ liệu nghĩa là nhà cung cấp không giữ nội dung sau request. Dữ liệu vẫn rời khỏi hệ thống của bạn và được nhà cung cấp xử lý, nên vẫn cần tối thiểu hóa và kiểm tra pháp lý.

Làm sao để prompt không xuất hiện trong log của chính tôi?

Ghi log request ID, model, số token, độ trễ và trạng thái, không bao giờ ghi nội dung message. Hãy kiểm tra debug log của HTTP client, SDK tracing và công cụ báo lỗi, vì chúng thường mặc định ghi lại body của request.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity