VAD trả lời một câu hỏi nhiều lần mỗi giây: trong lát audio này có ai đang nói không?
Cách hoạt động
Audio được cắt thành các khung ngắn và mỗi khung được gắn nhãn có tiếng nói hoặc không. Hai bộ phát hiện mở được dùng nhiều nhất cho thấy các tham số điển hình:
| WebRTC VAD | Silero VAD | |
|---|---|---|
| Loại | bộ phát hiện cổ điển từ dự án WebRTC của Google | model neural huấn luyện sẵn, giấy phép MIT |
| Tần số lấy mẫu | 8, 16, 32 hoặc 48 kHz | 8 hoặc 16 kHz |
| Khung hoặc đoạn | 10, 20 hoặc 30 ms | 30+ ms |
| Định dạng audio | chỉ PCM mono 16-bit | theo tài liệu trong repo |
| Tinh chỉnh | aggressiveness từ 0 (lọc ít nhất) đến 3 (nhiều nhất) | xem ví dụ trong repo |
| Tốc độ | code C nhỏ gọn | dưới 1 ms mỗi đoạn trên một luồng CPU; model khoảng 2 MB |
Kích thước khung và tần số lấy mẫu gắn liền với nhau. Ở 16.000 mẫu mỗi giây, một khung 30 ms là 16.000 x 0,030 = 480 mẫu, tức 960 byte audio 16-bit. Nhãn thô theo từng khung hay nhấp nháy, nên các công cụ làm mượt chúng: cần vài trăm mili giây tiếng nói mới mở một đoạn, và cần một khoảng lặng mới đóng đoạn đó lại.
Các API được host cũng dùng ý tưởng này. Hướng dẫn speech-to-text của OpenAI cho phép đặt chunking_strategy thành auto hoặc một cấu hình VAD với audio dài hơn 30 giây cho model diarization của họ; hướng dẫn liệt kê model này là đã ngừng hỗ trợ.
Vì sao quan trọng
- Chi phí. API speech-to-text thường tính tiền theo phút audio. Cắt các khoảng lặng dài trước khi tải lên sẽ giảm số phút bị tính.
- Độ trễ. Tải lên ít audio hơn nghĩa là request nhỏ hơn và ít thứ phải xử lý hơn.
- Giới hạn file. Khi file quá lớn cho một request, tách tại chỗ ngắt thay vì theo mốc thời gian cố định sẽ tránh cắt đôi một từ.
- Voice bot. Việc nhận biết khi nào một lượt nói kết thúc quyết định bot trả lời nhanh đến đâu.
VAD cũng là bước đầu tiên của speaker diarization.
Trên BroadNet Inference
Tài liệu của BroadNet không mô tả thiết lập VAD hay tùy chọn cắt khoảng lặng nào cho /v1/audio/transcriptions. Bạn tải lên WAV hoặc MP3 tối đa 26.214.400 byte và nhận lại {"text": ...}. Nếu audio có nhiều khoảng trống dài, như tin nhắn thoại và bản ghi cuộc gọi thường có, hãy chạy WebRTC VAD hoặc Silero VAD ở máy của bạn, giữ các đoạn có tiếng nói và gửi những đoạn đó. Hướng dẫn chép lời tin nhắn thoại WhatsApp có lệnh ffmpeg chuyển sang 16 kHz mono mà cả hai bộ phát hiện đều chấp nhận. Chép lời được tính giá theo phút, $0.0042 trên BroadNet Transcribe Arabic; công cụ tính chi phí speech-to-text cho thấy số phút được cắt bớt tiết kiệm bao nhiêu.