Sample rate là con số đầu tiên cần kiểm tra khi file audio quá lớn hoặc request phiên âm bị từ chối.
Cách hoạt động
Audio số lưu sóng âm dưới dạng một danh sách số, mỗi mẫu một số. Ở 16.000 Hz có 16.000 số mỗi giây cho mỗi kênh. Ở độ sâu 16-bit, mỗi số chiếm 2 byte. Vì vậy dung lượng WAV không nén là:
bytes per second = sample rate x bytes per sample x channels
16 kHz, 16-bit, mono: 16,000 x 2 x 1 = 32,000 B/s -> x 60 = 1,920,000 B per minute
44.1 kHz, 16-bit, stereo: 44,100 x 2 x 2 = 176,400 B/s -> x 60 = 10,584,000 B per minute
Model giọng nói thường được huấn luyện trên audio 16 kHz. Code Whisper của OpenAI đặt SAMPLE_RATE = 16000 và nạp mọi file qua ffmpeg với -ac 1 -ar 16000. Theo tài liệu của chính FFmpeg, -ar đặt tần số lấy mẫu audio còn -ac đặt số kênh.
Vì sao quan trọng
- Giới hạn dung lượng file. Một file WAV stereo chất lượng CD lớn gấp 10.584.000 / 1.920.000 = 5,5 lần so với 16 kHz mono, mà không đem lại lợi ích gì cho model 16 kHz.
- Thời gian upload. File nhỏ hơn đến API nhanh hơn, điều này quan trọng với voice bot.
- Tương thích. Các công cụ như phát hiện giọng nói (VAD) chỉ nhận một số tần số nhất định (WebRTC VAD nhận 8, 16, 32 hoặc 48 kHz).
- Đừng upsample. Chuyển một cuộc gọi điện thoại 8 kHz lên 16 kHz làm file nặng gấp đôi nhưng không thêm chi tiết nào.
Trên BroadNet Inference
Endpoint phiên âm của BroadNet nhận WAV hoặc MP3 tối đa 26.214.400 byte (25 MiB) mỗi file. Tài liệu của BroadNet chuyển đổi tin nhắn thoại WhatsApp .ogg và bản ghi .m4a bằng lệnh:
ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav
Lượng audio vừa một request khi dùng WAV 16-bit:
| Định dạng | Byte mỗi phút | Vừa trong 26.214.400 byte |
|---|---|---|
| 16 kHz mono | 1.920.000 | 26.214.400 / 1.920.000 = 13,65 phút, khoảng 13 phút 39 giây |
| 44,1 kHz stereo | 10.584.000 | 2,48 phút, khoảng 2 phút 29 giây |
Với audio dài hơn, hãy chia thành các đoạn 10 phút (600 giây x 32.000 B/s = 19.200.000 byte mỗi đoạn) như hướng dẫn phiên âm tin nhắn thoại WhatsApp, hoặc gửi MP3, vốn nhẹ hơn nhiều mỗi phút. Luôn đặt language. Phí tính theo phút audio, không theo byte, nên sample rate thay đổi dung lượng upload chứ không thay đổi giá; kiểm tra chi phí bằng công cụ tính chi phí speech-to-text. Để có bức tranh tổng thể, xem chuyển giọng nói thành văn bản.