Bản phiên âm cho bạn biết người ta đã nói gì; timestamp cho bạn biết tìm câu đó ở đâu trong bản ghi âm.
Cách hoạt động
Hầu hết hệ thống ASR có hai mức:
- Mức đoạn. Mỗi cụm từ một khoảng thời gian, ví dụ
{"text": " Hi there!", "timestamp": (0.5, 1.5)}. - Mức từ. Mỗi từ một khoảng thời gian, ví dụ
hitừ 0,5 đến 0,9 giây vàtheretừ 1,0 đến 1,5 giây.
Pipeline ASR của Hugging Face cung cấp cả hai qua return_timestamps: True cho đoạn với Whisper, "word" cho từ, và các model CTC như Wav2Vec2 còn hỗ trợ "char". Kết quả trả về dưới dạng chunks, mỗi phần có text và một tuple (start, end). Tài liệu lưu ý thời gian theo từ của Whisper được ước lượng bằng dynamic time warping trên trọng số cross-attention, tức là xấp xỉ chứ không phải đo đạc.
Các API hosted theo cùng mô hình. Hướng dẫn speech-to-text của OpenAI mô tả timestamp_granularities[] với word hoặc segment, đi kèm response_format: "verbose_json", và chỉ mô tả tính năng này cho model whisper-1 đã deprecated, model mà các tích hợp hiện có vẫn dùng được cho tới khi nó ngừng hoạt động vào ngày 26 tháng 2 năm 2027.
curl https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F model=whisper-1 -F file=@call.mp3 \
-F response_format=verbose_json \
-F "timestamp_granularities[]=word"
Vì sao quan trọng
- Phụ đề. File SRT và VTT cần thời điểm bắt đầu và kết thúc cho mỗi dòng phụ đề.
- Tìm kiếm và rà soát. Người kiểm tra chất lượng có thể nhảy tới đúng giây khách hàng bắt đầu phàn nàn thay vì nghe cả cuộc gọi; xem phiên âm bản ghi tổng đài.
- Lượt nói. Ghép bản phiên âm với output speaker diarization được thực hiện bằng cách khớp thời gian.
- Kích thước payload. Output mức từ dài hơn nhiều so với văn bản thuần, điều này quan trọng nếu sau đó bạn đưa nó vào LLM dưới dạng token.
Trên BroadNet Inference
Tài liệu của BroadNet không mô tả timestamp. /v1/audio/transcriptions trả bản phiên âm dưới dạng {"text": "..."}, và không có tùy chọn timestamp_granularities nào được liệt kê. Metadata /v1/models của BroadNet (kiểm tra ngày 2026-11-15) có liệt kê verbose_json là một định dạng response, nhưng không nói nó chứa thời gian theo đoạn hay theo từ, nên hãy thử trước khi dựa vào nó. Để có thời gian tương đối, hãy tự cắt audio, ví dụ tại các khoảng lặng tìm bằng phát hiện giọng nói (VAD) hoặc thành các đoạn cố định, và ghi lại offset bắt đầu của từng đoạn. Văn bản của mỗi đoạn khi đó kế thừa offset này. Cách này cho thời gian theo câu, đủ để nhảy qua lại trong một cuộc gọi, nhưng không đủ cho phụ đề chính xác tới từng khung hình. Gửi language kèm mỗi đoạn tới BroadNet Transcribe Arabic hoặc BroadNet Transcribe. Nếu thời gian theo từ là yêu cầu bắt buộc, hãy chạy một aligner hoặc dùng model có tài liệu về tính năng này.