BroadRouter

Cap masa (timestamps) dalam speech-to-text

Dikemas kini

Cap masa dalam speech-to-text ialah masa mula dan tamat, dalam saat, yang dilampirkan pada bahagian transkrip. Cap masa segmen meliputi satu frasa atau ayat; cap masa perkataan meliputi setiap perkataan. Ia diperlukan untuk sari kata, carian dalam rakaman dan menyelaraskan teks dengan penutur.

Juga dikenali sebagai: cap masa perkataan, cap masa transkrip, word timestamps, word-level timestamps, segment timestamps, timestamp_granularities, ASR timestamps

Transkrip memberitahu apa yang disebut; cap masa memberitahu di mana dalam rakaman untuk menemuinya.

Cara ia berfungsi

Kebanyakan sistem ASR menawarkan dua peringkat:

  • Peringkat segmen. Satu julat masa bagi setiap frasa, contohnya {"text": " Hi there!", "timestamp": (0.5, 1.5)}.
  • Peringkat perkataan. Satu julat masa bagi setiap perkataan, contohnya hi pada 0.5 hingga 0.9 s dan there pada 1.0 hingga 1.5 s.

Saluran paip ASR Hugging Face mendedahkan kedua-duanya melalui return_timestamps: True memberikan segmen untuk Whisper, "word" memberikan perkataan, dan model CTC seperti Wav2Vec2 juga menyokong "char". Hasilnya kembali sebagai chunks, setiap satu dengan text dan tuple (start, end). Dokumentasinya menyatakan masa perkataan Whisper dianggarkan dengan dynamic time warping ke atas pemberat cross-attention, iaitu anggaran dan bukan ukuran.

API yang dihoskan mengikut corak yang sama. Panduan speech-to-text OpenAI mendokumenkan timestamp_granularities[] dengan word atau segment, dipasangkan dengan response_format: "verbose_json", dan mendokumenkannya hanya untuk model whisper-1 yang telah deprecated, yang boleh digunakan oleh integrasi sedia ada sehingga ia ditutup pada 26 Februari 2027.

curl https://api.openai.com/v1/audio/transcriptions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F model=whisper-1 -F file=@call.mp3 \
  -F response_format=verbose_json \
  -F "timestamp_granularities[]=word"

Mengapa ia penting

  • Sari kata. Fail SRT dan VTT memerlukan masa mula dan tamat bagi setiap baris kapsyen.
  • Carian dan semakan. Penyemak kualiti boleh melompat ke saat aduan bermula dan bukannya mendengar keseluruhan panggilan; lihat mentranskripsi rakaman pusat panggilan.
  • Giliran penutur. Menggabungkan transkrip dengan output diarisasi dilakukan dengan memadankan masa.
  • Saiz muatan. Output peringkat perkataan jauh lebih panjang daripada teks biasa, yang penting jika anda kemudian menyalurkannya ke LLM sebagai token.

Di BroadNet Inference

Dokumentasi BroadNet tidak mendokumenkan cap masa. /v1/audio/transcriptions memulangkan transkrip sebagai {"text": "..."}, dan tiada pilihan timestamp_granularities yang disenaraikan. Metadata /v1/models BroadNet (disemak 2026-11-15) menyenaraikan verbose_json sebagai format respons, tetapi tiada yang menyatakan ia membawa masa segmen atau perkataan, jadi ujinya sebelum bergantung padanya. Untuk masa kasar, potong audio sendiri, contohnya pada jeda yang dikesan dengan pengesanan aktiviti suara atau kepada segmen tetap, dan rekodkan ofset mula setiap ketulan. Teks setiap ketulan kemudian mewarisi ofset itu. Ini memberikan masa peringkat ayat yang cukup untuk melompat-lompat dalam panggilan, bukan sari kata yang tepat hingga ke bingkai. Hantar language bersama setiap ketulan ke BroadNet Transcribe Arabic atau BroadNet Transcribe. Jika masa peringkat perkataan ialah keperluan mutlak, jalankan penjajar (aligner) atau model yang mendokumenkannya.

Soalan lazim

Apakah perbezaan antara cap masa perkataan dan cap masa segmen?

Cap masa segmen memberikan satu masa mula dan tamat bagi frasa yang mengandungi satu atau lebih perkataan. Cap masa perkataan memberikan julat masa bagi setiap perkataan, yang diperlukan oleh penyunting sari kata dan alat carian.

Adakah API transkripsi BroadNet memulangkan cap masa?

Tiada cap masa yang didokumenkan. Responsnya hanya {"text": ...}, jadi pecahkan audio kepada ketulan dan jejaki ofset setiap ketulan jika anda memerlukan masa kasar.

Bagaimana membuat sari kata tanpa cap masa perkataan?

Pecahkan audio kepada ketulan pendek pada jeda, transkripsikan setiap satu, dan gunakan ofset mula dan tamat setiap ketulan sebagai masa kapsyen. Ini memberikan masa peringkat frasa, cukup untuk banyak fail sari kata tetapi tidak tepat hingga ke bingkai.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity