लंबे प्रॉम्प्ट के बीच में जवाब रख दें, तो कई मॉडल उसे शुरुआत या अंत में रखे जवाब के मुक़ाबले ज़्यादा चूकते हैं।
यह कैसे काम करता है
Liu और साथियों (2023) ने मॉडल को दो टास्क पर परखा। multi-document question answering में मॉडल को एक सवाल और कई निकाले गए डॉक्यूमेंट मिले, जिनमें से सिर्फ़ एक में जवाब था। key-value retrieval में उसे जोड़ियों की लंबी सूची में एक वैल्यू ढूँढनी थी। शोधकर्ताओं ने बदल-बदलकर देखा कि काम की चीज़ कहाँ रखी है।
उनका नतीजा: प्रदर्शन “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (अनुवाद: अक्सर तब सबसे अच्छा होता है जब काम की जानकारी इनपुट context की शुरुआत या अंत में हो, और काफ़ी गिर जाता है जब मॉडल को लंबे context के बीच की जानकारी तक पहुँचना हो, साफ़ तौर पर लंबे context के लिए बने मॉडल में भी।) position के हिसाब से प्लॉट करें, तो सटीकता U का आकार बनाती है।
व्यावहारिक मतलब सीधा है। लंबी context window बताती है कि मॉडल कितना लेता है, यह नहीं कि वह उसे कितनी बराबरी से इस्तेमाल करता है।
यह क्यों मायने रखता है
- RAG में क्रम. Retrieval-augmented generation में retriever passages को रैंक करता है। अगर आप सबसे अच्छे को 20 के बीच में रख देते हैं, तो रैंकिंग बेकार गई। उसे पहले रखें, या पहले और आख़िर दोनों में।
- लंबे डॉक्यूमेंट. 80 पन्नों में से पन्ना 40 के किसी क्लॉज़ के बारे में पूछना पन्ना 1 के बारे में पूछने से कठिन है। मॉडल को सेक्शन की ओर इशारा करें, या पहले उसे निकाल लें।
- Agents. किसी लंबी agent हिस्ट्री में शुरुआती निर्देश और आख़िरी टर्न पर ध्यान जाता है; रन के बीच का टूल आउटपुट वह हिस्सा है जिसके कम इस्तेमाल होने की सबसे ज़्यादा संभावना है।
Lost in the middle एक बड़े असर, context rot, का एक हिस्सा है, जिसमें सटीकता सिर्फ़ position से नहीं, बल्कि लंबाई और ध्यान भटकाने वाली चीज़ों से भी घटती है।
BroadNet Inference पर
BroadNet के DeepSeek V4.1 Flash और GLM 5.3 प्रति अनुरोध 1,048,576 टोकन तक लेते हैं। इससे position की अहमियत घटती नहीं, बढ़ती है, क्योंकि बीच का हिस्सा और बड़ा हो जाता है। एक लेआउट जो position के असर और cached input दोनों के साथ काम करता है:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
1M टोकन context गाइड और कैशिंग के लिए प्रॉम्प्ट का ढाँचा इसमें और आगे जाते हैं।