BroadRouter

नेम्ड एंटिटी रिकग्निशन (NER)

अपडेट किया गया

Named entity recognition (NER) टेक्स्ट में नाम ढूँढने और हर नाम को व्यक्ति, संगठन या जगह जैसे किसी प्रकार का लेबल देने का काम है। पुराने सिस्टम हर टोकन को टैग करते हैं; LLM से अक्सर entities की सूची JSON में माँगी जाती है, जिसे फिर स्रोत टेक्स्ट से मिलाकर जाँचा जाता है।

अन्य नाम: NER, नेम्ड एंटिटी रिकग्निशन, एंटिटी एक्सट्रैक्शन, ner kya hai, named entity recognition kya hai, named entity recognition, entity extraction, named entities

किसी अनुबंध या समाचार से हर व्यक्ति, कंपनी और जगह निकालिए, हर एक के प्रकार के साथ। यही NER है, और यह LLM को दिए जाने वाले सबसे आम कामों में से एक है।

यह कैसे काम करता है

क्लासिक बेंचमार्क CoNLL-2003 shared task है। इसमें अंग्रेज़ी Reuters समाचार और जर्मन Frankfurter Rundschau का टेक्स्ट इस्तेमाल हुआ, चार प्रकार (व्यक्तियों के लिए PER, ORG, LOC, और MISC, यानी “names of miscellaneous entities that do not belong to the previous three groups” (अनुवाद: ऐसी विविध entities के नाम जो पिछले तीन समूहों में नहीं आतीं)), और IOB टैग: हर शब्द किसी प्रकार का B- या I- है, या बाहर के लिए O। स्कोरिंग entities पर F1 है, और कोई entity तभी गिनी जाती है जब वह reference से हूबहू मेल खाए।

IOB रूप में एक अरबी उदाहरण:

टोकन टैग
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(“ख़ालिद अल-उतैबी ने रियाद शहर का दौरा किया।”)

अरबी के अपने डेटासेट हैं। ANERcorp, जिसे Yassine Benajiba ने बनाया और जो 2008 से एक मानक reference है, समाचार टेक्स्ट है; CAMeL Lab के तय split में CC BY-SA 4.0 के तहत 125,102 ट्रेनिंग शब्द और 25,008 टेस्ट शब्द हैं। Wojood (Jarrar और साथी, 2022) में MSA और बोली वाले टेक्स्ट के लगभग 550K टोकन, 21 entity प्रकार और लगभग 75K entities हैं, जिनमें से 22.5% nested हैं। उसके AraBERT पर आधारित मॉडल ने 0.884 micro F1 स्कोर किया।

LLM के साथ आम तरीका अलग है: हर टोकन पर टैग के बजाय एक सूची माँगें।

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

यह क्यों मायने रखता है

NER सर्च फ़िल्टर, CRM रिकॉर्ड, PII की redaction और knowledge graph को डेटा देता है। LLM के साथ मुख्य जोखिम ये हैं:

  • गढ़ी हुई या बदली हुई entities. मॉडल ऐसा नाम लौटा सकता है जो टेक्स्ट में है ही नहीं, या उसकी वर्तनी “सुधार” सकता है। दोनों तरफ़ अरबी टेक्स्ट normalization के बाद जाँचें कि हर entity स्रोत में मौजूद है। यह हैलुसिनेशन की एक जाँच है।
  • लेबल का भटकना. प्रकारों की सूची एक schema में तय करें, ताकि मॉडल कोई नया प्रकार न गढ़ सके।
  • बेंचमार्क आपका डेटा नहीं हैं. सार्वजनिक लेबल शायद ही आपके लेबल से मेल खाते हैं। एक सैंपल हाथ से लेबल करें और precision, recall और F1 स्कोर करें, जैसे किसी भी eval में।

BroadNet Inference पर

BroadNet का कोई NER एंडपॉइंट नहीं है; आप इसे POST /v1/chat/completions पर बनाते हैं। BroadNet का API रेफ़रंस GLM 5.3 और Qwen3.8 27B के लिए structured output दर्ज करता है, और इसी से आप मॉडल को entity सूची और प्रकारों के तय सेट में बाँधते हैं। जो दस्तावेज़ इमेज के रूप में आते हैं, उनके लिए Qwen3.8 27B इमेज इनपुट भी लेता है।

BroadNet अपने मॉडलों का कोई NER बेंचमार्क प्रकाशित नहीं करता। अरबी named entity extraction वाले लेख में एक प्रॉम्प्ट, diacritics को नज़रअंदाज़ करने वाली span जाँच, हिजरी तारीख़ों की हैंडलिंग और अपने सैंपल पर चलाने के लिए एक स्कोरिंग स्क्रिप्ट है।

अक्सर पूछे जाने वाले सवाल

NER और entity extraction में क्या फ़र्क़ है?

रिसर्च में NER का मतलब आम तौर पर हर टोकन को एक लेबल से टैग करना है। Entity extraction का मतलब अक्सर entities की सूची लौटाना है, और ज़्यादातर LLM पाइपलाइन इसे इसी तरह रखती हैं। उसी रूप को स्कोर करें जो आप असल में शिप करते हैं।

मॉडल की लौटाई entity मेरे अरबी टेक्स्ट से मेल क्यों नहीं खाती?

अक्सर मॉडल ने कॉपी करते समय कोई hamza बदल दिया, tatweel हटा दिया या diacritics जोड़ दिए। यह जाँचने से पहले कि entity टेक्स्ट में है, entity और स्रोत दोनों को normalize करें।

Nested NER क्या है?

दूसरी entities के अंदर की entities, जैसे किसी संगठन के नाम के अंदर शहर। Wojood इन्हें annotate करता है; उसकी 22.5% entities nested हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें