सर्च इंजन कैसे काम करता है?

सर्च इंजन कैसे काम करता है? सूचना खोज - यह एक क्रमिक प्रक्रियाओं का समूह है, जिसका उद्देश्य निर्धारित मानदंडों के अनुसार विशिष्ट जानकारी प्रदान करना होता है।

खोज का मानदंड सूचना अनुरोध होता है, जो उपयोगकर्ता की किसी डेटा के प्रति सूचना आवश्यकता को व्यक्त करता है।

खोज प्रक्रिया में कई चरण शामिल होते हैं:

• सूचना अनुरोध का निर्माण;
• सभी संभावित डेटा स्रोतों का निर्धारण;
• मिले हुए सूचना संग्रहों से जानकारी निकालना;
• प्राप्त जानकारी को उपयोगकर्ता को परिणामों के मूल्यांकन के लिए प्रस्तुत करना (व्यवहार संबंधी कारक)।

खोज परिणामों की विशेषताएँ होती हैं: प्रासंगिकता, अर्थात् खोज अनुरोध से मिले डेटा की संगति की डिग्री, और प्रासंगिकता (पर्टिनेंस) – उपयोगी जानकारी का अनुपात कुल प्रस्तुत परिणामों के मुकाबले।

उपयोगी परिणाम प्राप्त करने में सूचना अनुरोध का सही ढंग से निर्माण महत्वपूर्ण भूमिका निभाता है। किसी भी सर्च इंजन में आप विशिष्ट उपकरणों की मदद से अनुरोध को परिष्कृत कर सकते हैं, जिससे खोज क्षेत्र सीमित हो जाता है। किसी विशेष सर्च इंजन का चयन भी सूचना प्रदर्शित करने के तरीके को प्रभावित करता है।

आमतौर पर कोई भी सर्च इंजन एक ही एल्गोरिद्म पर आधारित होता है। यह दो भागों से बना होता है: एक प्रोग्राम जो जानकारी संग्रह और इंडेक्सिंग करता है, और एक सॉफ्टवेयर पैकेज जो उपयोगकर्ता के अनुरोध पर डेटा चुनता है और परिणाम दिखाने के लिए उन्हें रैंक करता है। आइए सर्च इंजन के प्रत्येक भाग को विस्तार से देखें।

जानकारी संग्रह और इंडेक्सिंग

सर्च रोबोट – वह प्रोग्राम जो सर्च इंजन का मुख्य कार्य करता है – नए डेटा स्रोतों (पृष्ठों) की खोज। क्योंकि यह प्रोग्राम इंटरनेट पर स्वतंत्र रूप से घूमता है, इसे "स्पाइडर" कहा जाता है। "स्पाइडर" का कार्य सिद्धांत सरल है: जब यह किसी एक पृष्ठ पर पहुँचता है, तो वह उस पृष्ठ पर अन्य पृष्ठों के लिंक खोजता है और उन सभी पर जाकर इसी प्रक्रिया को दोहराता है। इस दौरान, रोबोट साइट के मुख्य विवरणों को इंडेक्स करता है और प्रत्येक मिले पृष्ठ की एक प्रति संग्रह में भेजता है। ध्यान रखें कि "प्रत्येक" से तात्पर्य उन पृष्ठों से है जो खोज मानदंडों के अनुरूप हों। इंडेक्स में जाने से पहले, नई साइट की पृष्ठों की वायरस, तकनीकी त्रुटि और प्लेज़रिज़्म जांच की जाती है। खराब पृष्ठ तुरंत हटाए जाते हैं। और स्पाइडर के काम के सिद्धांत के अनुसार, जितने अधिक लिंक किसी साइट पर होंगे (भीतर और बाहर दोनों), उतनी जल्दी वह इंडेक्स में आएगी।

गुणवत्ता जांच के अलावा, इंडेक्स में पृष्ठों को दर्ज करने की मात्रा पर भी सीमाएं होती हैं। सर्च इंजन के संसाधन सीमित होते हैं और वह इंटरनेट पर सभी साइटों को तुरंत या एक महीने में भी स्कैन नहीं कर सकता। इसलिए प्रत्येक साइट का "क्रॉलिंग बजट" होता है – वह पृष्ठों की संख्या जो सर्च रोबोट एक बार में स्कैन कर सकता है, और उस साइट से इंडेक्स किए गए दस्तावेजों की अधिकतम संख्या। बड़ी साइटों के लिए यह इंडेक्स अपडेट में देरी का मुख्य कारण हो सकता है। इसका सबसे प्रभावी समाधान sitemap.xml की सेटिंग है। यह एक विशेष साइट मैप है जो स्पाइडर के काम को निर्देशित करता है। इस मैप में यह दर्शाना होता है कि कौन से पृष्ठ अधिक बार अपडेट होते हैं, किसे इंडेक्स में प्राथमिकता देनी है, रोबोट को किस जानकारी पर ध्यान देना चाहिए और किसे पहले ही जांचा जा चुका है।

किसी भी स्थिति में, पृष्ठों की इंडेक्सिंग तुरंत नहीं होती क्योंकि सर्च रोबोट पूरे नेटवर्क को सेकंड में नहीं पार कर सकता। वर्तमान में इंडेक्सिंग प्रक्रिया 2-3 सप्ताह तक ले सकती है, जबकि गुणवत्ता पूर्ण, उपयोगी और सही तरीके से ऑप्टिमाइज़्ड साइटों के लिए यह कुछ दिनों में पूरी हो सकती है। यांडेक्स में पृष्ठों की इंडेक्सिंग वेबमास्टर में जांची जा सकती है।

इंडेक्सिंग समय कम करने के लिए काम करना विकास की महत्वपूर्ण शर्त है। इंटरनेट पर संसाधन हर सेकंड बढ़ रहे हैं, लेकिन सर्च इंजन उसी गति से सुधार नहीं कर सकते। इसलिए सामान्य सर्च रोबोट के अलावा, एक फास्ट रोबोट भी बनाया गया।

फास्ट रोबोट – वह प्रोग्राम जो अक्सर अपडेट होने वाली साइटों (ब्लॉग, न्यूज़ पोर्टल, सोशल नेटवर्क आदि) की इंडेक्सिंग करता है। यही प्रोग्राम सबसे ताज़ा परिणामों को पहले स्थानों पर दिखाने में मदद करता है। सामान्य रोबोट और फास्ट रोबोट के बीच मुख्य अंतर यह है कि फास्ट रोबोट लिंक को ध्यान में नहीं रखता। इसलिए एक ही पृष्ठ दोनों रोबोट द्वारा इंडेक्स किया जा सकता है।

परिणामों का निर्माण

आइए यांडेक्स के उदाहरण से सर्च इंजन के दूसरे भाग को देखें।

जब उपयोगकर्ता खोज पट्टी में अपना अनुरोध दर्ज करता है, तो सबसे पहले इसे "लोड बैलेंसर" प्रोसेस करता है। यह स्वचालित रूप से अनुरोधों को क्लस्टर्स (सर्वरों के समूह) में वितरित करता है। यह चरण कंप्यूटिंग शक्ति के प्रभावी उपयोग के लिए महत्वपूर्ण है।

इसके बाद कैश में पहले से तैयार परिणामों की जांच होती है। यह काम आसान बनाता है क्योंकि कुछ अनुरोध विशेष घटनाओं (महत्वपूर्ण विश्व घटनाएँ, विज्ञापन अभियान आदि) के दौरान बार-बार दोहराए जाते हैं, जबकि कुछ जैसे सोशल नेटवर्क हमेशा लोकप्रिय रहते हैं।

परिणाम कुछ समय तक सर्च इंजन के कैश में संग्रहित रहते हैं ताकि जरूरत पड़ने पर तैयार डेटा तुरंत दिया जा सके।

फिर सर्च इंजन मेटासर्च शुरू करता है। यह निर्धारित करता है कि अनुरोध किस प्रकार के डेटा से संबंधित है। आमतौर पर यह टेक्स्ट होता है, लेकिन कई सर्च इंजन छवियों के साथ भी काम कर सकते हैं। इस चरण में वर्तनी जांच और अनुरोध भेजने के भौगोलिक स्थान की पुष्टि भी होती है।

साथ ही अनुरोध का प्रकार निर्धारित किया जाता है: व्यावसायिक या सूचना संबंधी। अनुरोध का प्रकार सीधे रैंकिंग को प्रभावित करता है। यदि अनुरोध सूचना संबंधी है, जैसे "आइसक्रीम की सामग्री", तो परिणामों में ऐसे साइट होंगे जिनमें उपयोगकर्ता के लिए अधिकतम उपयोगी जानकारी होगी (रोचक सामग्री, प्राकृतिक लिंक आदि)। व्यावसायिक अनुरोध, जैसे "आइसक्रीम खरीदें", के लिए सर्च इंजन व्यावसायिक पृष्ठ दिखाने की कोशिश करेगा।

अनुरोध के प्रकार की जानकारी साइट के सही ऑप्टिमाइज़ेशन के लिए महत्वपूर्ण है। ऐसी जानकारी विशेष सेवाओं, जैसे Labrika, से प्राप्त की जा सकती है।

सर्च इंजन विशिष्ट अनुरोधों को भी पहचानते हैं, जैसे "समीक्षा", "डाउनलोड", "खरीदें" आदि। इन अनुरोधों के लिए केवल कीवर्ड का होना पर्याप्त नहीं है, बल्कि लेन-देन की संभावना ("डाउनलोड", "खरीदें") या वास्तविक समीक्षाओं की उपस्थिति महत्वपूर्ण होती है। यदि प्रतिस्पर्धियों की साइट पर वस्तु या सेवा वास्तव में खरीदी या ऑर्डर की जा सकती है, तो केवल "खरीदें" शब्द का होना मददगार नहीं होगा। विभिन्न अनुरोधों के लिए रैंकिंग कारकों का महत्व अलग-अलग हो सकता है, जैसे समाचारों के लिए ताजगी या ब्रांड जानकारी के लिए डोमेन नाम में ब्रांड का होना।

सिस्टम नए परिणामों की सूची बनाने लगती है। इसके लिए अनुरोध "बेसिक सर्च" में जाता है। बेसिक सर्च में सर्च इंजन का इंडेक्स होता है, जो कई हिस्सों में विभाजित और विभिन्न सर्वरों पर संसाधित होता है। कई सर्वर होने से लोड कम होता है और खोज प्रक्रिया तेज़ होती है। डेटा सुरक्षा के लिए प्रत्येक सर्वर कई प्रतियां बनाता है।

बेसिक सर्च अंत में मेटासर्च को अनुरोध के अनुरूप मिले परिणाम लौटाता है। लेकिन यह उत्तर अंतिम नहीं होता। मेटासर्च के परिणाम मिलने के बाद यांडेक्स पहले फ़िल्टर लगाता है और फिर परिणामों को मैट्रिक्सनेट एल्गोरिद्म के तहत प्रस्तुत करता है।

फ़िल्टर – एक एल्गोरिद्म है जिसमें साइटों के लिए विशिष्ट आवश्यकताएँ होती हैं। यदि फ़िल्टर किसी साइट को निर्दिष्ट मानदंडों पर खरा नहीं पाता, तो सर्च इंजन दंड लगाता है: इंडेक्स से हटाना, रैंकिंग घटाना या कुछ पृष्ठों को परिणामों से निकालना।

फ़िल्टर का मुख्य उद्देश्य खोज परिणामों की गुणवत्ता बढ़ाना है। सर्च इंजन के फ़िल्टर लगातार बेहतर होते रहते हैं ताकि उपयोगिता के अधिक कारकों को ध्यान में रखा जा सके।

कुछ प्रसिद्ध फ़िल्टर:

• अफिलिएट-फ़िल्टर (यांडेक्स और गूगल);
• एजीएस (यांडेक्स);
• मिनुसिंस्क (यांडेक्स);
• तुम आखिरी हो (यांडेक्स);
• पेंगुइन (गूगल);
• पांडा (गूगल);

हमने इनके बारे में एक अलग लेख लिखा है।

ये सभी स्पैम और साइट की विशेष कमजोरियों से लड़ने के लिए बनाए गए हैं, लेकिन मुख्य समस्याएँ हैं: सामग्री की अनूठता, नियमित अपडेट और गुणवत्तापूर्ण बाहरी लिंक। फ़िल्टर के अस्तित्व ने ऑप्टिमाइज़र्स को साइट की गुणवत्ता, सामग्री और डिज़ाइन पर अधिक ध्यान देने के लिए प्रेरित किया है ताकि वे टॉप में आ सकें।

इसके बाद यांडेक्स मैट्रिक्सनेट एल्गोरिद्म के तहत परिणामों को रैंक करता है। मैट्रिक्सनेट पहली बार स्नेज़िंस्क फ़िल्टर के निर्माण के समय आया था। इसका उद्देश्य रैंकिंग के मानदंडों को बढ़ाकर खोज की गुणवत्ता में सुधार करना था।

मैट्रिक्सनेट एक मशीन लर्निंग एल्गोरिद्म है जो रैंकिंग फॉर्मूला बनाता है। यह कई कारकों को ध्यान में रखते हुए सबसे प्रासंगिक परिणाम को शीर्ष पर लाता है। इसकी खासियत यह है कि यह विभिन्न प्रकार के अनुरोधों के लिए अलग-अलग फॉर्मूला सेट कर सकता है बिना अन्य अनुरोधों की गुणवत्ता घटाए।

सर्च रोबोट लाखों पृष्ठ खोजते हैं और प्रत्येक की जांच करना, साथ ही उसकी रैंकिंग तय करना समय लगाता है। मैट्रिक्सनेट बेसिक सर्च द्वारा लौटाए गए सभी पृष्ठों को देखता है, प्रासंगिकता के मानकों को परखता है और उन्हें एक वजन देता है। फिर उपयोगिता के अनुसार पृष्ठों को क्रमबद्ध करता है। एल्गोरिद्म सैकड़ों कारकों को ध्यान में रखता है (जैसे विज़िट, सामग्री की अनूठता, लिंक की संख्या आदि)। वर्तमान में मैट्रिक्सनेट लगभग 800 मानदंडों का उपयोग करता है। इस एल्गोरिद्म के आने के बाद यांडेक्स की प्रासंगिकता काफी बढ़ गई और उपयोगकर्ता को लगभग तुरंत सही उत्तर मिल जाता है। लेकिन गति उपयोगकर्ता के लिए सबसे महत्वपूर्ण मापदंड नहीं है।

सर्च इंजन के मूल्यांकन के मुख्य मानदंड:

• सटीकता परिणाम की अनुरोध से संगति को दर्शाती है। अर्थात्, जितने कम गलत साइट परिणामों में होंगे, सिस्टम उतना बेहतर काम करता है। इसमें सर्च इंजनों को समस्या नहीं होती।

• पूर्णता विभिन्न प्रकार के परिणामों की विविधता को दर्शाती है। उदाहरण के लिए, यदि सर्च इंजन को पता नहीं कि "सुरा" (जो नदी, शहर और खेल टीम भी है) के तहत उपयोगकर्ता क्या खोज रहा है, तो वह सभी सामान्य विकल्पों के लिए परिणाम देगा। इसलिए ऐसी स्थितियों में साइटों के बीच लड़ाई टॉप-10 के लिए नहीं, बल्कि टॉप-5 या टॉप-3 के लिए होती है। क्योंकि बाकी स्थानों पर संदर्भ, नक्शे, विकिपीडिया आदि और अन्य श्रेणियों की साइटें होती हैं जो खोज की पूर्णता के लिए दिखाई जाती हैं।

• उपयोगकर्ता संतुष्टि को इस तरह मापा जाता है: यदि उपयोगकर्ता साइट पर जाने के बाद वापस परिणामों पर नए साइट देखने के लिए नहीं आता, तो परिणाम उपयुक्त है। यदि वापस आता है, तो सर्च इंजन यह जानकारी याद रखता है और मशीन लर्निंग व मूल्यांकन के जरिए रैंकिंग फॉर्मूला बदलता है। मूल्यांकनकर्ता (असेसर) विशेषज्ञ होते हैं जो निर्धारित करते हैं कि सर्च रोबोट द्वारा चुती साइट कितनी उपयोगी है। मानव मूल्यांकन मशीन लर्निंग को रैंकिंग फॉर्मूला सुधारने में मदद करता है – हानिकारक या बेकार साइटों को हटाने में, जो केवल औपचारिक रूप से अनुरोध के अनुरूप होती हैं।

---

परिणाम

रैंकिंग के बाद परिणामों में अतिरिक्त जानकारी जोड़ी जाती है: मानचित्र, पते, सामान्य विवरण, उपयोगी लिंक, उपयुक्त विज्ञापन, वीडियो, सिफारिशें आदि और इस रूप में उपयोगकर्ता को दिखाई जाती है। इस प्रकार सर्च इंजन विविध और सबसे प्रासंगिक जानकारी प्रदान करने का प्रयास करते हैं, जिसे साइट ऑप्टिमाइज़ेशन में ध्यान में रखना आवश्यक है ताकि साइट की रैंकिंग बेहतर हो सके।