Crawler क्या है - ldkalink
Crawler kya hai: "Crawler" एक तरह के सॉफ्टवेयर है जो इंटरनेट पर मौजूद वेब पेजेज को स्कैन करने का काम करता है और जो भी कंटेंट उसे मिलता जाता है इसे कलेक्ट करके, यूजर के क्वेरी के अनुसार सर्च इंजन द्वारा इसे सर्च इंजन रिजल्ट्स पेज में इंडेक्स किया जाता है।
Web Crawler को ही "स्पाइडर" या "बोट्स" के नाम से भी जाना जाता है जो वेब पेज को नेविगेट करते है यह एक पेज पर पहुंचने के बाद यदि इसमें कोई इंटरनल लिंक मिलता है तो इस लिंक के थ्रू वह दूसरे लिंक तक चले जाते हैं और इस तरह से वह पुरे वेबसाइट को स्कैन कर लेता है।
क्रॉलर को अगर हम अपने भाषा में समझे तो इसे हम इस तरह से बोल सकते है "रेंगने वाला" या फिर "खिसकने वाला" भी समझ सकते हैं इसका उपयोग डिजिटल कंटेंट में होता है जैसे कि इंटरनेट पर वेब पेज को स्कैन करने के लिए।
 |
| Crawler क्या है |
इस डिजिटल दुनिया में क्राउलर एक तरह का सॉफ्टवेयर होता है जो इंटरनेट पर वेब पेज को स्कैन करने का काम करता है जितने भी नए कंटेंट जो हमारे द्वारा समय समय पर पब्लिश की जाती है इन्हें क्रॉलर के द्वारा कलेक्ट कर लिया जाता है और फिर उन्हें सर्च इंजन के इंडेक्स में शामिल कर लिया जाता है।
जैसे ही इंटरनेट यूजर इंटरनेट पर कोई कीवर्ड सर्च करता है तो उस शब्द से रिलेटेड रेलिवेंट रिजल्ट जो क्रॉलर द्वारा कलेक्ट किया गया होता है उसे सर्च इंजन से सर्च लिस्ट में सर्च करने वाले को सर्च लिस्ट में दिखाया जाता है।
क्रॉलर का काम होता है कि वह इंटरनेट पर जितने भी डाटा मौजूद है जो जो ब्लॉग पर या वेबसाइट पर पब्लिश किये जाते हैं इन्हें सिस्टमैटिकली रीड करके और उनके कंटेंट को समझ कर डाटा को कलेक्ट करने का काम करता है।
क्रॉलर किसी एक पेज के लिंक पर जाता है और यहां से होते हुए वह दूसरे पेज तक चला जाता है और इस तरह से किसी साइट के पूरे कंटेंट को रीड कर लेता है।
इस तरह से एक लिंक से होते हुए दूसरे दूसरे पेजेज तक पहुंच कर कंटेंट को स्कैन करता हैं उनके बारे में यह जानकारी एकत्र करते जाता है की किस तरह का कंटेंट इस साइट पर उपलब्ध है।
जितना भी जानकारी क्रॉलर द्वारा सर्च इंजन को प्राप्त मिलता जाता है इन जानकारी को यूजर जब सर्च इंजन में कोई कीबोर्ड टाइप करता है तो यूजर के सामने कीवर्ड रिलेटेड बेस्ट रिजल्ट दिखाया जाता है।
उदाहरण
इंटरनेट पर लाख वेबसाइटस है जिसमे रेगुलर कुछ ना कुछ अपडेट होते रहता है यदि हम अपने वेबसाइट में कुछ नया कुछ अपडेट कर देते हैं कुछ नया जानकारी पब्लिश कर देते हैं तो अब सर्च इंजन को यह कैसे पता चलेगा कि कौन सा वेबसाइट में क्या चीज नया अपडेट हुआ है।
तो क्रॉलर का यही काम होता है किसी साइट के एक लिंक को स्कैन करते करते उसको सारे कंटेंट को स्कैन कर लेता है इससे क्रॉलर को अब यह पता चल जाता है की आपके द्वारा किस तरह की जानकारी पब्लिश की गई है और जितने भी अपडेट होते रहते हैं इन्हे कुछ कुछ दिनों आपके साइट में आकर जानकारी को एकत्र करते रहता है।
जैसे ही क्रॉलर को कुछ नया अपडेट मिलता है इस जानकारी को एकत्र कर लेता है और जब यूजर इंटरनेट पर कोई कीवर्ड सर्च करता है तो जिसे साइट पर सबसे ज्यादा अच्छा कंटेंट मिला होता है उसे यूजर के सामने शो करता है।
क्राउलर का सबसे ज्यादा फेमस एग्जांपल में से है गूगलबोट्स, जो गूगल के द्वारा बनाया गया है जो इंटरनेट पर वेब पेज को स्कैन करने के लिए उपयोग किया जाता है।
आप जिस ब्लॉग www.ldkalink.com पर अभी आर्टिकल पढ़ रहे हैं यदि इसमें कोई नया आर्टिकल लिखा गया है तो गूगल को यह कैसे पता चलेगा कि इस वेबसाइट पर कुछ नया अपडेट हो गया है।
क्योंकि इंटरनेट की दुनिया में लाखों ऐसेब्लॉग है जिस पर हर सेकंड, हर मिनट में कुछ ना कुछ नया अपडेट होते रहता है ऐसे में गूगल को यह कैसे पता चलेगा कि कौन से साइट पर क्या अपडेट हुआ है क्योंकि इनफॉरमेशन कई तरह की हो सकती है अब जब गूगल कोई आप बताइए नहीं चला कि किस तरह का कंटेंट आपके साइट पर अपडेट हुआ है तो वह यूजर को सही रिजल्ट नहीं दिखा पाएगा।
इसलिए गूगल के द्वारा क्राउलर गूगलबोट्स बनाया गया जिसका काम होता है कि वह इंटरनेट पर मौजूद सभी साइट के कंटेंट को स्कैन करके चेक करे की किस साइट पर किस तरह का कंटेंट पड़ा हुआ है।
ताकि यूजर को उसके क्वेरी के अनुसार बेस्ट रिजल्ट सर्च इंजन रिजल्ट पेज में सबसे टॉप पर यानि फर्स्ट में शो हो, जिससे की यूजर को उसका आंसर मिल सके।