वेबसाइटों की सचिंग की क्या तकनीक होती है

इंटरनेट पर खोज के लिए दो तरह की वेबसाइटें उपलब्ध हैं – डायरेक्टरी या निर्देशिका और सर्च इंजन। दोनों के काम करने के तरीके अलग-अलग हैं।

डायरेक्टरी यलो पेजेज की तरह है। जिस तरह यलो पेजेज में अलग-अलग कंपनियों, फर्मों आदि से संबंधित सूचनाओं की श्रेणियों और सूचियां में बांटकर रखा जाता है, उसी तरह निर्देशिकाओं में भी श्रेणियां होती हैं। शिक्षा, विज्ञान, कला, भूगोल आदि ऐसी ही श्रेणियां हैं। इन्हें आगे भी उप श्रेणियां में विभक्त किया जाता है।

• याहू डायरेक्टरी (dir.yahoo.com), डीमोज (dmoz.com) आदि ऐसी ही निर्देशिकाएं हैं। इनमें हम श्रेणियों, उप श्रेणियों से होते हुए संबंधित जानकारी तक पहुंचते हैं।

• चूंकि निर्देशिकाओं के बंधक खुद इन श्रेणियों और सूचियों को संपादित करते रहते हैं, इसलिए इनमें अनावश्यक सामग्री मिलने की आशंका कम होती है। इनमें प्राय: बहुत देखभाल कर उन्हीं वेबसाइटों की सामग्री ली जाती है जो वहां विधिवत पंजीकृत होती हैं।

निर्देशिका के विपरीत, सर्च इंजनों का काम स्वाचलित ढंग से होता है। इने सॉफ्टवेयर टूल जिन्हें वेब क्रॉलर स्पाइडर रोबोट या बोट कहा जाता है, इंटरनेट पर मौजूद वेब पेजों की खोजबीन करता रहता है। ये क्रॉलर वेबसाइटों में दिए गए लिंक्स के जरिए एक से दूसरे पेज पर पहुंचते रहते हैं और जब भी कोई नई सामग्री मिलती है, उससे संबंधित जानकारी अपने सर्च इंजन में डाल देते हैं।

– जिन वेबसाइटों में निरंतर सामग्री डाली जाती है (जैसे समाचार वेबसाइटें), उनमें ये बार-बार आते हैं। इस तरह उनकी सूचनाएं लगातार ताजा होती रहती हैं। लेकिन चूंकि ज्यादातर काम मशीनी ढंग से होता है, इसलिए सर्च इंजनों में कई अनावश्यक वेबपेज भी शामिल हो जाते हैं। इसलिए सर्च नतीजों को निखारने की क्रिया लगातार चलती है।