Robots.txt क्या करता है

एक robots.txt फ़ाइल क्रॉलर्स को बताती है कि उन्हें साइट के किन हिस्सों पर जाना चाहिए, किन्हें छोड़ना चाहिए, या विशेष नियमों के साथ व्यवहार करना चाहिए, इससे पहले कि वे पृष्ठों को लाना शुरू करें।

यह जनरेटर कैसे मदद करता है

यह उपकरण आपको एक डिफ़ॉल्ट क्रॉल नीति चुनने, स्पष्ट अनुमति और निषेध पथ जोड़ने, एक वैकल्पिक क्रॉल देरी सेट करने, और बिना हाथ से फ़ाइल लिखे साइटमैप या होस्ट निर्देशों को जोड़ने की अनुमति देता है।

सामान्य उपयोग के मामले

• व्यवस्थापक क्षेत्रों, खोज पृष्ठों, फ़िल्टरों, या आंतरिक उपकरणों को व्यापक क्रॉलर पहुंच से ब्लॉक करें।
• एक निजी-डिफ़ॉल्ट साइट अनुभाग को केवल कुछ सार्वजनिक पथों को उजागर करने की अनुमति दें।
• मुख्य साइटमैप स्थान प्रकाशित करें ताकि खोज इंजन ताज़ा URL को तेजी से खोज सकें।
• स्टेजिंग, माइग्रेशन और लॉन्च चेकलिस्ट के लिए एक प्रारंभिक robots.txt टेम्पलेट बनाएं।

सर्वश्रेष्ठ प्रथाएँ और सीमाएँ

Robots.txt एक क्रॉल निर्देश है, न कि एक एक्सेस-नियंत्रण प्रणाली, इसलिए संवेदनशील सामग्री को अभी भी प्रमाणीकरण या अन्य सर्वर-साइड प्रतिबंधों के साथ सुरक्षित किया जाना चाहिए।

विभिन्न क्रॉलर विभिन्न निर्देशों का समर्थन करते हैं। उदाहरण के लिए, होस्ट निर्देश सार्वभौमिक नहीं है और कुछ बॉट द्वारा क्रॉल-देरी को अनदेखा किया जा सकता है, इसलिए हमेशा अपने अंतिम नियमों को उन क्रॉलर्स के खिलाफ मान्य करें जो आपके लिए महत्वपूर्ण हैं।