यह कैसे काम करता है
यह टूल इनपुट के आधार पर निर्देश बनाता है। 'User-agent' रोबोट को परिभाषित करता है और 'Disallow' प्रतिबंधित पथ को।
What is Robots.txt जनरेटर?
Robots.txt एक टेक्स्ट फ़ाइल है जो वेब रोबोट्स (जैसे Googlebot) को बताती है कि आपकी वेबसाइट के किन पृष्ठों को क्रॉल करना है और किनको नहीं।
चरण-दर-चरण गाइड
- एजेंट चुनें – सभी के लिए '*' का प्रयोग करें।
- नियम बनाएं – प्रतिबंधित पथ दर्ज करें (जैसे /admin/)।
- साइटमैप – अपना साइटमैप URL जोड़ें।
- उत्पन्न करें – कोड कॉपी करें।
Example
Input: Block /private/
Result: User-agent: * Disallow: /private/
अक्सर पूछे जाने वाले प्रश्न
User-agent: * का क्या अर्थ है?
यह नियम सभी बॉट्स पर लागू होता है।
क्या यह पेज को इंडेक्स होने से रोकता है?
पूरी तरह नहीं, 'noindex' टैग बेहतर है।
केस सेंसिटिव?
हाँ, बड़े-छोटे अक्षरों का महत्व है।
Allow का उपयोग?
ब्लॉक किए गए फोल्डर के अंदर फ़ाइल की अनुमति देने के लिए।
फाइल कहाँ रखें?
डोमेन की जड़ (root) में।
निष्कर्ष
एक सही robots.txt फ़ाइल आपके क्रॉल बजट को बचाती है। ध्यान दें कि यह सुरक्षा उपकरण नहीं है; संवेदनशील डेटा को पासवर्ड से सुरक्षित करें, केवल robots.txt से नहीं।