allow, disallow, crawl-delay और sitemap नियमों के साथ मान्य robots.txt फ़ाइल बनाएँ।
नियंत्रित करें कि सर्च इंजन आपकी साइट को कैसे क्रॉल करें। हर user-agent के लिए नियम जोड़ें, अपना sitemap शामिल करें और अपलोड के लिए तैयार फ़ाइल डाउनलोड करें।
यह आपके डोमेन के रूट से सर्व होना चाहिए, जैसे https://example.com/robots.txt पर उपलब्ध हो।
नहीं। यह टूल पूरी तरह आपके ब्राउज़र में चलता है और ज़रूरत पड़ने पर JavaScript और WebAssembly का उपयोग करता है। आपकी फ़ाइलें और टेक्स्ट कभी आपके डिवाइस से बाहर नहीं जाते।
हम नियमित रूप से अपने टूल को बेहतर बनाते हैं। कोई समस्या मिली या सुझाव है? हम सुन रहे हैं।