Robots.txt file kya hai aur | Robots Txt को Blog में कैसे Add करें? in 2021

robots.txt file kya hai aur | Robots Txt को Blog में कैसे Add करें? in 2021:- ज्यादातर लोगोको यह मालूम नहीं होया है की Robots txt kya hai और kaise kam karti hai Robots txt फाइल। आज में आपको बताऊंगा की अपने ब्लॉग में या वेबसाइट में kaise use kare Robots txt ko और एडिट करे। 

what is robots.txt in hindi

Robots.txt फ़ाइल एक ऐसी फ़ाइल है जो आपकी वेब साइट के मूल स्तर पर बैठती है और बॉट्स (bots) को आपकी वेबसाइट को पूरी तरहसे नियंत्रित करती है। लेकिन यह भी कह सकते है की Robots.txt फाइल अपनी साइट में आने वाले सभी क्राउलर (crawler) को कंट्रोल करती है। 

आप अपने ब्राउज़र को http://www.yoursite.com/robots txt पर इंगित करके इस फाइल को देख सकते हैं। इसे इलेक्ट्रॉनिक नो ट्रैपसैजिंग संकेत की तरह समझें जो आसानी से Search Engine को आपकी साइट के किसी निश्चित निर्देशिका या पृष्ठ को क्रॉल नहीं करने के लिए कह सकता है।

वाइल्डकार्ड का उपयोग करते हुए, आप search engines को कुछ फ़ाइल प्रकारों जैसे .jpg या .pdf को क्रॉल नहीं करने के लिए भी कह सकते हैं। इसका मतलब है कि आपकी कोई भी जेपीईजी इमेज या पीडीएफ फाइल सर्च इंजन में दिखाई नहीं देगी।

Robots.txt File Kaha Hoti Hai

वैसे तो Robots.txt को  एडिट  करनेके कई तरीके है लकिन में आज आपको robots TXT wordpress mai add kare ka tarika बताता हु .

आपकी वेबसाइट की Robots.txt फाइल filemanager ke public html में पाई जाती है। इस फाइल को आप अपनी तरह से एडिट कर सकते है लेकिन एक ब्लॉगर क नाते आप robots.txt फाइल को ज्यादा एडिट न करे तोहि अच्छा है।  क्योकि कई बार गूगल इस तरह की साइड को यानी कि जो ज्यादा रोबोट रोबोट टेक्स्ट फाइल को एडिट करते हैं उस साइट को Spammy Site में काउंट कर लेता है और उसकी इंडेक्सिंग को banned कर देता है या कम कर देता है।  नीचे बताया गया है की robots.txt फाइल को कैसे खोजें।

Also Read:- Sitemap kya hota hai | कैसे बनाये | Wordpress और Blogger में

गूगल वेबमास्टर की मदद से कैसे ढूंढे और एडिट करे

1. गूगल वेबमास्टर टूल को ओपन करें।
2. मुख्य मेनू में दिए गए Lagacy tools and reports में ड्रॉपडाउन बटन को विस्तृत करें।
3. अब ब्लू कलर की लिखे गए Learn more अक्षर पर क्लिक करें।
4. अब एक हेल्प मेनू खुलेगा उसमें robots.txt फाइल को ढूंढे और एडिट करें।

Yoast SEO Plugin की मदद से कैसे ढूंढे

1. Yoast SEO Plugin ओपन करें।
2. Yoast SEO Plugin के टूल ऑप्शन में जाएं।
3. फाइल एडिटिंग ऑप्शन को अनेबल करके उसमें लिखे गए ब्लू कलर के File Editing अक्षर पर क्लिक करें और robots.txt फाइल को एडिट करें।

Also Read:- Top 5 Video Editing Software For Youtuber For Windows and Mac

Blogger Mai Robots.txt Kaise add Kare | custom robots.txt for blogger

Robots txt blogger mai add karne ka tarika को निकालना ढूंढना बहुत ही आसान है उसमें पहले से ही इसका ऑप्शन दिया जाता है जिसे हम आसानी से robots.txt फाइल को एडिट कर सकते हैं। 

1. Blogger को ओपन करें।
2. अब इसमें मेनुमे दियेगये सेटिंग ऑप्शन पर क्लिक करे।
3. अब इसमें Search Preferences में जाए।
4. Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes करे और  robots.txt को एडिट करे।

Robots.txt का स्थान बहुत महत्वपूर्ण है। यह मुख्य निर्देशिका में होना चाहिए क्योंकि अन्यथा, उपयोगकर्ता एजेंट (खोज इंजन) इसे खोजने में सक्षम नहीं होंगे वे robots.txt नामक फ़ाइल के लिए पूरी साइट नहीं खोजते हैं। इसके बजाय, वे पहले मुख्य निर्देशिका में दिखते हैं और अगर वे इसे वहां नहीं पाते हैं, तो वे बस यह मान लेते हैं कि इस साइट में एक robots.txt फ़ाइल नहीं है और इसलिए वे रास्ते में मिलने वाली हर चीज़ को अनुक्रमित करते हैं। इसलिए, यदि आप robots.txt को सही स्थान पर नहीं रखते हैं, तो आश्चर्यचकित न हों कि Search Engine आपकी पूरी साइट को अनुक्रमित करता है।

Also Read:- 7 Tips For Choosing The Best Web Hosting Provider In India

Robots.txt Kam Kaise Karti hai | robots.txt kya hai

Robots.txt एक फाइल है जो आपने अपनी साइट परआनेवाले रोबोटों को बताने के लिए डाला है कि आप उन्हें किन पेज पर भेजना चाहते हैं। Robots.txt सर्च इंजनों के लिए किसी भी तरह से अनिवार्य नहीं है, लेकिन आम तौर पर, Search Engine वे मानते हैं जो उन्हें नहीं करने के लिए कहा जाता है।

यह स्पष्ट करना महत्वपूर्ण है कि robots.txt Search Engine को आपकी साइट को क्रॉल करने से रोकने से दूर नहीं है और तथ्य यह है कि आप robots.txt फ़ाइल डालते हैं, कुछ ऐसा है जैसे नोट "कृपया, दर्ज न करें" एक अनलॉक किए गए दरवाजे पर जैसे आप चोरों को आने से नहीं रोक सकते लेकिन अच्छे लोग दरवाजा नहीं खोलेंगे और प्रवेश नहीं करेंगे। इसीलिए हम कहते हैं कि यदि आपके पास वास्तव में संवेदनशील डेटा है, तो Search रिजल्ट में इसे अनुक्रमित और प्रदर्शित होने से बचाने के लिए robots.txt पर भरोसा करना बहुत ही भोलापन है।

XML Sitemap Robots.txt File Mai Kaise Dale

एक और तरीका है कि robots.txt फ़ाइल आपको Search Engine को अपने साइट को ऑप्टिमाइज़ करने में मदद करती है, आपको यह निर्दिष्ट करने की अनुमति देती है कि आपके साइटमैप कहाँ स्थित हैं। जब आप संभवतः अपना साइटमैप सीधे Google, याहू में जमा करना चाहते हैं, तो उन सभी अन्य खोज इंजनों के लिए robots.txt फ़ाइल में इसका संदर्भ देना एक अच्छा विचार है।

आप निचे दिए गए चरणों का पालन करके ऐसा कर सकते हैं:

1. संपादन के लिए robots.txt फ़ाइल खोलें।
2. साइटमैप निर्देश उपयोगकर्ता-एजेंट लाइन से स्वतंत्र है, इसलिए इससे कोई फर्क नहीं पड़ता कि आप इसे अपने robots.txt फ़ाइल में कहाँ रखते हैं। चीजों को साफ रखने के लिए, इस पंक्ति को पहले जोड़ें:

- # साइटमैप

3. अपने XML साइटमैप के लिए इन पंक्तियों को जोड़ें:

sitemap: http://www.yourwebsite.com/sitemap.xml

sitemap: http: //www.yourwebsite.com/sitemap_index.xml

Robots txt Ke Fayde kya hai

Robots.txt का ज्यादातर उपयोग सर्च इंजन को निर्देश देने के लिए किया जाता है ताकि वे बता सकें कि वे फ़ाइल में पाठ करने वाले पेज पर नहीं जाना हैं। यह बॉट या क्रॉलर को निजी सामग्री या फ़ोल्डर्स में प्रवेश नहीं करने से प्रतिबंधित करने में हमारी मदद करता है।

1. यदि आप चाहते हैं कि सर्च इंजन आपकी वेबसाइट पर किसी भी डुप्लिकेट पृष्ठों को अनदेखा करें
2. यदि आप अपने आंतरिक खोज परिणाम पृष्ठों को अनुक्रमित करने के लिए सर्च इंजन नहीं चाहते हैं
3. यदि आप अपनी वेबसाइट या संपूर्ण वेबसाइट के कुछ क्षेत्रों को अनुक्रमित करने के लिए सर्च इंजन नहीं चाहते हैं
4. यदि आप अपनी वेबसाइट (छवियों, PDFs, आदि) पर कुछ फ़ाइलों को अनुक्रमित करने के लिए सर्च इंजन नहीं चाहते हैं
5. यदि आप सर्च इंजन को बताना चाहते हैं कि आपका साइटमैप कहां स्थित है।

Robots TXT ke Nukshan Kya hai

हालांकि Robots.txt  फाइल के कोई cons नहीं है यानी की कोई डिस एडवांटेज नहीं है लेकिन उसको ज्यादा एडिटिंग करने से या अपनी वेबसाइट की कुछ पर्सनल इंफॉर्मेशन को को छुपाते हैं या अपनी साइड में गलत कार्य करते हैं और उसे Robots.txt की मदद से रोकते हैं यानी की ब्लैक हैट काम करते हैं तो गूगल आपको तुरंत पकड़ लेता है और आपकी साइड की इंडेक्सिंग या रैंकिंग को रोक देता है या आपकी साइट को banned कर देता है।

मुझे लगता है की आपको अब पता चल गया होगा की Robots txt kya hai और हमारे वेबसाइट को रैंक करनेमे kaise kam karti hai Robots txt.

if you like our work you can join us on our social handles

Facebook , Instagram, YouTube, pinterest

उम्मीद करता हूं यह आर्टिकल आपको पसंद आया होगा अगर अया है तो इसको अपने दोस्तो के साथ जरूर शेयर करे। मिलते है अगले आर्टिकल में तब तक के लिए जय हिन्द वन्दे मातरम |