Robots.txt জেনারেটর
প্রথম তিনটি আপনার গ্রুপগুলো বদলে দেয়। AI বোতাম সাধারণভাবে প্রকাশিত AI ক্রলার নামের একটি গ্রুপ যোগ করে, বাকিগুলো রেখে দেয়; তালিকা সময়ের সঙ্গে বদলায়, মাঝে মাঝে দেখে নিন।
আগের robots.txt ইমপোর্ট করুন
* মানে সব ক্রলার। একাধিক নামে একই নিয়ম দিতে নামগুলো কমা দিয়ে আলাদা করুন।
পাথ / দিয়ে শুরু হয় এবং বড়-ছোট হাতের অক্ষর আলাদা ধরে। * যেকোনো অক্ষরের সারি, $ URL-এর শেষ বোঝায়, তাই /*.pdf$ সব PDF ব্লক করে। Crawl-delay (অনুরোধের মাঝে সেকেন্ড) Google উপেক্ষা করে; অন্য কিছু সার্চ ইঞ্জিন মানে।
কোনো সমস্যা পাওয়া যায়নি।
robots.txt নামে হোস্টের রুটে আপলোড করুন, যেমন https://example.com/robots.txt। প্রতিটি সাবডোমেইনের আলাদা ফাইল লাগে।
URL পরীক্ষা করুন
ওপরের robots.txt-টি Google যেভাবে পড়ে সেভাবে যাচাই করে। ক্রলারের নাম হুবহু লেখা গ্রুপ User-agent: *-এর চেয়ে অগ্রাধিকার পায়, একই নামের গ্রুপগুলো এক হয়ে যায়, আর যে ক্রলারের নিজের গ্রুপ নেই সে কাছাকাছি নামে নয়, *-এ যায় (Googlebot-Image, Googlebot গ্রুপ ব্যবহার করে না)। গ্রুপের ভেতরে মিলে যাওয়া সবচেয়ে লম্বা নিয়মটি সিদ্ধান্ত নেয়, সমান হলে Allow জেতে। পুরো URL দিলে শুধু পাথ ও কোয়েরি অংশ নেওয়া হয়।
robots.txt একটি প্রকাশ্য অনুরোধ, তালা নয়। যে কেউ এটি পড়তে পারে আর খারাপ বট এটি মানে না, তাই গোপন পাথ কখনো এখানে লিখবেন না। এটি সার্চ ফলাফল থেকে পেজও সরায় না: ব্লক করা URL লিংকের মাধ্যমে তবুও ইনডেক্স হতে পারে। পেজকে সার্চের বাইরে রাখতে noindex ট্যাগ দিন এবং পেজটি ক্রল হতে দিন; সুরক্ষার জন্য পাসওয়ার্ড ব্যবহার করুন।
robots.txt কীভাবে কাজ করে
কোনো সাইট ক্রল করার আগে নিয়ম মানা বটগুলো /robots.txt পড়ে এবং নিজের নামের গ্রুপ খোঁজে; না পেলে User-agent: * মানে। গ্রুপের ভেতরে Disallow জানায় কোন পাথ বাদ দিতে হবে, আর Allow তার মধ্যে ব্যতিক্রম তৈরি করে। এই ফাইল ইনডেক্সিং নয়, ক্রলিং নিয়ন্ত্রণ করে, এবং কেবল সেই বটদের ওপর কাজ করে যারা এটি মানতে চায়।
কীভাবে ব্যবহার করবেন
- 1 একটি টেমপ্লেট বাছুন বা উদাহরণটি বদলান: প্রতি ক্রলারের জন্য একটি গ্রুপ (সবার জন্য *), তাতে Disallow ও Allow লাইন।
- 2 আপনার sitemap ঠিকানা দিন এবং যাচাই দেখুন: শুরুতে স্ল্যাশ ছাড়া পাথ বা https:// ছাড়া sitemap সঙ্গে সঙ্গে চিহ্নিত হয়।
- 3 টেক্সট কপি করুন বা robots.txt ডাউনলোড করে সাইটের রুটে আপলোড করুন, তারপর আপনারসাইট/robots.txt খুলে দেখুন সেটি লোড হয় কি না।
কোন নিয়ম জেতে
বড় সার্চ ইঞ্জিনগুলো নিয়ম ওপর থেকে নিচে পড়ে না। প্রতিটি URL-এর জন্য তারা সবচেয়ে নির্দিষ্ট মিল, অর্থাৎ সবচেয়ে লম্বা পাথ নেয়; Allow ও Disallow সমান লম্বা হলে Allow জেতে। তাই Disallow: /admin/ আর Allow: /admin/help/ যে ক্রমেই লিখুন, হেল্প পেজ ক্রলযোগ্য থাকে। তা ছাড়া একটি ক্রলার একটিমাত্র গ্রুপ মানে: Googlebot গ্রুপ থাকলে Googlebot * গ্রুপ পুরোপুরি উপেক্ষা করে।
ব্লক করা আর noindex এক নয়
robots.txt-এ ব্লক করা URL-ও সার্চ ফলাফলে দেখা দিতে পারে, সাধারণত বিবরণ ছাড়া শুধু লিংক হিসেবে, কারণ অন্য পেজ তাতে লিংক দেয়। আরও খারাপ: পেজে noindex ট্যাগ দিয়ে সেটিকে ব্লকও করলে ক্রলার পেজটি কখনো আনে না, ট্যাগও দেখে না। পেজ সার্চ থেকে সরাতে ক্রলিং চালু রেখে noindex দিন; ফলাফল থেকে সরে যাওয়ার পরেই ব্লক করুন।
যে ভুলে দরকারের চেয়ে বেশি ব্লক হয়
নিয়মগুলো প্রিফিক্স হিসেবে মেলে: Disallow: /blog, /blog-tips/ ও /blogger.html-ও ব্লক করে; ফোল্ডার বোঝাতে চাইলে /blog/ লিখুন। শুধু Disallow: / পুরো সাইট ব্লক করে, যা টেস্ট সার্ভার থেকে রয়ে যাওয়া পরিচিত ভুল। CSS ও JavaScript ফোল্ডার ব্লক করলে সার্চ ইঞ্জিন পেজ ঠিকমতো রেন্ডার করতে পারে না। আর পাথে বড়-ছোট হাতের অক্ষর আলাদা: /Admin/ দিয়ে /admin/ ঢাকে না। কোনো নির্দিষ্ট URL-এর কী হবে দেখতে চাইলে সেটি আউটপুটের নিচের টেস্ট বক্সে লিখুন: সিদ্ধান্ত নেওয়া গ্রুপ ও নিয়ম দেখাবে।
AI ক্রলার ও কন্ট্রোল টোকেন
বেশ কিছু AI কোম্পানি প্রশিক্ষণ ডেটা সংগ্রহে ব্যবহৃত user-agent নাম প্রকাশ করে এবং আপত্তি জানানোর উপায় হিসেবে robots.txt দেখায়। কিছু নাম আলাদা ক্রলার নয়, কন্ট্রোল টোকেন: Google-Extended ও Applebot-Extended নিজেরা কোনো পেজ আনে না; সার্চ ক্রলারের সংগ্রহ করা কনটেন্ট AI মডেলের প্রশিক্ষণে (Google-এর ক্ষেত্রে Gemini-এর উত্তরের উৎস হিসেবেও) ব্যবহার করা যাবে কি না, শুধু সেটুকু ঠিক করে। এগুলো ব্লক করলে র্যাংকিং বদলায় না, কিন্তু সার্চের ভেতরের AI ফিচার থেকেও আপনার পেজ বাদ পড়ে না: Google-এর AI Overviews ও AI Mode চলে Googlebot দিয়ে, আর এগুলো নিয়ন্ত্রণ করতে হয় Google-Extended দিয়ে নয়, nosnippet বা noindex দিয়ে। নাম বদলায়, নতুনও আসে, তাই টেমপ্লেটকে শুরুর বিন্দু ধরুন এবং প্রতিটি প্রদানকারীর সর্বশেষ ডকুমেন্টেশন দেখুন।