Robots.txt জেনারেটর - Allow, Disallow ও Sitemap নিয়ম তৈরি করুন

টুলস / SEO টুলস / Robots.txt জেনারেটর

Robots.txt জেনারেটর

তৈরি টেমপ্লেট

প্রথম তিনটি আপনার গ্রুপগুলো বদলে দেয়। AI বোতাম সাধারণভাবে প্রকাশিত AI ক্রলার নামের একটি গ্রুপ যোগ করে, বাকিগুলো রেখে দেয়; তালিকা সময়ের সঙ্গে বদলায়, মাঝে মাঝে দেখে নিন।

আগের robots.txt ইমপোর্ট করুন

পাথ / দিয়ে শুরু হয় এবং বড়-ছোট হাতের অক্ষর আলাদা ধরে। * যেকোনো অক্ষরের সারি, $ URL-এর শেষ বোঝায়, তাই /*.pdf$ সব PDF ব্লক করে। Crawl-delay (অনুরোধের মাঝে সেকেন্ড) Google উপেক্ষা করে; অন্য কিছু সার্চ ইঞ্জিন মানে।

যাচাই

কোনো সমস্যা পাওয়া যায়নি।

robots.txt

            

robots.txt নামে হোস্টের রুটে আপলোড করুন, যেমন https://example.com/robots.txt। প্রতিটি সাবডোমেইনের আলাদা ফাইল লাগে।

URL পরীক্ষা করুন

    ওপরের robots.txt-টি Google যেভাবে পড়ে সেভাবে যাচাই করে। ক্রলারের নাম হুবহু লেখা গ্রুপ User-agent: *-এর চেয়ে অগ্রাধিকার পায়, একই নামের গ্রুপগুলো এক হয়ে যায়, আর যে ক্রলারের নিজের গ্রুপ নেই সে কাছাকাছি নামে নয়, *-এ যায় (Googlebot-Image, Googlebot গ্রুপ ব্যবহার করে না)। গ্রুপের ভেতরে মিলে যাওয়া সবচেয়ে লম্বা নিয়মটি সিদ্ধান্ত নেয়, সমান হলে Allow জেতে। পুরো URL দিলে শুধু পাথ ও কোয়েরি অংশ নেওয়া হয়।

    robots.txt একটি প্রকাশ্য অনুরোধ, তালা নয়। যে কেউ এটি পড়তে পারে আর খারাপ বট এটি মানে না, তাই গোপন পাথ কখনো এখানে লিখবেন না। এটি সার্চ ফলাফল থেকে পেজও সরায় না: ব্লক করা URL লিংকের মাধ্যমে তবুও ইনডেক্স হতে পারে। পেজকে সার্চের বাইরে রাখতে noindex ট্যাগ দিন এবং পেজটি ক্রল হতে দিন; সুরক্ষার জন্য পাসওয়ার্ড ব্যবহার করুন।

    robots.txt কীভাবে কাজ করে

    কোনো সাইট ক্রল করার আগে নিয়ম মানা বটগুলো /robots.txt পড়ে এবং নিজের নামের গ্রুপ খোঁজে; না পেলে User-agent: * মানে। গ্রুপের ভেতরে Disallow জানায় কোন পাথ বাদ দিতে হবে, আর Allow তার মধ্যে ব্যতিক্রম তৈরি করে। এই ফাইল ইনডেক্সিং নয়, ক্রলিং নিয়ন্ত্রণ করে, এবং কেবল সেই বটদের ওপর কাজ করে যারা এটি মানতে চায়।

    কীভাবে ব্যবহার করবেন

    1. 1 একটি টেমপ্লেট বাছুন বা উদাহরণটি বদলান: প্রতি ক্রলারের জন্য একটি গ্রুপ (সবার জন্য *), তাতে Disallow ও Allow লাইন।
    2. 2 আপনার sitemap ঠিকানা দিন এবং যাচাই দেখুন: শুরুতে স্ল্যাশ ছাড়া পাথ বা https:// ছাড়া sitemap সঙ্গে সঙ্গে চিহ্নিত হয়।
    3. 3 টেক্সট কপি করুন বা robots.txt ডাউনলোড করে সাইটের রুটে আপলোড করুন, তারপর আপনারসাইট/robots.txt খুলে দেখুন সেটি লোড হয় কি না।

    কোন নিয়ম জেতে

    বড় সার্চ ইঞ্জিনগুলো নিয়ম ওপর থেকে নিচে পড়ে না। প্রতিটি URL-এর জন্য তারা সবচেয়ে নির্দিষ্ট মিল, অর্থাৎ সবচেয়ে লম্বা পাথ নেয়; Allow ও Disallow সমান লম্বা হলে Allow জেতে। তাই Disallow: /admin/ আর Allow: /admin/help/ যে ক্রমেই লিখুন, হেল্প পেজ ক্রলযোগ্য থাকে। তা ছাড়া একটি ক্রলার একটিমাত্র গ্রুপ মানে: Googlebot গ্রুপ থাকলে Googlebot * গ্রুপ পুরোপুরি উপেক্ষা করে।

    ব্লক করা আর noindex এক নয়

    robots.txt-এ ব্লক করা URL-ও সার্চ ফলাফলে দেখা দিতে পারে, সাধারণত বিবরণ ছাড়া শুধু লিংক হিসেবে, কারণ অন্য পেজ তাতে লিংক দেয়। আরও খারাপ: পেজে noindex ট্যাগ দিয়ে সেটিকে ব্লকও করলে ক্রলার পেজটি কখনো আনে না, ট্যাগও দেখে না। পেজ সার্চ থেকে সরাতে ক্রলিং চালু রেখে noindex দিন; ফলাফল থেকে সরে যাওয়ার পরেই ব্লক করুন।

    মেটা ট্যাগ জেনারেটর →

    যে ভুলে দরকারের চেয়ে বেশি ব্লক হয়

    নিয়মগুলো প্রিফিক্স হিসেবে মেলে: Disallow: /blog, /blog-tips/ ও /blogger.html-ও ব্লক করে; ফোল্ডার বোঝাতে চাইলে /blog/ লিখুন। শুধু Disallow: / পুরো সাইট ব্লক করে, যা টেস্ট সার্ভার থেকে রয়ে যাওয়া পরিচিত ভুল। CSS ও JavaScript ফোল্ডার ব্লক করলে সার্চ ইঞ্জিন পেজ ঠিকমতো রেন্ডার করতে পারে না। আর পাথে বড়-ছোট হাতের অক্ষর আলাদা: /Admin/ দিয়ে /admin/ ঢাকে না। কোনো নির্দিষ্ট URL-এর কী হবে দেখতে চাইলে সেটি আউটপুটের নিচের টেস্ট বক্সে লিখুন: সিদ্ধান্ত নেওয়া গ্রুপ ও নিয়ম দেখাবে।

    AI ক্রলার ও কন্ট্রোল টোকেন

    বেশ কিছু AI কোম্পানি প্রশিক্ষণ ডেটা সংগ্রহে ব্যবহৃত user-agent নাম প্রকাশ করে এবং আপত্তি জানানোর উপায় হিসেবে robots.txt দেখায়। কিছু নাম আলাদা ক্রলার নয়, কন্ট্রোল টোকেন: Google-Extended ও Applebot-Extended নিজেরা কোনো পেজ আনে না; সার্চ ক্রলারের সংগ্রহ করা কনটেন্ট AI মডেলের প্রশিক্ষণে (Google-এর ক্ষেত্রে Gemini-এর উত্তরের উৎস হিসেবেও) ব্যবহার করা যাবে কি না, শুধু সেটুকু ঠিক করে। এগুলো ব্লক করলে র‍্যাংকিং বদলায় না, কিন্তু সার্চের ভেতরের AI ফিচার থেকেও আপনার পেজ বাদ পড়ে না: Google-এর AI Overviews ও AI Mode চলে Googlebot দিয়ে, আর এগুলো নিয়ন্ত্রণ করতে হয় Google-Extended দিয়ে নয়, nosnippet বা noindex দিয়ে। নাম বদলায়, নতুনও আসে, তাই টেমপ্লেটকে শুরুর বিন্দু ধরুন এবং প্রতিটি প্রদানকারীর সর্বশেষ ডকুমেন্টেশন দেখুন।

    Robots.txt নিয়ে প্রশ্ন

    না। এটি শুধু ক্রলিং থামায়। অন্য সাইট URL-টিতে লিংক দিলে সেটি বিবরণ ছাড়া ইনডেক্সে থেকে যেতে পারে। সরাতে চাইলে noindex মেটা ট্যাগ বা X-Robots-Tag হেডারসহ পেজটি ক্রল হতে দিন, অথবা পেজ মুছে দিন বা লগইনের পেছনে রাখুন।
    নতুন
    UTM বিল্ডার কয়েক সেকেন্ডে UTM ট্যাগসহ ক্যাম্পেইন লিংক তৈরি করুন। আগের প্যারামিটার ও #অ্যাংকর থাকে, মান ঠিকমতো এনকোড হয়, বড় হাতের অক্ষর ও স্পেস নিয়ে সতর্ক করে।
    আজ জনপ্রিয়
    কীওয়ার্ড ঘনত্ব পরীক্ষক বিনামূল্যের কীওয়ার্ড ডেনসিটি টুল: লেখা বা URL দিন, প্রতিটি শব্দ ও শব্দগুচ্ছ কতবার এসেছে শতাংশসহ দেখুন।

    অন্যান্য SEO টুল

    কীওয়ার্ড ঘনত্ব পরীক্ষক বিনামূল্যের কীওয়ার্ড ডেনসিটি টুল: লেখা বা URL দিন, প্রতিটি শব্দ ও শব্দগুচ্ছ কতবার এসেছে শতাংশসহ দেখুন।
    স্লাগ জেনারেটর যেকোনো শিরোনামকে পরিচ্ছন্ন URL স্লাগে বদলান। জার্মান ü হয় ue, তুর্কি ü হয় u, সিরিলিক প্রতিবর্ণীকৃত হয় — ভাষা আপনি বাছেন।
    মেটা ট্যাগ জেনারেটর শিরোনাম, বিবরণ, URL ও ছবি দিয়ে HTML মেটা ট্যাগ, Open Graph ও Twitter Card মার্কআপ তৈরি করুন, এবং প্রকাশের আগে দেখুন পেজটি Google ফলাফলে, Facebook-এ ও X-এ কেমন দেখাবে।
    SERP স্নিপেট প্রিভিউ আপনার টাইটেল ও মেটা ডিসক্রিপশন ডেস্কটপ ও মোবাইলের সার্চ রেজাল্টে কেমন দেখায় দেখুন। পিক্সেল অনুযায়ী কাটা, অক্ষর ও পিক্সেল কাউন্টার।
    UTM বিল্ডার কয়েক সেকেন্ডে UTM ট্যাগসহ ক্যাম্পেইন লিংক তৈরি করুন। আগের প্যারামিটার ও #অ্যাংকর থাকে, মান ঠিকমতো এনকোড হয়, বড় হাতের অক্ষর ও স্পেস নিয়ে সতর্ক করে।

    অন্যান্য টুল যা আপনার ভালো লাগতে পারে

    Word থেকে PDF বিনামূল্যে Word থেকে PDF: DOC, DOCX, ODT বা RTF ফাইল আপলোড করুন এবং কয়েক সেকেন্ডে সঠিক বিন্যাসের PDF ডাউনলোড করুন।
    PDF থেকে Word বিনামূল্যে PDF থেকে Word: PDF আপলোড করুন এবং কয়েক সেকেন্ডে সম্পাদনাযোগ্য DOCX ডাউনলোড করুন - নিবন্ধন বা জলছাপ ছাড়াই।
    MD5 জেনারেটর বিনামূল্যের MD5 হ্যাশ জেনারেটর: যেকোনো লেখা বা ফাইলকে ব্রাউজারেই MD5 চেকসামে রূপান্তর করুন - অখণ্ডতা যাচাইয়ে কাজে লাগে।
    Base64 এনকোডার ও ডিকোডার বিনামূল্যের Base64 এনকোডার ও ডিকোডার: লেখা বা ফাইল Base64-এ রূপান্তর করুন এবং ফিরিয়েও আনুন - সবই ব্রাউজারে, আপলোড ছাড়াই।
    ওয়ার্ড কাউন্টার বিনামূল্যের শব্দ গণনা: লেখা পেস্ট করে শব্দ, অক্ষর, বাক্য ও অনুচ্ছেদ গুনুন এবং পড়ার আনুমানিক সময় দেখুন। কিছুই আপলোড হয় না।