গুগলকে আপনার অ্যাপ কর্তৃক অনুরোধ করা টজখং তে ক্রল করতে দিন

সাধারণভাবে, আপনি নিয়ন্ত্রণ করেন কীভাবে গুগলবোট একটি robots.txt ফাইল ব্যবহার করে আপনার সাইটে জনসাধারণের জন্য প্রবেশযোগ্য URLs তে ক্রল করে । যখন গুগলবোট আপনার অ্যাপ ইনডেক্স করে, আপনার অ্যাপ এর সাধারণ অপারেশনের অংশ হিসাবে HTTP রিকোয়েস্ট তৈরী করতে পারে। কিন্তু এই রিকোয়েস্ট আপনার সার্ভারে দৃশ্যমান হতে পারে যেহেতু গুগলবোট থেকে উদ্ভব হয়। অতএব, এই রিকোয়েস্ট অনুমোদন করতে দিতে আপনাকে অবশ্যই আপনার সার্ভারের robots.txt ফাইল যথাযথভাবে কনফিগার করতে হবে।

উদাহরণস্বরূপ, নিচের robots.txt নির্দেশনা দেখায় কীভাবে আপনি আপনার ওয়েব সাইটে একটি নির্দিষ্ট ডিরেকটরি তে প্রবেশ করারটাকে অনুমোদন করতে পারেন যে ওয়েব সাইটে আপনার অ্যাপের প্রবেশ করতে হবে, যখন আপনার সাইটের অন্য অংশে গুগলবোটের প্রবেশ সীমাবদ্ধ করা হয়।

User-Agent: Googlebot
Allow: /api/
Disallow: /

ওয়েব ক্রলিং নিয়ন্ত্রণ করতে কীভাবে robots.txt পরিবর্তন করতে হয় সে সম্পর্কে আরও তথ্য জানতে, Controlling Crawling and Indexing Getting Started (https://developers.google.com/webmasters/control-crawl-index/docs/getting_started) গাইডটি দেখুন।