فایل robots.txt چیست؟

درپاسخ به این سوال که فایل robots.txt چیست باید ابتدا به این[..]