תגית: robots.txt

בעבר היה לנו את דפי זהב או מקומון – היינו כותבים מספר מילים על העסק שלנו, מנפים את המידע החשוב ביותר, וגמרנו. אין ספק, זה נוח, קל ומעולה אבל קיימים מקרים בהם ניהיה מעוניינים שמנועי החיפוש לא יסרקו עמוד מסוים - בדיוק לצורך כך קיים הקובץ robots.txt.