אגב, לצד זה אנחנו גם מעוניינים למנוע ממנו לסרוק עמודים שאנחנו לא מעוניינים שיופיעו בתוצאות החיפוש של מנועי החיפוש.משמע אנחנו מעוניינים שגוגל (ושאר מנועי החיפוש) יוכל לסרוק את האתר בקלות ובאופן