במדריך זה אסביר כיצד אנחנו נבצע אופטימיזציה לאתרי אינטרנט שעושים שימוש במערכת הפופולארית וורדפרס שרבים מבוני האתרים עושים בה שימוש כיום.

נושא קידום האתרים חשוב לכל בונה אתרים , בין אם הוא בונה את האתר למטרותיו האישיות או ללקוחותיו.
מקדמי אתרים יודעים ומבינים שלקובץ robots.txt ישנה חשיבות רבה באיך שמנועי חיפוש עושים שימוש בקובץ זה.

איפה נמצא הקובץ robots.txt ?

הקובץ צריך להיות בתיקייה הראשית של האתר שלכם במידה ולא קיים כזה צרו אחד כזה בשם robots.txt על ידי FTP או בפאנל הניהול של האחסון שלכם , זה לא משנה באיזו דרך תעשו זאת.

איך לעשות שימוש בקובץ robots.txt?

השימוש בקובץ למעשה הוא דיי פשוט , השורה הראשונה שנעשה בה שימוש היא –

שהיא בעצם מאפשרת לכלל מנועי החיפוש לסרוק את האתר שלנו ולאנדקס אותו.
לאחר מכן אנחנו ניצור רשימה של קבצים ומיקומים באתר שלנו שאנחנו מאפשרים , או לא מאפשרים למנועי החיפוש שלנו לסרוק , כלומר למשל תיקיות פלאגינים תיקיות קבצי מערכת וכו' אין שום מטרה שייסרקו ע"י מנועי החיפוש ולכן אנחנו נבצע עליהם חסימה.

כך זה נראה בעצם כאשר אנחנו מאפשרים לרובוטים לסרוק את הקבצים שהעלנו (תמונות וכו') לוורדפרס ולא מאפשרים לסרוק את הקובץ readme.html או את תיקיית הפלאגינים.

אופטימיזציה לקובץ robots.txt לקידום האתר שלכם

מלבד חסימה ואישור לסריקה של קבצים מסויימים לקובץ robots.txt יש שימושים נוספים , כגון הגדרה של קובץ site map בעבור מנועי החיפוש.
אני אתן את הדוגמה שבה הדבר נעשה –

כמובן , הנתיב לקבצים אלו חייב להיות מותאם לאתר שלכם , ובכדי ליצור את מפת האתר אני ממליץ להשתמש בתוסף SEO.

קובץ הrobots.txt האידיאלי צריך להראות כך בסופו של דבר –

נכון שזה פשוט לעזור לגוגל לאנדקס את האתר שלנו וכך לקבל יותר ניקוד? 🙂
אשמח לתגובות בצור קשר בפייסבוק.

שבוע טוב.