במדריך זה אסביר כיצד אנחנו נבצע אופטימיזציה לאתרי אינטרנט שעושים שימוש במערכת הפופולארית וורדפרס שרבים מבוני האתרים עושים בה שימוש כיום.
נושא קידום האתרים חשוב לכל בונה אתרים , בין אם הוא בונה את האתר למטרותיו האישיות או ללקוחותיו.
מקדמי אתרים יודעים ומבינים שלקובץ robots.txt ישנה חשיבות רבה באיך שמנועי חיפוש עושים שימוש בקובץ זה.
הקובץ צריך להיות בתיקייה הראשית של האתר שלכם במידה ולא קיים כזה צרו אחד כזה בשם robots.txt על ידי FTP או בפאנל הניהול של האחסון שלכם , זה לא משנה באיזו דרך תעשו זאת.
השימוש בקובץ למעשה הוא דיי פשוט , השורה הראשונה שנעשה בה שימוש היא –
1 |
User-Agent: * |
שהיא בעצם מאפשרת לכלל מנועי החיפוש לסרוק את האתר שלנו ולאנדקס אותו.
לאחר מכן אנחנו ניצור רשימה של קבצים ומיקומים באתר שלנו שאנחנו מאפשרים , או לא מאפשרים למנועי החיפוש שלנו לסרוק , כלומר למשל תיקיות פלאגינים תיקיות קבצי מערכת וכו' אין שום מטרה שייסרקו ע"י מנועי החיפוש ולכן אנחנו נבצע עליהם חסימה.
1 2 3 4 |
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html |
כך זה נראה בעצם כאשר אנחנו מאפשרים לרובוטים לסרוק את הקבצים שהעלנו (תמונות וכו') לוורדפרס ולא מאפשרים לסרוק את הקובץ readme.html או את תיקיית הפלאגינים.
מלבד חסימה ואישור לסריקה של קבצים מסויימים לקובץ robots.txt יש שימושים נוספים , כגון הגדרה של קובץ site map בעבור מנועי החיפוש.
אני אתן את הדוגמה שבה הדבר נעשה –
1 2 3 4 5 6 7 |
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Sitemap: http://www.example.co.il/page-sitemap.xml Sitemap: http://www.example.co.il/post-sitemap.xml |
כמובן , הנתיב לקבצים אלו חייב להיות מותאם לאתר שלכם , ובכדי ליצור את מפת האתר אני ממליץ להשתמש בתוסף SEO.
קובץ הrobots.txt האידיאלי צריך להראות כך בסופו של דבר –
1 2 3 4 5 6 7 |
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.www.omerbsh.com/sitemap.xml |
נכון שזה פשוט לעזור לגוגל לאנדקס את האתר שלנו וכך לקבל יותר ניקוד? 🙂
אשמח לתגובות בצור קשר בפייסבוק.
שבוע טוב.