robots.txt

ספט 28 2008

כמה חשוב להשתמש בוובמסטר- Webmaster

מאת נושאים קידום אתרים

לפני ימים מספר סיפר לי אבישי, מומחה לקידום אתרים ואיש מקסים, על בעיה שהתגלגלה לפתחו.

המדובר הוא על בעל אתר שהיה מי שרצה להזיק לו וגם הצליח. יום אחד גילה בעל האתר כי מנוע החיפוש של גוגל לא מזהה שום דף באתר שלו, אפילו חיפוש site:sitename.com לא הניב שום תוצאה. בעל האתר כמובן נלחץ, ובצדק, שהרי מי כבר יכול לחדור למחשבי גוגל ולמחוק את כל המידע לגבי האתר שלו. בעל האתר התגלגל בין כמה מקדמי אתרים שלא הצליחו לפתור את הבעיה עד שהוא הגיע לאבישי שפתר את הבעיה באחת. אבישי פשוט גילה שהמזיק, איש מתוך העסק, הצליח להכנס לשרת ולהכניס קובץ האומר לגוגל לא לסרוק את האתר, המדובר כמובן על קובץ ה robots.txt.

זוהי דוגמה נפלאה לחשיבותו של כלי הוובמאסטר (webmaster) של גוגל שנותן מידע רב ערך לגבי הדרך בה מנוע החיפוש של גוגל רואה את האתר. מייד עם הכניסה לכלי הוובמאסטר מקבלים הודעה על שגיאות באתר מבחינות שונות, שגיאות במפת האתר, שגיאות של לינקים שבורים, דפים איטיים ועוד. מה שנוגע לענינינו הוא הדיווח המיידי על עמודים שלא נסרקים מחמת קובץ הrobots.txt.

https://www.google.com/webmasters/tools/webcrawlerrors?siteUrl=http%3A%2F%2Fsell-google.co.il%2F&hl=en&sort=2 

כך, ללא כל עיכוב ניתן לגלות בעיות רבות באתר כפי שהוא בעיני הגוגלבוט, הרובוט של גוגל. מומלץ מאוד לכל בעל אתר להרשם לשירות יעיל זה של גוגל ולחסוך כאבי ראש רבים הנובעים מחוסר הבנה לצורת העבודה של גוגל. כלי וובמאסטר זה יתן גם ערך מוסף רב לעוסק בקידום אתרים בכך שיגלה לו בעיות רבות שהסתתרו משום מה מעיניו.

אני מצרף לכאן גם סרטון של מאט כץ, מהנדס בכיר בגוגל, שמספר על שיטות להורדת עמודים ממנוע החיפוש של גוגל, השיטות להורדת העמודים יכולות להוות רשימה ממולצת לבדיקה כשאתה מעוניין לדעת למה עמוד שלך לא מופיע.

שנה טובה.

4 תגובות

יול 01 2008

האם גוגל משנה את גישתה לתכני FLASH?

מאת נושאים קידום אתרים

Flashגוגל מטילה "פצצה" על עולם קידום האתרים ומודיעה כי היא מתחילה לאנדקס קבצי SWF. אם עד היום כל מקדם אתרים מתחיל ידע לומר לך שתכני פלאש הרי הם כאינם מבחינת גוגל, המצב הולך להשתנות.

אם עד היום היה נטוש ויכוח ארוך ומתיש בין הפלאשיסטים לבין מקדמי האתרים לגבי השימוש בקבצי Flash, מתברר כי שיתוף הפעולה בין Adobe (לשעבר מאקרומדיה) לבין מנועי החיפוש נוחל שלב ראשוני של הצלחה ומהנדסי גוגל מודיעים כי המצב השתנה. האומנם?

למעשה כבר כשנה קיימת אפשרות להשתמש בתכונת swf2html המוציאה טקסט ולינקים מהפלאש ומאפשרת יצירת תכנים מקבילים החשופים לgooglebot. הבעיה היא שהכלי אינו  מושלם, עדיין אין דרך טובה להבין את ההגיון והזרימה בתוך אירועי הפלאש עצמם ובוודאי שלא נמצאה השיטה לאתר את כל הטקסט הנמצא בתוך תוכן הפלאש, מה שיכול להביא לתוצאות חסרות, ואולי גרוע מכך, לתוצאות שגויות בהן הגולש מגיע לעמוד פלאש ולא מוצא את התוכן אותו הוא מצפה למצוא.

עקרונית מדובר בקפיצת מדרגה, גוגל מודיעה שמעתה אין צורך ליצור תכנים מקבילים, מנוע החיפוש ימצא בעצמו את תכני הפלאש ויאתר את התוכן הרלוונטי מתוכו, או בלשונו היותר אנדר-סטייטמנית של Matt Cutts, תכני הפלאש יהיו יותר ברי-אינדוקס על ידי מנועי חיפוש. אבל המציאות בשטח מן הסתם תהיה מעט פחות מוצלחת. ראשית כל הבעיות שהיו רלוונטיות לכלי הפיתוח וההתאמה של אדובי, תהיינה כנראה תקפות גם לגבי כלי האבחון והניתוח החדשים של גוגל. התכונה כמובן לא תקפה לקבצי flv, אבל לא רק, גם תכנים חיצוניים לא יאונדקסו כך שלדוגמה במקרה של קובץ פלאש המעלה קובץ xml אחר, התוכן לא יטופל, ועוד. אבל לנו בארץ בכל מקרה כרגע הדברים אינם רלוונטיים, גוגל מודיעה כי בשלב זה תכנים הכתובים בשפות עברית וערבית לא יתמכו עקב היותו שפות הנכתבות מימין לשמאל. זו אנטי-שמיות במיטבה…

בכל מקרה כרגע גוגל ממליצים:

  • להשתמש בפלאש רק היכן שהדבר נחוץ.
  • לשתמש בכלי ה sIFR ליצירת תכנים מקבילים.
  • להציע עמודים חלופיים שאינם מכילים פלאש.
  • להשתמש ב robots.txt לחסימת הדפים הכפולים.

ניתן לצפות כי בזמן הלא רחוק נראה שינויים רבים באתרים ברחבי העולם שעד עתה נאלצו להתגמש בטכניקות התכנים שלהם. לאנשי קידום האתרים הישראליים נשאר, אם כן, מעט זמן ללמוד את הנושא ולהתכונן להשפעותיו של השינוי ביכולות האבחון על מבנה האתרים הישראליים.

בהצלחה באתגרים החדשים.

חיפושים שהביאו לכאן:

  • robots txt פריצה

תגובה אחת

FireStats icon ‏מריץ FireStats‏