googlebot

ה Googlebot הוא אחד השמות לרובוט של גוגל, זה המתרוצץ ללא הרף ברחבי האינטרנט ומאתר את התכנים הרלוונטיים לחיפוש שלנו. את התכנים שהגוגלבוט מוצא ומכניס לאינדקס של גוגל, מעבדת מערכת נפרדת ומייצרת לנו את דפי תוצאות החיפוש המוכרים לנו.

ספט 28 2008

כמה חשוב להשתמש בוובמסטר- Webmaster

מאת נושאים קידום אתרים

לפני ימים מספר סיפר לי אבישי, מומחה לקידום אתרים ואיש מקסים, על בעיה שהתגלגלה לפתחו.

המדובר הוא על בעל אתר שהיה מי שרצה להזיק לו וגם הצליח. יום אחד גילה בעל האתר כי מנוע החיפוש של גוגל לא מזהה שום דף באתר שלו, אפילו חיפוש site:sitename.com לא הניב שום תוצאה. בעל האתר כמובן נלחץ, ובצדק, שהרי מי כבר יכול לחדור למחשבי גוגל ולמחוק את כל המידע לגבי האתר שלו. בעל האתר התגלגל בין כמה מקדמי אתרים שלא הצליחו לפתור את הבעיה עד שהוא הגיע לאבישי שפתר את הבעיה באחת. אבישי פשוט גילה שהמזיק, איש מתוך העסק, הצליח להכנס לשרת ולהכניס קובץ האומר לגוגל לא לסרוק את האתר, המדובר כמובן על קובץ ה robots.txt.

זוהי דוגמה נפלאה לחשיבותו של כלי הוובמאסטר (webmaster) של גוגל שנותן מידע רב ערך לגבי הדרך בה מנוע החיפוש של גוגל רואה את האתר. מייד עם הכניסה לכלי הוובמאסטר מקבלים הודעה על שגיאות באתר מבחינות שונות, שגיאות במפת האתר, שגיאות של לינקים שבורים, דפים איטיים ועוד. מה שנוגע לענינינו הוא הדיווח המיידי על עמודים שלא נסרקים מחמת קובץ הrobots.txt.

https://www.google.com/webmasters/tools/webcrawlerrors?siteUrl=http%3A%2F%2Fsell-google.co.il%2F&hl=en&sort=2 

כך, ללא כל עיכוב ניתן לגלות בעיות רבות באתר כפי שהוא בעיני הגוגלבוט, הרובוט של גוגל. מומלץ מאוד לכל בעל אתר להרשם לשירות יעיל זה של גוגל ולחסוך כאבי ראש רבים הנובעים מחוסר הבנה לצורת העבודה של גוגל. כלי וובמאסטר זה יתן גם ערך מוסף רב לעוסק בקידום אתרים בכך שיגלה לו בעיות רבות שהסתתרו משום מה מעיניו.

אני מצרף לכאן גם סרטון של מאט כץ, מהנדס בכיר בגוגל, שמספר על שיטות להורדת עמודים ממנוע החיפוש של גוגל, השיטות להורדת העמודים יכולות להוות רשימה ממולצת לבדיקה כשאתה מעוניין לדעת למה עמוד שלך לא מופיע.

שנה טובה.

4 תגובות

ספט 09 2008

קידום אתרים, עבר-הווה-עתיד

עד סוף המאה ה-20 צורת החיפוש המקובלת באינטרנט היתה דרך אינדקסים ידניים כדוגמת האינדקס של יאהו או דימוז כך שהקמת אתר לוותה בעיקר עם יחסי ציבור מול עורכי האינדקסים שיכלו להתרשם חזותית מהאתר ולקבל החלטה לגביו. הדברים השתנו כשגוגל הושקה ומאוחר יותר פרצה לתודעת המשתמשים, מנוע החיפוש של גוגל שינה את כל מה שידענו על אינטרנט בכלל ועל המערך התומך בהקמת אתר, בפרט.
ה"רובוט" של גוגל שוגר לשוטט ברחבי האינטרנט ועבר מאתר לאתר על ידי קישורים וכך הוא מסתובב עד היום ומנסה למצוא את כל האתרים הקיימים ולהכניס אותם לאינדקס שעליו פועל מנוע החיפוש. כבר בשלב זה ברור מבחינת הרובוט אין משמעות לתמונות כיון שאין הוא יודע להבין אותם וממילא הם נעלמים לגביו, גם תצורות אחרות כגון אתרים המבוססים על טכנולוגיית פלאש הם בעייתיים מבחינת הרובוט, אם כי משנה לשנה הרובוט משתכלל ולומד כיצד לזהות חומרים שבעבר לא היו נגישים לגביו. משמעות הדבר הוא שאם האתר שלי יהיה מורכב מתמונות ולא מטקסט, הוא יהיה חסר משמעות בעיני גוגל ובמצב נורמאלי לא אמצא אותו במנוע החיפוש.
גוגל שינתה את כל מה שידענו על עיצוב אתרים אך גם דחפה ליצירת תכנים המתאימים לאלגוריתם החיפוש שלה. חיפוש בגוגל מתבצע כך שהמחפש מקיש ביטוי מסוים וגוגל מנסים למצוא מתוך כל דפי האינטרנט המוכרים להם, מהו הדף הרלוונטי ביותר למה שהתכוון המשתמש. לשם כך גוגל פיתחה אלגוריתמים רבים כשהידוע שבהם הוא ה PAGE RANK ע"ש ממציאו לארי פייג'. האלגוריתמים משקללים נתונים רבים וביניהם הטקסטים באתר והיחס לאתר מאתרים אחרים, מה שמספר לרובוט של גוגל על חשיבותו ועל הקשריו.
הכרות, הנובעת בעיקר מנסיון, עם האלגוריתמים של גוגל מאפשרת ליצור דפי אינטרנט שגוגל ימצא בהם עניין אמיתי (להבדיל משיטות קידום Black-Hat) וימקם אותם בדירוג גבוה ביחס לביטויים מסוימים, על כן ברור כי קידום אתר באינטרנט מתחיל כבר משלב תכנונו. יש לקבל החלטה על הביטויים המיועדים לקידום ושהאתר יצטרך לשכנע את גוגל ומנועי החיפוש האחרים על הרלוונטיות שלו בהקשר אליהם. קידום אתרים נכון, אם כן, מתחיל משלב תכנון האתר ובחירת ביטויי החיפוש, בחירה זו מתבססת על מפגש בין הרצוי למצוי. מקדם האתרים יצטרך לבחון את הביטויים השונים ולקבל החלטה אלו מתוכם הם החשובים לו ואלו מתוכם ריאליים, לעיתים תתקבל החלטה לוותר על ביטוי מסוים מכיון שהוא נמצא בתחרות שתחייב השקאת משאבים רבים מידי שיכולים לא להשתלם.
לאחר בחירת הפלטפורמה המתאימה לקידום האתר, יצטרך מקדם האתרים שלך לייצר את הטקסטים התואמים את מטרת האתר בהתחשב באלגוריתמים של גוגל. שלב זה מצריך שיתוף פעולה הדוק בין אנשי המקצוע שלך, איש התוכנה שלך וחברת קידום האתרים. רק שילוב חכם של כל בגורמים יכולים לייצר אתר אינטרנט נעים, חכם ומועיל שיוכל להופיע ולקבל דירוגים גבוהים עבר ביטויי החיפוש שבחרתם לקדם.
קידום אתרים הוא תחם עתיר ידע ומצריך נסיון רב והכרות מעמיקה עם השינויים המתרחשים כל העת באלגוריתמים הרלוונטיים לקידום האתרים שלך.
פניה לחברת קידום אתרים תתבצע כבר בשלב ההחלטה על הקמת אתר אינטרנט לעסק שלך, חשוב לזכור זאת כיון שהדבר יכול לחסוך עלויות ומשאבים רבים בהמשך.
השלב הבא בקידום אתר האינטרנט שלך הוא, כאמור, יצירת אוירה אוהדת בסביבה האינטרנטית. הדבר מצריך פעילות מול אתרים אחרים ושימוש בכלי SMO מודרניים, הדבר חשוב מאוד מכיון שגם הPR ובמיוחד האלגוריתמים שהגיעו אחריו נתנו משקל רב למומחיות האתר כפי שהיא מתבטאת בקישורים הנכנסים שלו.
לאחר שהוחלט על קונסטרוקציית האתר, הביטויים שהוא אמור לקדם ונערכו לו יחסי ציבור ברשת האינטרנט, חשוב מאוד להמשיך ולייצר תכנים על מנת שהאתר יהיה אטרקטיבי בעיני הגולשים, תוכן ישן הוא בדרך כלל תוכן פחות רלוונטי ולפיכך חשוב להיות עם האצבע על הדופק ולדאוג לעדכניותו של האתר הן מבחינת תוכן והן מבחינת הקשרים ותכנות.

(מתוך מאמר שפורסם על ידי באתר "מאמרים")

2 תגובות

אוג 13 2008

על 404 רך

מאת נושאים קידום אתרים

בעולם בו מקדמי האתרים עסוקים בניתוח כל עוית פנים מקרית של מאט קאטס, חשוב לשמור על קשר עם המלצות מפורשות של מהנדסי גוגל.

מלי אוהיה מציעה לשים לב לצורת התגובה של השרת לדפים שאינם קיימים. ניתן לייצר הודעת 404 רכה או קשה. 404 רכה היא הפניה חזרה לעמוד הבית או לדף סטנדרטי אחר כך שהיא בעצם מייצרת הודעת 20x המצביעה על תקינות. 404 קשה, לעומת זאת, היא הודעה ברורה על שגיאה וכי הדף אינו קיים. בוני אתרים רבים חושבים שעדיף לייצר הודעת 404 רכה, כך הגולש לא צריך לחזור אחורה וגם לא נוצרים דפים שגויים שיוצרים בעיות בדירוג האתר.

הבעיה בהודעה הרכה היא כפולה, גם לגולש וגם ל googlebot. הגולש לחץ על לינק שבור אך הגיע לא לדף שהוא מחפש. הוא עלול לראות בזה תקלה ולנסות שוב ושוב ללחוץ על הלינק השבור, הדבר יכול ליצור רושם שלילי לגבי האתר ולהבריח גולשים. הבעיתיות השניה היא דווקא ממבט קידום אתרים, הגוגל בוט אינו מקבל 404 אלא 200 ועלול להכנס ללופ מיותר שמוריד בסופו של דבר את דירוג האתר ועלול לגרום לרובוט לא להמשיך ולחפש דפים אחרים שכן קיימים. לכן חשוב לדאוג לכך שברירת המחדל ל404 תהיה ההודעה הברורה ה"קשה" ולא האפשרות הרכה.

באם ידוע על עמוד בעייתי, כמובן עדיף ליצור הודעת 30x. אלו הן האפשרויות:

Code Description
300 (Multiple choices) The server has several actions available based on the request. The server may choose an action based on the requestor (user agent) or the server may present a list so the requestor can choose an action.
301 (Moved permanently) The requested page has been permanently moved to a new location. When the server returns this response (as a response to a GET or HEAD request), it automatically forwards the requestor to the new location. You should use this code to let Googlebot know that a page or site has permanently moved to a new location.
302 (Moved temporarily) The server is currently responding to the request with a page from a different location, but the requestor should continue to use the original location for future requests. This code is similar to a 301 in that for a GET or HEAD request, it automatically forwards the requestor to a different location, but you shouldn't use it to tell the Googlebot that a page or site has moved because Googlebot will continue to crawl and index the original location.
303 (See other location) The server returns this code when the requestor should make a separate GET request to a different location to retrieve the response. For all requests other than a HEAD request, the server automatically forwards to the other location.
304 (Not modified) The requested page hasn't been modified since the last request. When the server returns this response, it doesn't return the contents of the page.

You should configure your server to return this response (called the If-Modified-Since HTTP header) when a page hasn't changed since the last time the requestor asked for it. This saves you bandwidth and overhead because your server can tell Googlebot that a page hasn't changed since the last time it was crawled

.

305 (Use proxy) The requestor can only access the requested page using a proxy. When the server returns this response, it also indicates the proxy that the requestor should use.
307 (Temporary redirect) The server is currently responding to the request with a page from a different location, but the requestor should continue to use the original location for future requests. This code is similar to a 301 in that for a GET or HEAD request, it automatically forwards the requestor to a different location, but you shouldn't use it to tell the Googlebot that a page or site has moved because Googlebot will continue to crawl and index the original location.

בהזדמנות אכתוב פוסט על הודעות 30x ומה הדרך הנכונה להשתמש בהן.

3 תגובות

אוג 10 2008

מופז-בלוג :: הדגמה חיה של שלומיאליות ממוסדת

מאת נושאים כללי,קידום אתרים

עידוק, שאול, ליאור וליכטש החליטו לעשות מעשה.

שאול מופז השקיע 30,229.80 ש"ח באתר צולע שממוקם אי שם בעמוד העשירי בגוגל, הכסף הגיע כמובן מתקציב הקשר עם הבוחר, הוי אומר מהכיס הציבורי. זה הגיוני? מה אפשר לעשות עם 30,000 ש"ח?!

עידוק וחברים מדגימים מה אפשר לעשות עם פחות מ2000 ש"ח ומשאירים לשאול מופז להמשיך ולדמיין מה הוא עוד היה יכול לעשות עם התקציב המופרך שלו.

הם הקימו בלוג וורדפרס חסר עלויות לחלוטין (מעבר לרישום הדומיין והאחסון) שאוסף תכנים מהגוגל ניוז. האתר הרישמי של שאול מופז נמצא בעמוד העשירי והם הגיעו לעשיריה הראשונה.

כיצד הם עשו זאת?

הם דיברו בשפה נכונה לגוגל בוט. הם הציעו תכנים (למרות שהם היו תכנים כפולים וחסרי משמעות) וכתבו את האתר בצורה נכונה. כך בפחות מ200 ש"ח הוצאות אמיתיות הם הביסו את 30,000 השקלים שמופז זרק לאשפה.

עוד מקרה המראה עד כמה חשוב לערב את חברת קידום האתרים כבר מהשלבים הראשונים של תכנון האתר, כך חוסכים אלפי שקלים ומקבלים מוצר טוב בהרבה.

כל הכבוד לעידוק וחברים על ההדגמה החיה לבזבוז משאבי ציבור.

—————————-

אגב, אם היה צריך הדגמה חיה להבדל בין בלוגרים לעיתונאים, בבלוג עבודה שחורה מנסים לכבוש את הביטויים [ציפי לבני] ו[שאול מופז], לשם כך הוחלט לכתוב על כל אחד פוסט ולקשר אליו ממקומות רבים ככל האפשר. אולם כשבלוגרים שניזונים מהאינטרנט ולא יודעים לחפש מידע בצורה עצמאית מחליטים לכתוב כתבות עיתונאיות, הן נראות כך:

כשבלוגר, מוצלח ככל שיהיה, מחליט להיות עיתונאי, גם התוצאה הזאת לגיטימית.

4 תגובות

« הקודם - הבא »

FireStats icon ‏מריץ FireStats‏