to index or not to index
השאלה אם לאנדקס או לא לאנדקס עמודים בגוגל עולה הרבה אצל בעלי אתרים ומקדמי אתרים, כאשר רוצים לשפר את המצב של אתר בגוגל.
התשובה בקצרה היא:
אם העמוד תורם לסמכותיות או לתדמית של האתר או של העסק
אז בהחלט חשוב לאנדקס אותו.
אם לא, לא.
מה זה אומר לאנדקס עמוד?
גוגל פועל כאינדקס של דפים ואתרים, כלומר רשימה מסודרת וממויינת בטבלאות של מסד נתונים יחסי (relational database).
המשמעות של זה היא שכל עמוד שעכשיו מופיע בתוצאות החיפוש עבר תהליך כזה (פחות או יותר) –
גוגל קודם כל התוודע לקיומו, בדרך כלל באמצעות קישור מעמוד אחר באותו אתר, או מאתר אחר כלשהו ברשת,
אחר כך סרק אותו, ואסף את המידע הרלוונטי עליו לתוך הטבלאות בדאטאבייס שלו (זה נעשה בכמה שלבים, ובנוסף מתעדכן תקופתית בכל פעם שגוגל סורק את העמוד פעם נוספת)
ולבסוף – אם הוא החליט שהעמוד ראוי להיכנס לאינדקס – הוסיף אותו לאינדקס הענק של העמודים שיופיעו בתוצאות החיפוש אם וכאשר מישהו יחפש מושג רלוונטי עבורכם.
האינדקס כולל את פרטי העמוד, והתאמה שלו למושגים שונים.
מי מחליט אם לאנדקס עמוד?
מי שמחליט אם עמוד יכנס לאינדקס של גוגל בפועל, הוא גוגל עצמו, או האלגוריתם של גוגל.
אם נתקלת במצב שבו עמוד פתוח לאינדוקס וגוגל לא מאנדקס אותו, אני ממליץ לך לעבור לכאן: למה גוגל לא מאנדקס את העמוד שלי?
כלומר, לבעלי האתר ולמקדמים שלו יש השפעה על האינדוקס של העמוד, אבל זו רק השפעה, וההחלטה הסופית היא של גוגל.
בעל אתר יכול להחליט לא לאנדקס עמוד
בעל אתר יכול להחליט שהאתר, או עמודים מסויימים, לא מתאימים לאינדוקס, ולמנוע מגוגל וממנועי חיפוש אחרים, מלהכניס את העמוד לתוצאות החיפוש.
זה אומר שכדי שעמוד יכנס לאינדקס של גוגל, הוא צריך להיות פתוח לאינדוקס (כלומר למעשה לא מסומן "לא לאינדוקס") באתר עצמו, מצד אחד, ולהיות ראוי ע"י גוגל להיכנס לאינדקס, מצד שני.
עכשיו נסתכל על הסיבות והמניעים של בעל האתר או המקדם לא לאנדקס עמוד, או אפילו אתר שלם, ומה הדרכים למנוע אינדוקס.
איך למנוע אינדוקס של אתר?
ישנם כמה מקרים שבהם לא רוצים שגוגל יציג בתוצאות החיפוש את האתר כולו.
כדי למנוע אינדוקס של האתר כולו, או במילים אחרות, להגיד לגוגל לא לאנדקס את האתר, יש להוסיף הוראת noindex לחלק הראש (head) של עמודי האתר.
למשתמשי וורדפרס יש דרך קלה למנוע אינדוקס של האתר על ידי סימון תיבת בחירה בהגדרות האתר, תחת הגדרות קריאה, כמו שרואים בצילום המסך למטה.
חשוב לזכור להוריד את הסימון כאשר רוצים לעלות לאוויר, אחרת גוגל לא יאנדקס אותו לעולם.
באתרים מבוססי וורדפרס שמותקן בהם תוסף SEO, אפשר להשתמש בהגדרות התוסף כדי לסמן עמוד ספציפי עם הוראת noindex, כדי למנוע מגוגל לאנדקס רק אותו.
עם תוסף יואוסט זה נראה ככה:
עם תוסף ראנקמת' זה נראה ככה:
דרך חליפית, ולאתרים שאינם וורדפרס, היא להוסיף שורה בחלק הראש של על עמודי האתר, עם הוראה לא לאנדקס את עמודי האתר.
ברוב המערכות יש דרך קלה להוסיף קוד ל-head בין אם זה לעמוד ספציפי, או לאתר כולו.
אין הוראה כללית למנוע אינדוקס אתר שלם, מכיוון שלמעשה גוגל לא מאנדקס אתרים, אלא עמודים. לכן ההוראה צריכה להופיע בכל עמוד באתר, שרוצים למנוע אינדוקס שלו.
נוסח ההוראה (הקוד שלה) הוא:
<meta name="robots" content="noindex">
אין דרך למנוע אינדוקס של חלק מעמוד. הוראת noindex חלה על העמוד השלם.
מתי לא לאנדקס עמודים בגוגל?
בחלק זה של המאמר אני אמנה את המקרים בהם אנחנו בוחרים מיוזמתנו לא לאנדקס עמודים בגוגל, מצד אחד כדי למנוע עיכוב בקידום של שאר עמודי האתר, ומצד שני כדי להשאיר יותר משאבים עבורם. בנוסף אני מזכיר כאן מקרים שבהם לא רוצים שגוגל יאנדקס את העמודים כדי לא לשלוח אליהם גולשים.
1. אתר חדש
כאשר מפתחים אתר חדש, ואין בו תכנים רלוונטיים, אפילו המבנה שלו עדיין לא מוכן, אין סיבה לשלוח אותו לאינדוקס, כי בשלב הזה הוא לא מוכן לקבל גולשים. הוא כמו חנות בהקמה, שעדיין לא מוכנה לקבל קונים – גם אם הם בדיוק הקונים שהחנות מכוונת אליהם בסופו של דבר.
2. סביבת פיתוח
כאשר מפתחים בסביבת פיתוח – מצב רלוונטי גם כשרוצים להוסיף או לעדכן חלק מהאתר, וגם כאשר עושים בו שינוי כולל כמו שינוי מערכת, או שינוי עיצוב מוחלט – לא רוצים שגולשים יגיעו לאתר שנמצא בסביבת הפיתוח, מכיוון שבדיוק כמו אתר חדש, הוא לא מוכן לקבלת קהל.
לכן מונעים אינדוקס של האתר בגוגל.
בנוסף, אתר בסביבת פיתוח מופיע בכתובת זמנית, ולא בכתובת הקבועה שלו, כלומר בעלי האתר לא רוצים שגוגל יכיר את הכתובת הזאת, כי היא תהפוך להיות לא-רלוונטית בעוד זמן מה, וזו עוד סיבה שלא להכניס אותו לאינדקס של גוגל.
סיבה שלישית חשובה מאוד שלא לאנדקס סביבת פיתוח, היא שיש שם לרוב תכנים זהים, או דומים מאוד לתכנים באתר הראשי, וזה עלול לגרום לתחרות בין האתר הראשי, לאתר בפיתוח (מה שמכונה "כפילות תוכן").
3. אתר פרטי (לא פומבי)
לא כל אתר מיועד לקהל הרחב. ישנם אתרים שמיועדים ומתאימים לקבוצה מצומצמת של אנשים, או אפילו לאדם אחד. במקרים כאלה אין צורך או רצון של בעל האתר לתת לו חשיפה בגוגל.
אפשר כמובן לסגור אתר בעזרת איזור לחברים בלבד, אבל פעולה כזאת כרוכה בהגדרות נוספות ובהתקנת תוסף מתאים (שעשוי לעלות כסף במקרים רבים), שלא נדרשת אם למעשה מה שאנחנו רוצים הוא לשים תוכן שאינו סודי, אבל אין לו אופי פומבי.
מקרה כזה יכול להיות אתר של אגודה מסויימת, אתר משפחתי לבני המשפחה בלבד וכד'.
כך מי שיקבל קישור ישיר לאתר, יוכל לגשת אליו, אבל הוא לא ימצא במנועי חיפוש.
4. אתר לחברים בלבד, או איזור לחברים בלבד
מצב מאוד דומה לאתר פרטי הוא אתרי חברים או אתרים שחלקים מתוכם מיועדים לחברים בלבד. באתרים כאלה, ישנם עמודי כניסה, שיחזור סיסמה, וכמובן עמודי התוכן הפנימיים שמיועדים רק לחברים, שבעלי האתר לא רוצים לחשוף למי שאינם חברים, ולכן גם ימנעו גישה ממנועי החיפוש.
חלק מהאתרים האלה יחסום לחלוטין גישה (ע"י disallow), אשר לא מאפשרת לגוגל להיכנס לעמוד, אך פעולה זאת אינה מונעת את האינדוקס, רק את הגישה לתוכן עצמו.
מנגנון רישום החברים באתר לרוב חוסם גישה ואינדוקס לעמודים אלה לפי ההגדרות שהוגדרו בו בזמן ההקמה של האתר או של איזור החברים.
חשוב לדעת, שאתרים מסויימים שמעוניינים למשוך חברים חדשים, בוחרים לאנדקס גם את העמודים שמיועדים לחברים בלבד, ולהתיר גישה רק לחלק מהתוכן, וכך ליצור טיזר שימשוך את הגולשים להירשם לאתר. אתרי עיתונים ומגזינים כגון "הארץ" או "Epoch Times" נוקטים בגישה הזאת.
5. עמוד בבניה באתר קיים
כאשר רוצים להוסיף תוכן לאתר קיים, אפשר להוסיף אותו כתוכן טיוטה, ואז הוא לא זמין למי שאינו מנהל או עורך באתר – זו דרך אחת למנוע מגולשים להיכנס אליו לפני שהוא מוכן.
או לחליפין אפשר לסמן אותו לא לאינדוקס ברמת העמוד הבודד.
כאמור, אפשר להוסיף אליו את הקוד לא לאינדוקס לחלק הראש של העמוד:
<meta name="robots" content="noindex">
6. מידע לא עדכני
בתחומים רבים, בעיקר בנושאים טכניים, המידע באתר עשוי להתעדכן ולהתחדש במהלך שנות הקיום של העסק ושל האתר.
לפעמים בעלי האתר רוצים לשמור מידע ישן באתר, למען משתמשים ותיקים, תוכנות ישנות, או מכשירים ישנים, שאינם בשימוש נפוץ, אבל עדיין קיימים, וזקוקים למידה מסויימת של תמיכה.
בעלי אתרים מסויימים בוחרים להשאיר עמודים אלה פתוחים לאינדוקס, ומציינים גירסאות ודגמים כחלק מסימני הזיהוי של העמוד (כותרת עמוד, תיאור, כותרת תוכן – title, description, h1), כדי שגוגל ידע להבדיל ביניהם ובין העמודים השייכים לגרסאות החדשות של אותם מוצרים.
לעומתם, יש בעלי אתרים שמעדיפים להשאיר את העמודים באתר, ופתוחים למנוע חיפוש פנימי, אך למנוע אינדוקס של גוגל. (שיקול נוסף לטובת ההחלטה הזאת הוא תקציב זחילה שמוזכר בהמשך.)
7. עמודים רשמיים באתר
באתרים רבים יש עמודים רשמיים שתפקידם להגדיר תחום או להציג עניין רשמי בקשר לאתר.
באתרים עסקיים, אלה עמודים רשמיים כגון: תנאי שימוש באתר, עמוד פרטיות, תקנון, , תנאי נגישות של האתר וכדומה.
באתרי חנות, נוספים לרשימה עמודים כגון: עגלת הקניות, עמוד תודה (בהשלמת רכישה) ומדיניות החזרת מוצרים.
עמודים כאלה אולי מחוייבים להיות באתר ממניעים רגולטוריים או משפטיים, אבל ברוב המקרים, לא סביר שגולשים יחפשו אותם בגוגל, ולכן גם אם לעתים הם מוצגים בפוטר של האתר (כלומר זמינים מכל עמודי האתר), בעלי האתר יכולים לבחור להוציא אותם מהאינדקס ע"י הוראת noindex ולצמצם את העמודים המאונדקסים לעמודי המידע ולעמודים מסחריים בלבד.
ישנם בעלי אתרים שבוחרים להשאיר את העמודים האלה מאונדקסים, כדי להראות לגוגל שמדובר בעסק אמיתי ומסודר, ומתוך מחשבה שאנשים לא יחפשו את העמודים מהסוג הזה, ולכן אין לזה חשיבות אם הם יופיעו באינדקס או לא.
8. תוכן משוכפל שמופיע באתר אחר
ישנו מיתוס באינטרנט ובקרב מקדמי אתרים שגוגל מעניש על שיכפול תוכן. זה מאוד לא מדוייק, ומלבד הסיכוי לתביעה על בסיס זכויות יוצרים וקניין רוחני, אין ענישה על תוכן משוכפל.
מה שכן, גוגל לא נוטה להציג מידע זהה משני אתרים, כלומר גם אם עמוד כלשהו מאונדקס (כלומר שמור באינדקס של גוגל), אם יש בו תוכן שכבר קיים בעמוד אחר מאונדקס – באותו אתר, או באתר אחר – גוגל יציג רק אחד מהם, בדרך כלל את זה שבו התוכן הופיע קודם, אבל לפעמים הוא עלול להציג את החזק והסמכותי מביניהם (בעיקר אם הם הופיעו בהפרש זמן קצר אחד מהשני).
כדי לחסוך את הדילמה הזאת, ולמנוע קרב בין שני אתרים על בסיס אותו תוכן, בעיקר כאשר הצגת התוכן היא לגיטימית.
למשל בעל עסק שמפרסם מאמר מקצועי באתר קולגה (Guest Post), ורוצה להציג את המאמר הזה גם באתר שלו עצמו. יחד עם זאת, מן הסתם הוא לא רוצה להיכנס לעימות עם האתר שבו הוא פרסם את המאמר, מטעמים ברורים, ולכן הוא יכול להציג את המאמר אצלו, עם הנחייה שאומרת שהמקור של המאמר נמצא באתר אחר (הנחיית קנוניקל). כך האתר המפרסם יקבל את הכוח, והאתר של בעל המקצוע יוכל להציג את המאמר, אבל לא להיות מדורג או מאונדקס איתו בגוגל.
מקרה נוסף, שיכול להיות מאוד רלוונטי הוא כאשר אתר מופיע ונטען עם כמה כתובות – למשל, גם עם www, וגם בלי. זה לא מצב אידיאלי, ומהסתכלות של SEO טכני, אני ממליץ ליצור הפניות לגירסה אחת אחידה. אבל כך או כך, כאשר המצב הזה קיים, למעשה כל עמוד באתר מופיע ב-2 כתובות שונות (גם אם ההבדל הוא רק הקידומת – הסב-דומיין – www, או אפילו קידומת האבטחה, http בגירסה אחת, ו-https בגירסה השניה, מבחינת גוגל אלו 2 כתובות שונות).
גם במצב כזה חשוב לציין בעזרת הוראת קנוניקל מהי הכתובת הראשית, ורק היא תקבל את הכוח. (* ושוב, אני ממליץ לתקן את זה, ולהשאיר כתובת אחת לדומיין, וכתובת יחידה לכל עמוד – זה תיקון פשוט, אבל משמועתי ליכולת של אתר לצבור כוח קידומי).
ומקרה שאי אפשר לפסוח עליו, הוא עמודים שמופיעים עם פרמטרים לסימון או לסינון, למשל, אתר מסחרי, שמציג קטגוריות מוצרים, עם סינון מתקדם, אנחנו רוצים שרק עמוד הקטגוריה, ללא סינון יופיע בתוצאות החיפוש, ולכן משתמשים בקנוניקל כדי להצביע עליו בתור העמוד הראשי.
לרוב זה תהליך שנעשה באופן אוטומטי על ידי מנגנון החנות באתר (למשל תוסף Woocommerce).
כמובן, במקרה כזה של חנות שמציגה סינונים שונים, לא נרצה למנוע אינדוקס, אלא רק לתת הנחיית קנוניקל.
באותו אופן נתייחס לעמוד שמופיע עם פרמטרים, למשל סימון לצורך סטטיסטיקות – מופיע בסוף כתובת העמוד, עם "?" (סימן שאלה) ואחריו רשימה של פרמטרים כמו שאפשר לראות בקישורים שמגיעים מפייסבוק.
כמובן, לא נרצה להסיר אותו מהאינדקס על בסיס פרמטר שאומר שהגולש הגיע אליו מפייסבוק, אלא פשוט מסמנים אותו עם הוראת קנוניקל, לגירסה הראשית של העמוד, ללא אותם פרמטרים.
* הנחיית קנוניקל לא מחליפה את הנחיית noindex, אלא באה בנוסף אליה. באופן מעשי, גוגל סורקים פחות עמודים שאינם קנוניים, אבל הם עשויים להופיע באינדקס, ובתוצאות החיפוש במקרים נדירים.
כך זה נראה בקוד של אחד העמודים באתר הזה:
9. עמודי נחיתה שיווקיים
עמודי נחיתה הם עמודים שהתנועה אליהם מגיעה בעיקר מקמפיינים ממומנים, ומהפניות (למשל שותפי אפילייט של בעל האתר).
במקרים רבים, אין לבעל האתר אינטרס לקדם עמודים כאלה בצורה אורגנית. בעיקר אם מדובר במבצע או פעילות קצרת טווח, כי הרי קידום אורגני עשוי לקחת כמה חודשים להראות תוצאות, ומסתמך על כך שהעמוד ישאר באוויר לאורך זמן, בעוד שבמבצע לא תמיד אפשר להכריז עליו תקופה ארוכה מראש, והרבה פעמים הוא יורד אחרי זמן מסויים – לרוב פחות מחודש.
לכן בעלי אתרים רבים משאירים דפי נחיתה שיווקיים מהסוג הזה ללא קישורים נכנסים, ועוד רבים מהם נמנעים מלאפשר לגוגל לאנדקס את העמודים.
אם תבדקו את האתר עם כלי בדיקה אוטומטיים, יתכן שתקבלו התרעה על עמודים יתומים (Orphan Pages – עמודים שאין אליהם קישורים נכנסים), אבל אם זה מגיע מתוך אסטרטגיה והחלטה – זה יכול לתרום לכם, ואפשר להתעלם מההתרעה הזאת.
10. עמודים "לא מעניינים", לא רלוונטיים וכד'
בכל אתר יש עמודים, שלא מוסיפים לאתר או לבעליו, דבר לסמכותיות או לתדמית.
נוסיף לזה את העובדה, שיש לגוגל תקציב זחילה שהם מקצים לכל אתר, וכאשר אתר מסיים את המכסה שלו, גוגל פשוט עוזב, עד מועד הסריקה הבא.
בצורה כזאת בעל אתר יכול, בעזרת המקדם שלו, להחליט שעמודים מסויימים לא מועילים, ואולי אפילו מזיקים לו, ולכן כדאי לו להוציא מהאינדקס עמודים שלא תורמים לו סמכותית, תדמיתית או עסקית – כדי למקד את גוגל בנושא של האתר, וליצור סמכותיות נושאית, וכן לחסוך בתקציב זחילה, כך שיוקצה לעמודים רלוונטיים יותר.
לסיכום
אפשר לראות שיש מגוון סיבות להוציא עמודים מהאינדקס של גוגל, או למנוע מגוגל לאנדקס עמודים מסויימים מלכתחילה.
חשוב לזכור שאין כלל חקוק בסלע, וכדאי להפעיל שיקול דעת וחשיבה אסטרטגית, כדי להשיג את מה שחשוב לך עבור האתר שלך.
