האם AI יכול לקרוא את האתר?
ניטור סורקי AI שמפריד בין בוטים אמיתיים למתחזים
ניטור סורקי AI עונה על השאלה אם הבוטים שמאחורי ChatGPT, Claude ועוזרים אחרים יכולים לקרוא את הדפים שלכם. Growth Radar סופר ביקורי סורקים רק כשהבקשה באמת הגיעה מהחברה שהשם טוען לה, מסמן מתחזים, ובודק אם robots.txt או חומת אש דוחים סורקים אמיתיים.
מה נמדד, ואיך
שלוש שאלות, לכל אחת קריאה משלה, כי בוט שמותר ב־robots.txt עדיין יכול להיחסם שכבה אחת למטה.
- ביקורי סורקים מאומתים
- ביקורים של סורקי ה־AI הגדולים, שנספרים רק כשהבקשה אומתה כמגיעה מהחברה ששמה מופיע.
- מתחזים
- בקשות שמשתמשות בשם של סורק אבל מגיעות ממקום אחר, ולכן נשארות מחוץ לספירה האמיתית.
- בדיקת גישה
- האם robots.txt מתיר כל סורק, והאם האחסון או חומת האש עונים לו בדף אתגר במקום בדף עצמו.
למה בדיקת robots.txt לא מספיקה
אתרים רבים מתירים סורקי AI ב־robots.txt ואז מאבדים אותם בגלל כלל הגנה מבוטים שאף אחד לא זוכר שהפעיל. מבחוץ הקובץ נראה תקין. רק בקשה שמתנהגת כמו הסורק מראה מה באמת חוזר.
הבדיקה החינמית עושה בדיוק את זה לכל דומיין בלי חשבון, ומסמנת כל תוצאה כעברה, נכשלה או לא נמדדה.
מה הוא לא רואה
- סריקה היא לא ציטוט: בוט שקורא דף לא אומר שעוזר AI יצטט אותו.
- הביקורים נספרים מהיומנים של אתרים שחוברו ל־Growth Radar, ולכן לאתר בלי חיבור אין היסטוריית ביקורים.
- הכלי לא יכול לבטל חסימה בשבילכם. הוא אומר לכם איפה החסימה.
- Pro עולה 49$ בחודש עבור 5 אתרים, ו־Agency עולה 199$ בחודש עבור 50. כל חשבון חדש מקבל 14 ימי ניסיון חינם, בלי כרטיס אשראי.
שאלות נפוצות
איך יודעים אם GPTBot יכול לסרוק את האתר?
בודקים ב־robots.txt אם יש כללים עם שמו, ואז בודקים שהאחסון או חומת האש לא מאתגרים את הבקשות שלו. בודק הנראות החינמי מריץ את שתי הבדיקות לכל דומיין.
האם כדאי לחסום סורקי AI?
זה תלוי במה שאתם רוצים. חסימת סורקי אימון מרחיקה תוכן ממודלים עתידיים, וחסימת סורקי חיפוש יכולה להרחיק אתכם מתשובות. שני הסוגים נפרדים, ולכן מחליטים על כל אחד לחוד.
מה זה סורק AI מזויף?
בקשה ששולחת את שם הסורק אבל מגיעה מכתובת שלא קשורה אליו. ספירה שלהם כאמיתיים מנפחת את המספרים, ולכן הם מאומתים ומופרדים.
יש דוח ציבורי על פעילות סורקי AI?
כן, דוח השטח של סורקי AI מראה מה הסורקים הראשיים עשו באתרים של Growth Radar עצמו, עם החלון וגודל המדגם.
עוד בנושא
נסו את זה על האתרים שלכם
מחברים את Search Console ו־28 הימים האחרונים נטענים מיד. הניסיון לא דורש כרטיס אשראי.