עד היום, בעל אתר שרצה למנוע מחברות AI לאמן מודלים על התוכן שלו נאלץ לחסום כל סורק בנפרד: GPTBot של OpenAI, Google-Extended, ClaudeBot ועוד. ההכרזה מסוף השבוע מנסה לפשט את זה: שורה אחת בקובץ robots.txt שכמה מהחברות הגדולות התחייבו לכבד.
מה קרה
ביום שישי, 30 באוקטובר, פרסמו Microsoft (בבלוג של Bing), Google ו-OpenAI הודעות על תמיכה באות משותף להעדפות אימון AI. באותו יום הוגשה ל-IETF, הגוף שמנהל תקני אינטרנט, טיוטה בשם Machine-Readable Training Preference Signal, שכתב Kevin Kelley מ-Anthropic. חשוב לדעת: זו טיוטה אישית שעדיין לא אושרה כתקן רשמי.
הפרטים
- איך זה עובד: מוסיפים ל-robots.txt קבוצה עם User-Agent: __usage_ai-training ותחתיה Disallow: / לחסימת כל האתר, או נתיבים ספציפיים. אפשר גם להחריג נתיבים עם Allow.
- זה לא חוסם סריקה: הסימון מבטא העדפה לגבי שימוש בתוכן לאימון, לא איסור כניסה. כלל כללי (User-Agent: *) לא נחשב להבעת העדפה.
- Microsoft: תתחיל לכבד את ההעדפות החדשות מ-1 בפברואר 2027. היא מוסיפה גם הגדרה נפרדת ל-Grounding, כלומר שימוש בתוכן כדי לבסס תשובות AI, ברמת העמוד. לפי החברה, חסימת Grounding מפחיתה משמעותית את החשיפה בחוויות AI.
- תגיות ישנות: אחרי 1 במרץ 2027 Microsoft תפסיק לקרוא את NoArchive ו-NoCache כהעדפות אימון או Grounding.
- Google: לפי הדיווח ב-PPC Land, הסימון ייחשב כחסימת Google-Extended, עם יעד יישום בתחילת 2027. AI Overviews ו-AI Mode ממשיכים להיות מנוהלים בנפרד.
- OpenAI: מתכננת ליישם "בחודשים הקרובים", והבקרות הקיימות שלה ב-robots.txt נשארות.
- מי לא בפנים: לפי הדיווחים, Meta, Amazon ו-Apple לא הצטרפו להתחייבות.
מה זה אומר לעסקים בישראל
לרוב העסקים, ההחלטה החשובה היא לא אם לחסום אימון אלא איך לא לפגוע בעצמם. עסק שרוצה להופיע בתשובות של ChatGPT, Gemini ו-Copilot (מה שנקרא GEO) צריך שהתוכן שלו יהיה נגיש, ובמיוחד לא לחסום Grounding. מנגד, אתרים שהתוכן שלהם הוא המוצר, כמו מדריכים בתשלום, מחקרים או מאגרי מידע, מקבלים עכשיו דרך פשוטה יותר להגן עליו.
מה כדאי לעשות כבר עכשיו: לבדוק מה כתוב היום ב-robots.txt של האתר, לוודא שלא נחסמו בטעות Googlebot או Bingbot, ולהחליט במודע מה מדיניות ה-AI שלכם לפני שהשינויים נכנסים לתוקף בתחילת 2027. אתרים שמשתמשים ב-NoArchive או NoCache צריכים לשים לב במיוחד למועדים של Microsoft.



