OpenAI, Google, Microsoft ו-Anthropic מאמצות סימון אחיד ב-robots.txt לחסימת אימון AI על תוכן אתרים

Google, Microsoft ו-OpenAI הודיעו שיכבדו סימון אחיד ב-robots.txt שמאפשר לבעלי
OpenAI, Google, Microsoft ו-Anthropic מאמצות סימון אחיד ב-robots.txt לחסימת אימון AI על תוכן אתרים
בקצרה: ב-30 באוקטובר 2026 הודיעו Google, Microsoft ו-OpenAI שיכבדו סימון אחד ב-robots.txt, __usage_ai-training, שמאפשר לבעלי אתרים לבקש שהתוכן שלהם לא ישמש לאימון מודלי AI. את טיוטת התקן הגיש מהנדס של Anthropic, שלדבריה כבר החלה ליישם אותו. לפי Google ו-Microsoft, הסימון לא משפיע על ההופעה בתוצאות החיפוש הרגילות.

עד היום, בעל אתר שרצה למנוע מחברות AI לאמן מודלים על התוכן שלו נאלץ לחסום כל סורק בנפרד: GPTBot של OpenAI, Google-Extended, ClaudeBot ועוד. ההכרזה מסוף השבוע מנסה לפשט את זה: שורה אחת בקובץ robots.txt שכמה מהחברות הגדולות התחייבו לכבד.

מה קרה

ביום שישי, 30 באוקטובר, פרסמו Microsoft (בבלוג של Bing), Google ו-OpenAI הודעות על תמיכה באות משותף להעדפות אימון AI. באותו יום הוגשה ל-IETF, הגוף שמנהל תקני אינטרנט, טיוטה בשם Machine-Readable Training Preference Signal, שכתב Kevin Kelley מ-Anthropic. חשוב לדעת: זו טיוטה אישית שעדיין לא אושרה כתקן רשמי.

הפרטים

  • איך זה עובד: מוסיפים ל-robots.txt קבוצה עם User-Agent: __usage_ai-training ותחתיה Disallow: / לחסימת כל האתר, או נתיבים ספציפיים. אפשר גם להחריג נתיבים עם Allow.
  • זה לא חוסם סריקה: הסימון מבטא העדפה לגבי שימוש בתוכן לאימון, לא איסור כניסה. כלל כללי (User-Agent: *) לא נחשב להבעת העדפה.
  • Microsoft: תתחיל לכבד את ההעדפות החדשות מ-1 בפברואר 2027. היא מוסיפה גם הגדרה נפרדת ל-Grounding, כלומר שימוש בתוכן כדי לבסס תשובות AI, ברמת העמוד. לפי החברה, חסימת Grounding מפחיתה משמעותית את החשיפה בחוויות AI.
  • תגיות ישנות: אחרי 1 במרץ 2027 Microsoft תפסיק לקרוא את NoArchive ו-NoCache כהעדפות אימון או Grounding.
  • Google: לפי הדיווח ב-PPC Land, הסימון ייחשב כחסימת Google-Extended, עם יעד יישום בתחילת 2027. AI Overviews ו-AI Mode ממשיכים להיות מנוהלים בנפרד.
  • OpenAI: מתכננת ליישם "בחודשים הקרובים", והבקרות הקיימות שלה ב-robots.txt נשארות.
  • מי לא בפנים: לפי הדיווחים, Meta, Amazon ו-Apple לא הצטרפו להתחייבות.

מה זה אומר לעסקים בישראל

לרוב העסקים, ההחלטה החשובה היא לא אם לחסום אימון אלא איך לא לפגוע בעצמם. עסק שרוצה להופיע בתשובות של ChatGPT, Gemini ו-Copilot (מה שנקרא GEO) צריך שהתוכן שלו יהיה נגיש, ובמיוחד לא לחסום Grounding. מנגד, אתרים שהתוכן שלהם הוא המוצר, כמו מדריכים בתשלום, מחקרים או מאגרי מידע, מקבלים עכשיו דרך פשוטה יותר להגן עליו.

מה כדאי לעשות כבר עכשיו: לבדוק מה כתוב היום ב-robots.txt של האתר, לוודא שלא נחסמו בטעות Googlebot או Bingbot, ולהחליט במודע מה מדיניות ה-AI שלכם לפני שהשינויים נכנסים לתוקף בתחילת 2027. אתרים שמשתמשים ב-NoArchive או NoCache צריכים לשים לב במיוחד למועדים של Microsoft.

ניתאי לוי
נערך על ידי
ניתאי לוי
הבעלים והעורך הראשי של Digitalix · מייסד ומנכ״ל PersonaAI

המדריכים ב-Digitalix נכתבים על בסיס מקורות רשמיים ומתעדכנים באופן שוטף. מדיניות העריכה שלנו.

Facebook
LinkedIn

תוכן עניינים

צריכים עזרה בתחום?

ספרו לנו מה העסק צריך, ונחזור עם המלצה והצעת מחיר. בלי התחייבות.

לקבלת הצעת מחירוואטסאפ

עוד מדריכים שיעניינו אתכם

תפריט נגישות

✦ הצעת מחיר תוך יום עסקים

ספרו לנו מה העסק צריך

כמה פרטים קצרים, ונחזור עם המלצה והצעה מותאמת.

בלי התחייבותמענה מהיר058-4770195
התקשרו וואטסאפ קבלו הצעה
Digitalix
Privacy Overview

This website uses cookies so that we can provide you with the best user experience possible. Cookie information is stored in your browser and performs functions such as recognising you when you return to our website and helping our team to understand which sections of the website you find most interesting and useful.