הפורומים עושים קאמבק: מה זה Pay Per Crawl? ומי ירוויח מזה?

במשך שנים, מנועי חיפוש ובוטים של מערכות בינה מלאכותית סרקו אתרי אינטרנט בחינם, תוך שהם שואבים תוכן לצורכי למידה, אינדוקס, או הפקת תובנות - מבלי שבעלי התוכן קיבלו תמורה כלשהי על כך. אבל עם הגידול העצום בשימוש במודלים כמו קלוד (Claude), צ'אט ג'יפיטי (GPT) וג'ימניי (Gemini) התחילו לעלות שאלות על זכויות יוצרים, פיצוי הוגן, והיכולת של בעלי אתרים לשלוט על מי שצורך את התוכן שלהם - ובאיזה מחיר.

מאז קיץ 2025, נכנס מודל חדש לתמונה - Pay Per Crawl - שמאפשר לאתרים לדרוש תשלום פר סריקה של תוכן מצד בוטים מסחריים, במיוחד של מערכות בינה מלאכותית.

שרה לין - מנהלת החדשנות בקלאודפלייר מספרת בראיון ל- CyberScoop כי:
"אחרי מאות שיחות עם בעלי אתרים - מו"לים, ארגוני חדשות, בלוגים מקצועיים - שמענו שוב ושוב את אותו דבר: הם לא רוצים לחסום לחלוטין את בוטי הבינה המלאכותית, אבל הם כן מצפים לקבל על כך תשלום".

מה זה Pay Per Crawl?

מדובר בפתרון שפיתחה Cloudflare, שנועד לאפשר מוניטיזציה ישירה של גישת בוטים לתוכן, באמצעות שילוב של פרוטוקול HTTP 402 - Payment Required - לצד מנגנוני זיהוי חתומים של הבוט.

כשבוט (למשל של Claude או GPT) מנסה לגשת לדף אינטרנט שמוגן במודל הזה, השרת מחזיר הודעת 402 שכוללת:

• מחיר לגישה לעמוד (לדוגמה: 0.004$) 
• כתובת תשלום
• פרטים שיאפשרו חתימה דיגיטלית ואימות

רק אם הבוט משלם - הוא מקבל את התוכן. אם לא - הגישה נחסמת. הכל נעשה בזמן אמת, מול שרתי Cloudflare או דרך Stripe.

אילו חברות כבר מפעילות את המודל התשלום פר סריקה (Pay‑Per‑Crawl)?

נכון ליולי 2025, החלו להפעיל את המודל בפועל:

• The Atlantic - עיתון אמריקאי בעל תוכן מקצועי, פוליטי ותרבותי
• TIME - מגזין חדשות בינלאומי ותיק ומשפיע
• Reddit - רשת פורומים וקהילות תוכן גולשים
• Fortune  - מגזין אמריקאי לתוכן כלכלה ועסקים
• Condé Nast - מוציאים לאור של Wired, GQ, Vogue
• Associated Press - סוכנות ידיעות אמריקאית מוכרת
• BuzzFeed - אתר תוכן ויראלי, חדשות ובידור

בנוסף, עשרות אתרים קטנים יותר - בעיקר אתרי תוכן רפואי, כלכלי, או פרימיום - מבצעים פיילוטים. Cloudflare עצמה הצהירה שיותר מ־24 מו"לים גדולים הצטרפו למערכת תוך שלושה שבועות בלבד מהשקתה הפומבית, ושהם צפויים להכניס הכנסות ישירות ממיליוני בקשות סריקה בחודש.
 

מה אנחנו במוזה דיגיטל (MUZA Digital) חושבים על זה?

מטר גרוס, המנהל האסטרטגי שעוסק בעיקר ב- SEO, GEO וטכנולוגיות שיווק אומר:

"אני יודע שזה נשמע מוזר אבל אני חושב שזה אחד הצעדים שיביאו לחזרה של הפורומים, כן כן אמרתי פורומים. נכון, אמנם אין לנו שימוש רחב כמו שהאמריקאים משתמשים ב- REDIT, אבל אני מאמין שנראה חזרה של פורומים כמו FXP ותפוז"

מטר גרוס, כאסטרטג SEO עם הבנה עמוקה בהתנהגות של בוטים, מערכות AI, ותוכן גולשים, מזהה מגמה שמתעצמת מתחת לפני השטח: ברגע שתוכן מקצועי, עיתונאי או איכותי מתחיל לעבור מאחורי חומות תשלום לבוטים - כלומר, ברגע שהוא הופך ל־unavailable עבור סורקים של GPT, Claude ודומיהם - מערכות הבינה המלאכותית "יתעוורו" לחלקים עצומים מהאינטרנט.

בדיוק כמו שרדיט הפך למקור זהב ל- LLMs בגלל האותנטיות שבו - גם פורומים ישראליים (כמו FXP, תפוז, וכו') מכילים תוכן גולשים חי, אורגני ואותנטי. וזה בדיוק מה ש- LLM צריך.
 

למה הצעד הבא יהיה השקעה בפורומים?

מטר רואה כאן פוטנציאל אמיתי לאופטימיזציה על בסיס מנועי תוכן גנרטיבי (לא רק חיפוש). מי שרוצה להופיע בג'יפיטי ובקלוד צריך למקם את התוכן שלו במקום שהבוטים כן יכולים לקרוא אותו. ואם כל הבלוגים והעיתונים יחסום, הפורומים יהפכו לנדל״ן החם של דור ה- GEO.

התקדים של רדיט (Redit)

כבר ב-2023 רדיט יצרו תקדים עולמי: האתר התחיל לדרוש תשלום ממודלים כמו OpenAI על שימוש בתוכן שנוצר בקהילות שלו. מה שקרה מיד אחר כך היה כמעט חסר תקדים — אלפי פורומים ב- Reddit הושבתו כאקט מחאתי, אפליקציות צד ג' קרסו, והגישה הציבורית ל- API צומצמה דרמטית.

התוצאה? הבוטים של ה-AI איבדו גישה למקור ידע קריטי. פתאום, תשובות על טכנולוגיה, רפואה או תחומי DIY הפכו פחות מדויקות. ההשפעה הורגשה אפילו במודלים כמו GPT.

מה שקרה בהמשך רק המחיש את הכוח של תוכן קהילתי: Google ו- OpenAI נאלצו לחתום על הסכמי ענק עם Reddit בשווי עשרות מיליוני דולרים - רק כדי לחזור לאותה זרימת מידע.

ועכשיו, ב- 2025, קורה בדיוק אותו דבר — רק בקנה מידה הרבה יותר גדול. מאות אתרים, כולל TIME, BuzzFeed ו- The Atlantic, מתחילים לחסום או לגבות כסף ממודלים של AI דרך Pay Per Crawl.

מי יישאר פתוח? אולי רק הפורומים.

רשתות חברתיות: בעיית אי הסריקות

למרות שהרשתות החברתיות מפוצצות בתוכן, הגישה של בוטים ומנועי בינה מלאכותית אליו היא מאוד מוגבלת - ולעיתים פשוט לא משתלמת.

בפייסבוק לדוגמה, רוב התוכן דורש התחברות כדי לראות אותו - מה שאומר שמנועי AI כמו GPT לא יכולים פשוט להיכנס ולסרוק. מעבר לזה, הקבצים שחוסמים סריקה (רובוט טקסט) מונעים גישה לרוב עמודי התוכן, וגם ה- API של פייסבוק כבר ממש לא פתוח כמו פעם - במיוחד מאז כל הסיפור עם קיימבריג' אנליטיקס.

טוויטר (או X, אם אתם מתעקשים) הלכה אפילו יותר רחוק: מאז שאילון מאסק נכנס לתמונה, הגישה דרך API הפכה ליקרה בטירוף - לפעמים עשרות אלפי דולרים לחודש - ובוטים שלא משלמים פשוט נחסמים. אפילו OpenAI ומיקרוסופט נאלצו לעצור את הסריקות עד להסכמים מסחריים.

באינסטגרם ובטיקטוק הסיפור שונה, משום שמדובר בפלטפורמות שהמבנה שלהן מבוסס כמעט לחלוטין על תוכן ויזואלי - תמונות, סרטונים וסטוריז - ולא על טקסט חופשי שניתן לסריקה. כתוצאה מכך, הערך שהפלטפורמות האלה מספקות למודלים מבוססי שפה (LLMs) כמו GPT או Claude הוא מוגבל מאוד. גם כאשר קיים טקסט, לרוב מדובר בכיתובים קצרים, תגיות או תיאורים שנכתבים לצורכי אלגוריתם פנימי, ולא כמקור מידע עמוק.

יותר מזה, מבנה הדף באפליקציות הללו פחות מותאם לסריקה חיצונית - ומוגבל בגישה דרך API, מה שמקשה עוד יותר על מודלים לאסוף מהן מידע בקנה מידה רחב.

שינוי בדפוסי יצירת התוכן - SEO GEO בסושיאל

יותר ויותר יוצרי תוכן מתחילים להוסיף טקסט ארוך בתיאור של סרטונים, או להשתמש בכתוביות עשירות - כדי "להאכיל" את האלגוריתם במידע. סוג של קידום אורגני בסושיאל.

אפשר לראות כבר תקופה את השינוי בדפוסי יצירת התוכן ברשתות, שיטות SEOיות גולשות גם לרשתות החברתיות. יוצרי תוכן מתחילים לכתוב תיאורים ארוכים וכתוביות מפורטות, לא רק בשביל הקהל - אלא בשביל הבוטים. כי כשהגישה למידע מצטמצמת, גם הסרטון צריך לספר סיפור שמכונה תוכל להבין.

אז לא - הרשתות החברתיות לא חסומות לגמרי, אבל אפשר להגיד שהגישה של AI אליהן היא מאוד חלקית, מסובכת, ובמקרים רבים גם יקרה. ולעומת הרשתות החברתיות, פורומים הם פתוחים, טקסטואלים, ואפילו די שקופים לבוטים - מה שממקם אותם פתאום באור מאוד רלוונטי.