מדריך · Scrapling + קלוד קוד
ווב סקרייפינג עם קלוד קוד בעזרת Scrapling
Scrapling הוא כלי קוד פתוח וחינמי שאוסף מידע מאתרים: מחירים, מוצרים, טבלאות ודפים שלמים כטקסט נקי. הוא מתמודד עם בדיקת הבוטים של Cloudflare ומוצא את המידע גם כשהאתר משנה עיצוב. מחברים אותו לקלוד קוד דרך MCP, ואז פשוט כותבים בעברית מה אתם רוצים לאסוף.
מה זה Scrapling?
אתם מכירים את זה: צריך מחירים של מתחרים, רשימת מוצרים מחנות או את כל הכתבות מבלוג, ומישהו יושב שעה ומעתיק לאקסל שורה אחרי שורה. זה בדיוק מה שנקרא סקרייפינג, איסוף מידע מאתרים בצורה אוטומטית.
Scrapling הוא כלי קוד פתוח בפייתון שעושה את זה. הוא יודע לשלוח בקשות מהירות לאתר, לפתוח דפדפן אמיתי כשהאתר בנוי ב-JavaScript, לעבור את בדיקת הבוטים של Cloudflare (Turnstile) ולשמור דף שלם כטקסט נקי. נכון ל-21 באוקטובר 2026 יש לו קרוב ל-89 אלף כוכבים בגיטהאב, והוא משוחרר ברישיון BSD-3, כלומר חינם גם לשימוש מסחרי.
מה שהופך אותו למעניין למי שלא כותב קוד: יש לו שרת MCP. בפשטות, MCP הוא חיבור שנותן לקלוד קוד גישה לכלי חיצוני (כתבתי הסבר פשוט על מה זה MCP). אחרי החיבור אתם כותבים לקלוד בעברית מה אתם רוצים מהאתר, והוא מפעיל את Scrapling בשבילכם.
למה לא פשוט לבקש מקלוד לקרוא את האתר?
אפשר, ולפעמים זה עובד. אבל הרבה אתרים חוסמים בקשות שנראות כמו בוט, אחרים טוענים את המידע רק אחרי שהדף נפתח בדפדפן, ויש כאלה שמחזירים עמוד ענק עם פרסומות ותפריטים שאוכל לקלוד את כל הזיכרון.
Scrapling פותר את שלושת הדברים האלה. לפי התיעוד של שרת ה-MCP, יש בו 16 כלים: בקשות מהירות, דפדפן מוסתר שמתמודד עם Cloudflare, צילומי מסך, מילוי טפסים, שמירת התחברות לאתר ומעקב אחרי קריאות ה-API שמאחורי הדף. הוא גם מנקה את התוכן לפני שהוא מגיע לקלוד, חוסם פרסומות ומגן מפני הוראות זדוניות שמוחבאות בדף.
ויש עוד יתרון שחשוב למי שאוסף מידע באופן קבוע: לפי ה-README, כשאתר משנה עיצוב, Scrapling יודע למצוא מחדש את אותו אלמנט לפי דמיון (Smart Element Tracking). הסקריפט לא נשבר בכל פעם שמישהו הזיז כפתור.
איך מתקינים את Scrapling ומחברים לקלוד קוד?
צריך פייתון 3.10 ומעלה על המחשב. אם אין לכם, תבקשו מקלוד קוד להתקין, הוא יודע. ההתקנה עצמה היא שלושה שלבים.
שלב 1: מתקינים את Scrapling עם תמיכה ב-MCP
אתם פותחים טרמינל ומריצים את שתי הפקודות האלה. הראשונה מתקינה את הכלי, השנייה מורידה את הדפדפנים שהוא צריך כדי לפתוח אתרים כבדים:
pip install "scrapling[ai]"
scrapling installההורדה של הדפדפנים לוקחת כמה דקות. אם אתם עובדים עם Docker, יש גם אימג' מוכן: docker pull pyd4vinci/scrapling.
שלב 2: מוצאים איפה הותקן השרת
בתיעוד הרשמי ממליצים לחבר את השרת עם הנתיב המלא שלו. במק ובלינוקס מריצים:
which scrapling-mcpבווינדוס הפקודה היא where scrapling-mcp. מעתיקים את הנתיב שחוזר.
שלב 3: מחברים לקלוד קוד
מריצים את הפקודה הזאת, עם הנתיב שלכם במקום הנתיב לדוגמה:
claude mcp add ScraplingServer "/Users/you/.venv/bin/scrapling-mcp"סוגרים ופותחים מחדש את קלוד קוד, ובודקים עם claude mcp list שליד ScraplingServer כתוב Connected. רוצים שהוא יהיה זמין בכל הפרויקטים ולא רק בתיקייה הנוכחית? מוסיפים --scope user אחרי add.
לא בטוחים בטרמינל? אפשר להדביק לקלוד קוד את הכתובת של עמוד התיעוד ולבקש: "תתקין לי את שרת ה-MCP של Scrapling לפי העמוד הזה". הוא יריץ את הפקודות ויראה לכם מה עשה.
מה אפשר לבקש מקלוד אחרי החיבור?
מכאן אתם מדברים עם קלוד כמו עם עובד. כמה בקשות שעובדות טוב:
תיכנס לעמוד המחירים של שלושת המתחרים האלה ותעשה לי טבלה: שם החבילה, המחיר ומה כלול בה. תשמור כקובץ CSV.
תאסוף את כל המוצרים מהקטגוריה הזאת בחנות, עם שם, מחיר וקישור, ותגיד לי מה חמשת הכי זולים.
תשמור לי את כל עמודי התיעוד של הכלי הזה כקבצי Markdown בתיקייה docs, כדי שתוכל לקרוא אותם אחר כך.
קלוד בוחר לבד איזה כלי של Scrapling להפעיל: בקשה מהירה לדף פשוט, או דפדפן מלא לאתר שטוען תוכן תוך כדי גלילה.
דוגמה: טבלה מאתר תרגול
כדי לנסות בלי לגעת באתר של אף אחד, יש אתר שנבנה בדיוק בשביל זה: books.toscrape.com, חנות ספרים מדומה. בקשה כמו "תביא לי את שם הספר והמחיר של כל הספרים בעמוד הראשון" מחזירה טבלה כזאת (המחירים באתר מומצאים, נכון ל-21 באוקטובר 2026):
| ספר | מחיר |
|---|---|
| A Light in the Attic | 51.77 ליש"ט |
| Tipping the Velvet | 53.74 ליש"ט |
| Soumission | 50.10 ליש"ט |
| Sharp Objects | 47.82 ליש"ט |
בלי קלוד בכלל: פקודה אחת לקובץ
לפעמים רק צריך לשמור דף אחד כטקסט. Scrapling מגיע גם עם פקודת טרמינל שעושה בדיוק את זה. מתקינים את התוספת pip install "scrapling[shell]" ואז:
scrapling extract get 'https://quotes.toscrape.com/' quotes.mdהסיומת של הקובץ קובעת את הפורמט: .md ל-Markdown, .txt לטקסט ו-.html לקוד המקור.
למי Scrapling מתאים?
- בעלי עסקים שעוקבים אחרי מחירים של מתחרים ומעתיקים אותם ידנית
- חנויות אונליין שרוצות להשוות קטלוג מול ספק או מול שוק
- מי שבונה בוט או סוכן AI וצריך להאכיל אותו בתוכן של אתר שלם
- פרילנסרים שמכינים ללקוח דוח שוק מכמה אתרים ציבוריים
- מי שכבר משלם על שירות סקרייפינג בענן ורוצה לבדוק חלופה חינמית שרצה אצלו
חשוב לדעת לפני שמתחילים
- תנאי השימוש של האתר קובעים. ה-README עצמו כותב שהכלי מיועד ללימוד ולמחקר, ושצריך לכבד את תנאי השימוש של כל אתר ואת קובץ robots.txt. אתרים רבים אוסרים איסוף אוטומטי. תתחילו ממידע ציבורי כמו מחירונים, ולא מאזורים שדורשים התחברות שלא שלכם.
- מידע אישי הוא סיפור אחר. שמות, טלפונים ומיילים של אנשים מוגנים בחוק הגנת הפרטיות. איסוף מידע על מוצרים ומחירים זה דבר אחד, בניית מאגר של אנשים זה דבר אחר לגמרי.
- לא כל חסימה נפתחת. Scrapling מתמודד עם Turnstile של Cloudflare, אבל לפי ה-README, אתרים עם הגנה ברמה של חברות גדולות דורשים שירות בתשלום של אחד השותפים שלהם. גם ריצות כבדות בלי פרוקסי יכולות להביא לחסימה זמנית של כתובת ה-IP שלכם.
- קלוד עדיין משלם בטוקנים. Scrapling מנקה את הדף לפני שהוא מגיע לקלוד, אבל איסוף של מאות עמודים דרך הצ'אט יעלה לכם במכסה. לעבודות גדולות תבקשו מקלוד לכתוב סקריפט שרץ לבד ושומר לקובץ.
- מערכות הפעלה. עובד במק, בווינדוס ובלינוקס, עם פייתון 3.10 ומעלה. הדפדפנים שהוא מוריד תופסים מקום בדיסק.
- זה כלי קהילתי. הוא פופולרי ומתעדכן כל הזמן, אבל אין מאחוריו חברה שנותנת תמיכה. אם משהו נשבר, בודקים קודם את עמוד ה-Issues בגיטהאב.
השורה התחתונה
במקום שעה של העתק הדבק, משפט אחד לקלוד. רק תבחרו אתרים שמותר לאסוף מהם, ותשאירו את המידע האישי של אנשים בחוץ.
שאלות נפוצות על Scrapling וסקרייפינג
האם Scrapling חינמי?
כן. Scrapling הוא קוד פתוח ברישיון BSD-3, ומותר להשתמש בו גם לעבודה מסחרית. אתם משלמים רק על מה שקלוד צורך מהמנוי שלכם, ועל פרוקסי בתשלום אם תחליטו שאתם צריכים אחד לאתרים עם הגנה כבדה.
מה זה סקרייפינג?
סקרייפינג, או ווב סקרייפינג, הוא איסוף אוטומטי של מידע מאתרים: מחירים, מוצרים, כתבות או טבלאות. במקום להעתיק ידנית, תוכנה פותחת את הדף, שולפת את מה שצריך ושומרת אותו כטבלה או כקובץ.
צריך לדעת פייתון כדי להשתמש ב-Scrapling?
לא. אחרי שמחברים את שרת ה-MCP לקלוד קוד, אתם כותבים בעברית מה אתם רוצים, וקלוד מפעיל את הכלים. פייתון צריך להיות מותקן על המחשב, וקלוד קוד יכול להתקין אותו בשבילכם.
האם מותר לאסוף מידע מכל אתר?
לא בהכרח. הרבה אתרים אוסרים איסוף אוטומטי בתנאי השימוש, ומידע אישי של אנשים מוגן בחוק הגנת הפרטיות. ה-README של Scrapling מבקש במפורש לכבד את תנאי השימוש ואת robots.txt. זה לא ייעוץ משפטי, ולשימוש עסקי רחב שווה לשאול עורך דין.
זה עובד גם עם Cursor או עם אפליקציית קלוד בדסקטופ?
כן. לפי התיעוד הרשמי, אותו שרת MCP מתחבר לאפליקציית הדסקטופ של קלוד, ל-Cursor, ל-Windsurf ולכל כלי שתומך ב-MCP. בדסקטופ מוסיפים אותו לקובץ ההגדרות claude_desktop_config.json.