חילוץ נתונים עם AI: ככה ScrapeGraphAI הופך כל אתר לרשימה נקייה

מה זה ScrapeGraphAI?

סקרייפינג זה איסוף אוטומטי של מידע מאתרים: מחירים, מוצרים, רשימות של עסקים או פרטים מעמוד "אודות". הבעיה עם רוב הכלים היא שצריך להסביר להם בדיוק איפה בדף נמצא כל פריט מידע, וכשהאתר משנה עיצוב, הכול נשבר.

ScrapeGraphAI עובד אחרת. זו ספריית קוד פתוח בפייתון שמשתמשת במודל שפה כדי להבין את הדף. אתם נותנים לה לינק ומשפט באנגלית פשוטה, למשל "תביא את כל המוצרים עם שם ומחיר", והיא מחזירה רשימה נקייה בפורמט JSON, שקל להפוך לטבלה. לפי ה-README, היא עובדת גם על קבצים מקומיים: XML, HTML, JSON ו-Markdown.

נכון ל-21 באוקטובר 2026 יש לריפו 32,040 כוכבים בגיטהאב, הוא משוחרר ברישיון MIT, והגרסה האחרונה היא 2.3.1 מ-6 באוקטובר 2026.

איך סקרייפינג עם AI עובד בפועל?

הכלי המרכזי בספרייה נקרא SmartScraperGraph. לפי התרשים הרשמי, הוא עובר ארבעה שלבים: מוריד את הדף (Fetch), מפרק אותו לחלקים (Parse), מוצא את החלקים שרלוונטיים לשאלה שלכם (RAG), ונותן למודל לנסח את התשובה (Generate Answer).

מעבר ל-SmartScraperGraph יש בספרייה עוד כמה "צינורות" מוכנים. לפי ה-README:

• SearchGraph מחפש במנוע חיפוש ואוסף מידע מהתוצאות הראשונות
• SmartScraperMultiGraph עובר על רשימה של לינקים עם אותה בקשה
• ScriptCreatorGraph כותב לכם סקריפט פייתון שאוסף את המידע, כדי להריץ אותו שוב בלי מודל
• SpeechGraph אוסף מידע מדף והופך אותו לקובץ שמע

איך מתקינים את ScrapeGraphAI עם קלוד קוד?

הדרך הכי פשוטה היא לתת לקלוד קוד לעשות את ההתקנה. אבל כדאי להבין מה קורה, אז הנה השלבים.

שלב 1: פייתון 3.12 וסביבה נפרדת

לפי קובץ ההגדרות של הפרויקט, צריך פייתון 3.12 ומעלה. ה-README ממליץ להתקין בסביבה וירטואלית, כדי לא להתנגש עם ספריות אחרות:

python3 -m venv .venv
source .venv/bin/activate

שלב 2: מתקינים את הספרייה ואת הדפדפן

pip install scrapegraphai
playwright install

הפקודה השנייה מורידה דפדפן שהספרייה משתמשת בו כדי לפתוח אתרים. בלי זה היא לא תצליח להוריד דפים.

שלב 3: בוחרים מוח

ScrapeGraphAI צריך מודל שפה, ויש שתי דרכים:

• מודל מקומי עם Ollama. הוא רץ על המחשב שלכם, בלי מפתח ובלי לשלם לאף אחד. מתקינים את Ollama ומורידים מודל עם ollama pull llama3.2.
• מודל בענן. לפי ה-README, הספרייה עובדת עם OpenAI, Gemini, Groq ועוד, וצריך מפתח API. אם אתם רוצים מפתח חינמי, כתבתי מדריך למפתח Gemini ו-OpenRouter בחינם.

שלב 4: הסקריפט הראשון

זו הדוגמה הרשמית מה-README, מותאמת לאתר תרגול (books.toscrape.com, חנות ספרים מדומה שנבנתה בדיוק בשביל זה):

from scrapegraphai.graphs import SmartScraperGraph

graph_config = {
    "llm": {"model": "ollama/llama3.2", "model_tokens": 8192, "format": "json"},
    "headless": True,
}

scraper = SmartScraperGraph(
    prompt="List all products with name, price and link",
    source="https://books.toscrape.com/",
    config=graph_config,
)
print(scraper.run())

לא רוצים לגעת בקוד? תדביקו לקלוד קוד: "תתקין לי את ScrapeGraphAI בסביבה וירטואלית, תחבר אותו ל-Ollama עם llama3.2, ותביא לי את כל הספרים מ-books.toscrape.com לקובץ CSV". הוא יעשה את כל השלבים ויראה לכם מה עשה.

מה אפשר לעשות עם זה בעסק?

אחרי שהכול מותקן, אתם עובדים מול קלוד קוד בעברית, והוא כותב ומריץ את הסקריפטים. כמה בקשות שעובדות טוב:

הבקשה השנייה מראה משהו שכלים אחרים לא עושים בקלות: ScrapeGraphAI עובד גם על קבצים שכבר יש לכם, לא רק על אתרים חיים. זה שימושי כשקיבלתם מספק קטלוג כקובץ, או כששמרתם דפים בעבר.

והבקשה הראשונה מראה את הכוח של ScriptCreatorGraph: אחרי שהמודל הבין את המבנה של האתר פעם אחת, אפשר לבקש סקריפט רגיל שרץ שוב ושוב, בלי לשלם על מודל בכל הרצה.

במה זה שונה מ-Scrapling ומ-Apify?

יש באתר כבר מדריך ל-Scrapling, וההבדל ביניהם פשוט. Scrapling הוא מנוע הורדה חזק: הוא מתמודד עם חסימות של בוטים ומביא את הדף כטקסט נקי. ScrapeGraphAI הוא שכבת ההבנה: אתם מתארים במילים מה אתם רוצים, ומודל שפה מוציא את זה כטבלה. לאתרים פשוטים ScrapeGraphAI לבד מספיק. לאתרים שחוסמים בוטים, Scrapling יצליח יותר.

ואם אתם צריכים לידים מאינסטגרם או מגוגל מפות, שם עדיף כלי ייעודי, כמו במדריך ל-Apify MCP.

חשוב לדעת לפני שמתחילים

• חינם, אבל המודל עולה. הספרייה חינמית ברישיון MIT. אם אתם משתמשים במודל בענן, אתם משלמים לפי טוקנים לספק. עם Ollama אין עלות, אבל מודל מקומי קטן מדייק פחות בדפים מסובכים, וצריך מחשב עם מספיק זיכרון.
• יש גם גרסה בתשלום, ואל תתבלבלו. החברה מאחורי הפרויקט מוכרת API מנוהל בקרדיטים, וה-README משווה בין שתי הגרסאות. גם שרת ה-MCP הרשמי שלהם עובד מול ה-API בתשלום ודורש מפתח מהדשבורד שלהם. המדריך הזה עוסק בספרייה החינמית שרצה אצלכם.
• חסימות ופרוקסי עליכם. לפי ה-README, בגרסת הקוד הפתוח ההתמודדות עם חסימות של בוטים ופרוקסי היא באחריותכם. אתרים גדולים יחסמו אתכם מהר.
• תנאי השימוש של האתרים. הרבה אתרים, ובמיוחד רשתות חברתיות כמו לינקדאין, אוסרים איסוף אוטומטי. ה-README עצמו כותב שהספרייה נועדה לחקירת מידע ולמחקר. תתחילו ממידע ציבורי כמו מחירונים וקטלוגים.
• לידים זה לא רשימת תפוצה. שמות, טלפונים ומיילים של אנשים מוגנים בחוק הגנת הפרטיות, וחוק הספאם בישראל אוסר לשלוח הודעות שיווקיות למי שלא הסכים לקבל אותן. מותר לאסוף מידע על עסקים כדי להבין את השוק. אסור לשלוח דיוור לכתובות שאספתם בלי הסכמה.
• טלמטריה. לפי ה-README, הספרייה שולחת נתוני שימוש אנונימיים. מכבים עם משתנה הסביבה SCRAPEGRAPHAI_TELEMETRY_ENABLED=false.