Reverse API Engineer: נתונים מאתר בלי להעתיק ידנית

מה Reverse API Engineer עושה?

כמעט כל אתר מודרני עובד ככה: הדף שאתם רואים הוא רק קליפה, והנתונים עצמם (משרות, מוצרים, הזמנות, מחירים) מגיעים מכתובות נסתרות ברקע. מי שפותח את כלי המפתחים בדפדפן רואה אותן בלשונית Network. רוב האנשים לא פותחים, ובמקום זה מעתיקים טבלאות ידנית או משלמים על כלי סריקה.

Reverse API Engineer עושה את העבודה של מי שכן פותח. לפי ה-README, התהליך הוא ארבעה שלבים:

1. אתם נותנים לו אתר ומטרה, למשל "תביא את כל המשרות של אפל".
2. דפדפן גולש באתר. אתם מנווטים בעצמכם, או שסוכן AI עושה את זה.
3. כל התעבורה של הרשת נשמרת לקובץ HAR, הקלטה של כל הבקשות.
4. המודל קורא את ההקלטה וכותב קוד מוכן שקורא לאותן כתובות, ב-Python, JavaScript, TypeScript, Go ועוד שש שפות.

מה מקבלים בסוף: תיקייה עם קובץ api_client.py, README שמסביר איך להשתמש בו, ו-example_usage.py עם דוגמה שרצה. מהרגע הזה, משיכת הנתונים היא פקודה אחת ולא חצי שעה של העתק הדבק. נכון ל-5 בנובמבר 2026 הגרסה האחרונה היא 0.14.0, ברישיון MIT.

על אילו נתונים מותר להפעיל את זה?

לפני ההתקנה, הדבר הכי חשוב בעמוד הזה. "אפשר טכנית" זה לא "מותר". הכלי הזה בנוי בשביל שני סוגי נתונים:

• הנתונים שלכם: דוחות מפורטל של ספק, הזמנות מהחנות שלכם, לידים ממערכת שאתם משלמים עליה ואין לה כפתור ייצוא. אתם מחוברים לחשבון שלכם, והמידע שייך לכם.
• מידע ציבורי: משרות פתוחות, מחירונים שמפורסמים לכולם, לוחות זמנים, נתונים פתוחים של רשויות. מידע שכל גולש רואה בלי להתחבר.
• מה לא: אתרים שתנאי השימוש שלהם אוסרים איסוף אוטומטי (רוב הרשתות החברתיות), עקיפה של חסימות, קפצ'ות או תשלום, ומידע אישי על אנשים אחרים.

לפני שמריצים על אתר, תפתחו את תנאי השימוש שלו ואת הקובץ /robots.txt. אם יש לאתר API רשמי, עדיף להשתמש בו. ומידע אישי על אנשים כפוף לחוק הגנת הפרטיות, גם כשהוא גלוי באתר. זה לא ייעוץ משפטי, אבל זה הכלל שאני עובד לפיו.

איך מתקינים את הכלי ומחברים לקלוד קוד?

צריך Python 3.11 ומעלה. התקנה עם uv (או pip):

העתקהuv tool install reverse-api-engineer

כדי שקלוד קוד ידע להפעיל את הכלי בעצמו, מתקינים גם את הסקיל שלו:

העתקהnpx skills add kalil0321/reverse-api-engineer

מעכשיו אפשר פשוט לבקש מקלוד קוד, במילים, "תכין לי קוד שמושך את רשימת ההזמנות מהפורטל של הספק", והוא מפעיל את הכלי. אם אתם רוצים להבין איך מוצאים ומתקינים סקילים באופן כללי, זה במדריך על find-skills.

איך מריצים את זה בפעם הראשונה?

אפשר גם בלי קלוד קוד, ישר מהטרמינל. מקלידים reverse-api-engineer, ונפתח מסך שבו כותבים מטרה. הדוגמה מה-README:

העתקהreverse-api-engineer
> fetch all apple jobs from their careers page

בין המצבים עוברים עם Shift+Tab:

• manual: אתם גולשים, והוא מקליט. הכי טוב לפעם הראשונה, כי אתם רואים בדיוק מה קורה.
• agent: סוכן AI גולש לבד לפי המטרה. זה מצב ברירת המחדל.
• engineer: כותב קוד מחדש מהקלטה קודמת, בלי לגלוש שוב.
• collector: אוסף נתונים מסודרים ל-JSON או CSV עם חיפוש באינטרנט.

בסוף הריצה, הקוד נשמר בתיקייה ./scripts עם שם ברור. ה-README של הכלי עצמו מבקש לעבור על הקוד לפני שמריצים אותו, וזה כלל טוב. אפשר לבקש מקלוד קוד: "תסביר לי מה הקובץ הזה עושה, שורה אחרי שורה, ותריץ את הדוגמה".

איך הוא עובד באתרים שאתם מחוברים אליהם?

כאן הכלי הכי שימושי לנתונים שלכם. במצב chrome-mcp, שהוא ברירת המחדל בהגדרות חדשות, הסוכן מפעיל את הכרום האמיתי שלכם, עם החיבורים שכבר יש לכם. ככה הוא נכנס לפורטל של הספק או ללוח הבקרה של החנות בתור אתם, בלי שתמסרו לו סיסמה.

מה צריך בשביל זה, לפי ה-README: Node.js 20.19 ומעלה, כרום בגרסה 146 ומעלה, להדליק חיבור אוטומטי בכתובת chrome://inspect/#remote-debugging, ומישהו ליד המחשב שיאשר את בקשת החיבור של כרום כשהריצה מתחילה. האישור הזה הוא דבר טוב: שום דבר לא נכנס לחשבונות שלכם בלי שלחצתם.

במצב הזה לא נשמרת הקלטת HAR, אז אי אפשר להשתמש ב-engineer על הריצה. אם צריך, פשוט מריצים שוב.

במה זה חוסך זמן לבעלי עסקים?

• פורטל של ספק: המלאי והמחירים שלכם אצל ספק שאין לו ייצוא לאקסל. קוד אחד, וכל בוקר יש לכם קובץ מעודכן.
• מערכת שאתם משלמים עליה: לידים, הזמנות או תורים שתקועים במערכת בלי API פתוח. מושכים אותם לגיליון ומחברים לשאר העסק.
• משרות ומכרזים ציבוריים: רשימה יומית של משרות או מכרזים חדשים בתחום שלכם, מאתרים שמפרסמים אותם לכולם.
• מחירונים ציבוריים: מחירים שמתחרים מפרסמים לכל גולש, פעם בשבוע, בקצב שלא מעמיס על האתר שלהם.

בכל המקרים האלה, השלב הבא הוא לבקש מקלוד קוד להריץ את הקוד לפי לוח זמנים ולשמור את התוצאה לגיליון, או לשלוח לכם סיכום רק כשמשהו השתנה.

מה קורה כשהאתר משנה עיצוב?

כלי סריקה רגילים קוראים את הדף כמו שהוא נראה: "תמצא את הטקסט בתוך הקופסה השלישית". כשהאתר מזיז קופסה, הסריקה נשברת. הקוד ש-Reverse API Engineer כותב קורא ישר לכתובות שמהן הדף מקבל את הנתונים, ולא לעיצוב. לכן שינוי עיצוב בדרך כלל לא משפיע עליו.

בדרך כלל, לא תמיד. אם האתר משנה את הכתובות עצמן או את מבנה הנתונים, הקוד יפסיק לעבוד. במקרה כזה מריצים את הכלי שוב על אותה מטרה ומקבלים קוד מעודכן. כדאי לבקש מקלוד קוד להוסיף לקוד בדיקה קטנה שמתריעה כשהתשובה ריקה.

מה חשוב לדעת לפני שמתחילים?

• עלות: הכלי חינמי. מצב הסוכן צריך גישה למודל: ברירת המחדל היא מודל של קלוד, ואפשר לעבור ל-OpenCode עם מודלים חינמיים או ל-Ollama במחשב.
• חסימות: לפי ה-README, אתרים עם הגנה חזקה מבוטים יכולים לחסום את ההקלטה. אל תנסו לעקוף את זה, זה סימן שהאתר לא רוצה איסוף אוטומטי.
• קצב: קוד שקורא לאתר כל שנייה יכול להעמיס עליו. תבקשו מקלוד השהיה בין בקשות, ותריצו פעם ביום ולא פעם בדקה.
• בדיקת קוד: הקוד רץ אצלכם במחשב. תקראו אותו, או תבקשו מקלוד קוד להסביר אותו, לפני שמריצים.
• חוקי ותנאים: נתונים שלכם ומידע ציבורי בלבד, לפי תנאי השימוש של האתר. מידע אישי על אנשים אחרים כפוף לחוק הגנת הפרטיות. זה לא ייעוץ משפטי.

אם אתם צריכים לעקוב אחרי שינויים באתרים ציבוריים לאורך זמן, יש גם את המדריך על מעקב אחרי אתרים עם Firecrawl. ואם מה שאתם רוצים זה להעתיק עיצוב ולא נתונים, זה במדריך לשכפול סקשן מאתר.