S/۱۲ · خدمات
اسکرپر و ربات
داده‌ی وب، جمع‌آوری‌شده — و کارهای تکراری، انجام‌شده.
خزنده‌ها و اسکرپرهایی که قیمت، آگهی و اطلاعات را از سایت‌هایی که API ندارند جمع می‌کنند، و ربات‌هایی که به جای شما کار می‌کنند: پایش تغییرات، پر کردن فرم‌ها، پاسخ در تلگرام، واتس‌اپ و بله. همه زمان‌بندی‌شده، تحت پایش و سرپا وقتی سایت‌ها تغییر می‌کنند.
- جمع‌آوری از
- سایت، سامانه، API و PDF
- اجرا
- زمان‌بندی‌شده، در مقیاس، تحت پایش
- تحویل به
- پایگاه داده، API یا شیت شما
- ۰۱
کسی داده را دستی از سایت‌ها به اکسل کپی می‌کند.
- ۰۲
قیمت یا آگهی رقبا را دنبال می‌کنید و همیشه دیر باخبر می‌شوید.
- ۰۳
سامانه‌ای که به آن وابسته‌اید نه API دارد نه خروجی.
- ۰۴
تیمتان هر روز همان کلیک‌ها را تکرار می‌کند.
- D/۰۱
خزنده و اسکرپر
برای منبع‌هایی که مشخص می‌کنید جمع‌کننده می‌سازیم، از صفحه‌های ساده‌ی HTML تا سایت‌هایی که محتوایشان فقط بعد از اجرای جاوااسکریپت دیده می‌شود. هر کدام قواعد سایت را رعایت می‌کند، با سرعتی محترمانه کار می‌کند و هر اجرا را ثبت می‌کند، پس می‌دانید چه چیزی جمع شد و چه چیزی جا ماند.
شامل
- یک جمع‌کننده برای هر منبع، با فیلدهایی که لازم دارید
- رندر جاوااسکریپت هر جا که سایت نیاز دارد
- رعایت محدودیت نرخ و robots.txt در هر اجرا
- گزارش هر اجرا: صفحه‌ها، رکوردها، خطاها و تلاش‌های دوباره
crawler/runs/catalog.example.com.log $ crawler run --source catalog.example.com
robots.txt ok · 1 req/s · ua: example-bot/1.2
48 listing pages queued · js render: on
! 14 products without a price → flagged
× 2 pages returned 503 → retry in 10m
✓ 1,912 products · 26m 40s · 0 blocked
- D/۰۲
داده‌ی تمیز و ساختاریافته
صفحه‌های خام به رکوردهایی با فیلدهای یکدست تبدیل می‌شوند: قیمت به شکل عدد، تاریخ در یک قالب، یک کالا در منبع‌های مختلف یک کالا شناخته می‌شود. رکوردی که در بررسی‌ها رد شود کنار گذاشته می‌شود تا داده‌تان را آلوده نکند، و بقیه همان جایی می‌رسند که تیمتان کار می‌کند.
شامل
- ساختار روشن برای هر رکورد، با توضیح فیلد به فیلد
- اعتبارسنجی، یکدست‌سازی و حذف تکراری‌ها میان منبع‌ها
- تحویل به PostgreSQL، یک API، فایل CSV یا Google Sheet
- نگهداری سابقه، تا ببینید یک مقدار در طول زمان چطور تغییر کرده
exports/products-2026-11-02.csv کالا قیمت (تومان) موجودی منبع کتری استیل ۱٫۷ لیتری ۱٬۲۵۰٬۰۰۰ موجود shop-a.example کتری استیل ۱٫۷ لیتری ۱٬۱۸۰٬۰۰۰ موجود shop-b.example توستر دو اسلایس ۱٬۴۹۰٬۰۰۰ ۳ عدد shop-a.example گوشت‌کوب برقی ۶۰۰ وات ۹۸۰٬۰۰۰ ناموجود shop-c.example آسیاب قهوه ۲٬۱۰۰٬۰۰۰ موجود shop-b.example - D/۰۳
پایش و هشدار
صفحه‌ها و مقدارهایی را که برایتان مهم است زیر نظر می‌گیریم و وقتی تغییر کنند خبرتان می‌کنیم: قیمت یک رقیب، کالایی که دوباره موجود شده، آگهی تازه‌ای که با فیلترهایتان جور است. آستانه‌ها را خودتان تعیین می‌کنید، پس هشدارها ارزش خواندن دارند و به سروصدا تبدیل نمی‌شوند.
شامل
- فهرست پایش از صفحه‌ها، کالاها یا جست‌وجوها
- آستانه‌هایی در اختیار شما: درصد، قیمت یا هر تغییری
- هشدار در تلگرام، ایمیل یا Slack، با پیوند به منبع
- خلاصه‌ی روزانه برای تغییرهایی که هشدار لازم ندارند
monitor/prices · last 24 h کالای زیر پایش
۱٬۲۴۰
در ۶ منبع
تغییر قیمت
۳۷
۱۲ مورد بالای آستانه
هشدار ارسال‌شده
۱۲
Telegram · #prices
فاصله تا هشدار
۴ دقیقه
میانه، پس از تغییر
- D/۰۴
ربات پیام‌رسان
رباتی که مشتری‌ها یا همکارانتان در همان پیام‌رسانی که همیشه استفاده می‌کنند با آن حرف می‌زنند. به سؤال‌های رایج جواب می‌دهد، سفارش و نوبت می‌گیرد، خبر می‌دهد و داده‌ی واقعی را از طریق سیستم‌هایتان می‌خواند و ثبت می‌کند، و هر جا لازم باشد گفت‌وگو را به یک نفر می‌سپارد.
شامل
- رباتی در تلگرام، واتس‌اپ یا بله، یا هر سه
- منوها و مسیرهایی برای کارهایی که مردم واقعاً می‌خواهند
- اتصال به سفارش‌ها، موجودی یا نوبت‌های شما
- سپردن گفت‌وگو به تیمتان، همراه با سابقه‌اش
telegram · @example_bakery_bot نان ساوردو برای فردا صبح دارید؟
بله، ۱۴ عدد برای فردا مانده. تحویل از ساعت ۸ در شعبه‌ی خیابان اصلی. چند عدد می‌خواهید؟
دو تا، لطفاً.
سفارش ۳۳۱۸: ۲ نان ساوردو، ۳۶۰٬۰۰۰ تومان، تحویل فردا از ساعت ۸. الان پرداخت می‌کنید یا موقع تحویل؟
- D/۰۵
خودکارسازی مرورگر
وقتی سامانه‌ای که به آن وابسته‌اید API ندارد، ربات می‌تواند مثل یک آدم از آن استفاده کند: وارد شود، به صفحه‌ی درست برود، فرم را پر کند و گزارش را دانلود کند. طبق زمان‌بندی و با حساب مخصوص خودش اجرا می‌شود، رمزها را در گاوصندوق نگه می‌دارد و وقتی چیزی خراب شود اسکرین‌شات می‌گیرد.
شامل
- یک مسیر اسکریپت‌شده برای هر کار، تست‌شده روی خود سامانه
- نگهداری رمزها در گاوصندوق، هرگز درون کد
- بایگانی فایل‌های دانلودشده و ارسالشان به سیستم‌های شما
- اسکرین‌شات و هشدار وقتی مرحله‌ای شکست بخورد
bots/portal-monthly-report · playwright $ bot run portal-monthly-report
→ open portal.example.com/login
✓ signed in (vault: portal/reports)
→ reports › sales › October 2026 › export CSV
✓ sales-2026-10.csv · 4,218 rows → reports/
✓ done in 1m 52s · next run 1 Dec 06:00
- D/۰۶
همیشه سرپا
سایت‌ها بی‌خبر تغییر می‌کنند، پس هر اجرا بررسی می‌شود: تمام شد؟ به اندازه‌ی همیشه داده جمع کرد؟ فیلدها هنوز معنی دارند؟ وقتی منبعی خراب شود اول ما باخبر می‌شویم، و تعمیرش بخشی از نگهداری‌ای است که از قبل دارید.
شامل
- زمان‌بندی برای هر منبع و هر ربات
- بررسی سلامت روی تعداد رکوردها، فیلدهای خالی و خطاها
- هشدار به ما و به شما وقتی منبعی از حالت عادی خارج شود
- تعمیر تغییرات ساختار سایت، جزو نگهداری
crawler/health · today - catalog.example.com · ۱٬۹۱۲ رکورد، مثل همیشه۰۶:۰۰
- shop-b.example · ۱٬۱۸۴ رکورد۰۶:۲۰
- shop-c.example · فیلد قیمت در ۳۰٪ صفحه‌ها خالی استدر حال تعمیر
- listings.example.org · ساختار عوض شده، ۰ رکوردهشدار ۰۶:۴۱
- portal-monthly-report · در ۱ دقیقه و ۵۲ ثانیه تمام شد۱۱ آبان
- ۰۱
تعریف داده
کدام منبع‌ها، کدام فیلدها، با چه تازگی و برای چه کاری.
- ۰۲
بررسی قواعد
شرایط استفاده، محدودیت نرخ و قانون برای هر منبع پیش از هر اجرا بررسی می‌شود.
- ۰۳
ساخت و زمان‌بندی
جمع‌کننده‌ها و ربات‌ها ساخته، روی صفحه‌های واقعی تست و با سرعتی محترمانه زمان‌بندی می‌شوند.
- ۰۴
اجرا و نگهداری
در محیط واقعی پایش می‌شوند و وقتی منبع‌ها تغییر می‌کنند تعمیر می‌شوند.
یک پروژه معمولاً بسته به تعداد منبع‌ها و دشواری خواندنشان سه تا پنج هفته طول می‌کشد. اولین منبع در همان دو هفته‌ی اول داده‌ی واقعی تحویل می‌دهد، تا پیش از ساختن بقیه خروجی را بررسی کنید.
- هفته‌ی ۱
روی منبع‌ها، فیلدها و میزان تازگی توافق می‌کنیم و شرایط و محدودیت‌های هر منبع را بررسی می‌کنیم.
- هفته‌ی ۲
اولین جمع‌کننده یا ربات راه می‌افتد، با داده‌ی نمونه برای بررسی شما.
- هفته‌ی ۳
منبع‌های باقی‌مانده، اعتبارسنجی و تحویل به پایگاه داده، API یا شیت شما.
- هفته‌ی ۴
زمان‌بندی، پایش و هشدارها برقرار می‌شوند و یک دوره‌ی آزمایشی روی اجراهای واقعی.
- هفته‌ی ۵
تحویل: مستندات، دسترسی به داشبوردها و شروع نگهداری.
کد
همه‌ی جمع‌کننده‌ها و ربات‌ها در مخزن شما، با تست و راهنمای راه‌اندازی.
داده
همه‌ی رکوردهای جمع‌شده، با سابقه‌شان، در پایگاه داده یا فضای ذخیره‌ی خودتان.
ساختار داده
توضیح هر رکورد و هر فیلد، تا هر کسی بتواند از داده استفاده کند.
زمان‌بندی و داشبوردها
برنامه‌ی اجرا، سابقه‌ی اجراها و سلامت منبع‌ها، جلوی چشم تیم شما.
دستورالعمل عملیات
چطور هر منبع را اجرا، متوقف و تعمیر کنید، و وقتی چیزی خراب شد با چه کسی تماس بگیرید.
نگهداری، اگر بخواهید
پایش و تعمیر وقتی منبع‌ها تغییر می‌کنند، با یک قرارداد ماهانه.
- Go
- Python
- Playwright
- Headless Chrome
- Proxies
- Queues & schedulers
- PostgreSQL
- Telegram & WhatsApp APIs
اسکرپ کردن قانونی است؟
بستگی به منبع، داده و نحوه‌ی استفاده دارد. پیش از هر کار شرایط و قانون هر منبع را بررسی می‌کنیم، فقط آنچه حقتان است جمع می‌کنیم و بقیه را نمی‌پذیریم.
اگر سایت تغییر کند چه می‌شود؟
هر اجرا بررسی می‌شود. وقتی منبعی ساختارش را عوض کند باخبر می‌شویم و تعمیرش بخشی از نگهداری است.
مسدود نمی‌شود؟
با احترام خزش می‌کنیم: در محدوده‌ی نرخ مجاز و در صورت امکان با معرفی درست، که مسدود شدن را نادر و دسترسی را پایدار نگه می‌دارد.
از ما چه چیزی لازم دارید؟
فهرست منبع‌ها و فیلدهایی که می‌خواهید، هر چند وقت یک بار لازمشان دارید و داده باید به کجا برسد. برای سامانه‌ها، حسابی که ربات اجازه‌ی استفاده از آن را داشته باشد.
بعد از تحویل می‌توانیم خودمان اجرایش کنیم؟
بله. کد، زمان‌بندی‌ها و دستورالعمل عملیات مال شماست و تیمتان می‌تواند بدون ما اجرایش کند. بیشتر مشتری‌ها باز هم نگهداری را نگه می‌دارند، چون منبع‌ها تغییر می‌کنند.
بگویید چه چیزی می‌سازید.
هر پروژه با یک جلسه‌ی مشاوره شروع می‌شود: شما ایده و هر آنچه می‌دانید را می‌آورید، ما آن را به طرحی تبدیل می‌کنیم که بشود رویش ساخت.
رزرو مشاوره