استخراج داده از وب
اتوماسیون هدفمند مرورگر و استخراج داده ساختاریافته برای استفاده عملیاتی.
استخراج داده از وب و اتوماسیون · حسن آدمینژاد
دادههای پراکنده وب را قابل استفاده کنید.
سراو جریانهایی میسازد که داده را جمعآوری، تمیز و به سیستم موردنظر تحویل میدهند.
فراتر از یک اسکریپت یکبارمصرف.
با Node.js، Puppeteer و AWS Lambda بیش از ۳۰ تابع serverless ساختهام و در یک پروژه ۸٬۰۰۰ نشانی منبع را شناسایی کردهام. تمرکز کار روی بازیابیپذیری، خروجی ساختاریافته و اتصال ساده به سیستم بعدی است.
پردازش Serverless
جریانهای AWS Lambda برای پردازش زمانبندیشده، مقیاسپذیر و ایزوله.
تبدیل داده
پاکسازی، نرمالسازی و تحویل به PostgreSQL، Redshift یا APIهای بعدی.
اتوماسیون عملیاتی
Webhook، cron job، مرزهای پایش و جریانهای تکرارپذیر کسبوکار.
همکاری مستقیم، از تصمیم تا اجرا.
شناخت مسئله
هدف کسبوکار، محدودیتها، کاربران و کوچکترین خروجی ارزشمند را مشخص میکنیم.
طراحی معماری
مسیر فنی نگهداشتپذیر را انتخاب میکنیم و تصمیمهای مهم را شفاف نگه میداریم.
توسعه
محصول را در گامهای قابل مشاهده، همراه با تست، بازبینی و ارتباط روشن تحویل میدهیم.
انتشار و بهبود
محصول را امن منتشر میکنیم، نتیجه را میسنجیم و براساس شواهد آن را تقویت میکنیم.
پروژهای در ذهن دارید؟
برای ساخت یک محصول، بهبود سیستم موجود یا همکاری مستمر، مستقیم با من در ارتباط باشید.