وب کاوی کاربردی از تکنيکهای داده کاوی است که به صورت خودکار اطلاعات را از مستندات وب و سرويسها استخراج و کشف می کند. وب کاوی اغلب به بازيابی و استخراج اطلاعات وابسته است، در حاليکه کشف اطلاعات يا وب کاوی بازيابی و استخراج اطلاعات نيست. هسته اصلی موتورهای جستجو از معماری سيستم های بازيابی اطلاعات سرچشمه می گيرد. ماهيت پويای اطلاعات در شبکه وب باعث ايجاد تغييرات اساسی در ساختار اوليه در موتورهای جستجو شده است. در سيستم های بازيابی اطلاعات، اسناد و مدارک توسط اشخاص جمع آوری می شدند و در اختيار سيستم قرار می گرفتند، در حالی که در موتورهای جستجو وظيفه جمع آوری اطلاعات به عهده خود موتور جستجو است.
علاوه بر آن به علت تغييرات صفحات وب، موتور جستجو وظيفه به روزرسانی اطلاعات جمع آوری شده را نيز خواهد داشت. يکی از مهمترين مسائل در طراحی موتورهای جستجو مساله کارائی و بازده بالای موتور جستجو است. حجم بالای اطلاعات موجود در شبکه وب و تغييرات سريع اطلاعات در اين شبکه (از قبيل اضافه شدن صفحات جديد، حذف شدن برخی از صفحات و تغير محتويات صفحات) حساسيت اين امر را بسيار زياد می کند. به عنوان مثال سرعت جمع آوری و سازماندهی اسناد در پايگاه دانش موتور جستجو، بايد بيشتر از نرخ تغييرات شبکه وب باشد. دراين مقاله به بررسی ساختار وب کاویپرداخته می شود.
وب کاوي شامل چهار مرحله اصلي مي باشد:
1. پيدا کردن منبع: اين مرحله شامل بازيابي اسناد وب مورد نظر مي باشد.
2. انتخاب اطلاعات و پيش پردازش: در اين مرحله به صورت خودکار اطلاعات خاصي از اسناد بازيابي شده، انتخاب و پيش پردازش مي شوند.
3. تعميم[1]: در اين مرحله به صورت خودکار الگوهاي عام در يک يا چندين سايت وب کشف مي شود.
4. تحليل: در اين مرحله الگوهاي به دست آمده در مرحله قبل اعتبار سنجي[2] و تفسير مي شوند.
دامنه چیست 
وب کاری در صنعت
