loading...

مقالات اموزشی کامپیوتر

مقالات اموزشی کامپیوتر

ADMIN بازدید : 42 سه شنبه 07 بهمن 1399 زمان : 19:04 نظرات (0)

 

وب کاوی کاربردی از تکنيکهای داده کاوی است که به صورت خودکار اطلاعات را از مستندات وب و سرويسها استخراج و کشف می کند. وب کاوی اغلب به بازيابی و استخراج اطلاعات وابسته است، در حاليکه کشف اطلاعات يا وب کاوی بازيابی و استخراج اطلاعات نيست. هسته اصلی موتورهای جستجو از  معماری سيستم های بازيابی اطلاعات سرچشمه می گيرد. ماهيت پويای اطلاعات در شبکه وب باعث ايجاد تغييرات اساسی در ساختار اوليه در موتورهای جستجو شده است. در سيستم های بازيابی اطلاعات، اسناد و مدارک توسط اشخاص جمع آوری می شدند و در اختيار سيستم قرار می گرفتند، در حالی که در موتورهای جستجو وظيفه جمع آوری اطلاعات به عهده خود موتور جستجو است.

علاوه بر آن به علت تغييرات صفحات وب، موتور جستجو وظيفه به روزرسانی اطلاعات جمع آوری شده را نيز خواهد داشت. يکی از مهمترين مسائل در طراحی موتورهای جستجو مساله کارائی و بازده بالای موتور جستجو است. حجم بالای اطلاعات موجود در شبکه وب و تغييرات سريع اطلاعات در اين شبکه (از قبيل اضافه شدن صفحات جديد، حذف شدن برخی از صفحات و تغير محتويات صفحات) حساسيت اين امر را بسيار زياد می کند. به عنوان مثال سرعت جمع آوری و سازماندهی اسناد در پايگاه دانش موتور جستجو، بايد بيشتر از نرخ تغييرات شبکه وب باشد. دراين مقاله به بررسی ساختار وب کاویپرداخته می شود.

3-2 مراحل وب کاوي

وب کاوي شامل چهار مرحله اصلي مي باشد:

1.   پيدا کردن منبع: اين مرحله شامل بازيابي اسناد وب مورد نظر مي باشد.

2.   انتخاب اطلاعات و پيش پردازش: در اين مرحله به صورت خودکار اطلاعات خاصي از اسناد بازيابي شده، انتخاب و پيش پردازش مي شوند.

3.   تعميم[1]: در اين مرحله به صورت خودکار الگوهاي عام در يک يا چندين سايت وب کشف مي شود.

4.   تحليل: در اين مرحله الگوهاي به دست آمده در مرحله قبل اعتبار سنجي[2]  و تفسير مي شوند.




 

 

ADMIN بازدید : 49 سه شنبه 07 بهمن 1399 زمان : 19:03 نظرات (0)

 

داده کاوی فقط یک ابزار است و نه یک عصای جادویی. داده کاوی به این معنی نیست که شما راحت به کناری بنشینید و ابزارهای داده کاوی همه کار را  انجام دهد.

داده کاوی نیاز به شناخت داده ها و ابزارهای تحلیل و افراد خبره در این زمینه ها  را از بین نمی برد.

داده کاوی فقط به تحلیلگران برای پیدا کردن الگوها و روابط بین داده ها کمک می کند و در این مورد نیز روابطی که یافته می شود باید به وسیله داده های واقعی دوباره بررسی و تست گردد.

 

ADMIN بازدید : 43 سه شنبه 07 بهمن 1399 زمان : 19:03 نظرات (0)

 

تحلیل داده ها یکی از روش های توصیف داده هاست که به کمک آن داده ها را بررسی کرده و روابط بین مقادیر موجود در بانک اطلاعاتی را کشف می کنیم.از مهمترین راههای تحلیل لینک کشف وابستگی و کشف ترتیب می باشد.

منظور از کشف وابستگی یافتن قوانینی در مورد مورادی است که با هم اتفاق می افتند مثلا اجناسی که در یک فروشگاه احتمال خرید همزمان آنها زیاد است.

کشف ترتیب نیر بسیار مشابه می باشد ولی پارامتر زمان نیز در آن دخیل می باشد.

وابستگی ها به صورت A->B  نمایش داده می شوند که به A  مقدم و به B موخر یا نتیجه گفته می‌شود.مثلا اگر یک قانون به صورت زیر داشته باشیم :

" اگر افراد چکش بخرند آنگاه آنها میخ خواهند خرید

در این قانون مقدم خرید چکش و نتیجه خرید میخ می باشد.

 

ADMIN بازدید : 42 سه شنبه 07 بهمن 1399 زمان : 19:02 نظرات (0)

 

ریشه های داده کاوی در میان سه خانواده از علوم، قابل پیگیری می باشد مهمترین این خانواده ها، آمار کلاسیک می باشد. بدون آمار، هیچ داده کاوی وجود نخواهد داشت، بطوریکه آمار، اساس اغلب تکنولوژی هایی می باشد که داده کاوی بر روی آنها بنا می شود. آمار کلاسیک مفاهیمی مانند تحلیل رگرسیون، توزیع استاندارد، انحراف استاندارد، واریانس، تحلیل خوشه، و فاصله های اطمینان را که همه این موارد برای مطالعه داده و ارتباط بین داده ها می باشد، را در بر می گیرد. مطمئنا تحلیل آماری کلاسیک نقش اساسی در تکنیکهای داده کاوی ایفا می کند.

دومین خانواده ای که داده کاوی به آن تعلق دارد هوش مصنوعی[1] می باشد. هوش مصنوعی که بر پایه روشهای ابتکاری می باشد و با آمار ضدیت دارد، تلاش دارد تا فرایندی مانند فکر انسان، را برای حل مسائل آماری بکار بندد. چون این رویکرد نیاز به توان محاسباتی بالایی دارد، تا اوایل دهه 1980 عملی نشد. هوش مصنوعی کاربردهای کمی را در حوزه های علمی و حکومتی پیدا کرد، اما نیاز به استفاده از کامپیوترهای بزرگ با عث شد همه افراد نتوانند از تکنیکهای ارائه شده استفاده کنند.

سومین خانواده داده کاوی، یادگیری ماشین[2] می باشد، که به مفهوم دقیقتر، اجتماع آمار و هوش مصنوعی می باشد. درحالیکه هوش مصنوعی نتوانست موفقیت تجاری کسب کند، یادگیری ماشین در بسیاری از موارد جایگزین آن گردید. از یادگیری ماشین به عنوان تحول هوش مصنوعی یاد شد، چون مخلوطی از روشهای ابتکاری هوش مصنوعی به همراه تحلیل آماری پیشرفته می باشد. یادگیری ماشین اجازه می دهد تا برنامه های کامپیوتری در مورد داده ای که آنها مطالعه می کنند، مانند برنامه هایی که تصمیمهای متفاوتی بر مبنای کیفیت داده مطالعه شده می گیرند، یادگیری داشته باشند و برای مفاهیم پایه ای آن از آمار استفاده می کنند و از الگوریتمها و روشهای ابتکاری هوش مصنوعی را برای رسیدن به هدف بهره می گیرند.

داده کاوی در بسیاری از جهات، سازگاری تکنیکهای یادگیری ماشین با کاربردهای تجاری است. بهترین توصیف از داده کاوی بوسیله اجتماع آمار، هوش مصنوعی و یادگیری ماشین بدست می آید. این تکنیکها سپس با کمک یکدیگر، برای مطالعه داده و پیدا کردن الگوهای نهفته در آنها استفاده می شوند.

بعضی از کاربردهای داده کاوی به شرح زیر است:

·         کاربردهای معمول تجاری: از قبیل تحلیل و مدیریت بازار، تحلیل سبد بازار، بازاریابی هدف، فهم رفتار مشتری، تحلیل و مدیریت ریسک؛

·         مدیریت و کشف فریب: کشف فریب تلفنی، کشف فریبهای بیمه ای و اتومبیل، کشف حقه های کارت اعتباری، کشف تراکنشهای مشکوک مالی (پولشویی)؛

·         متن کاوی[3]: پالایش متن (نامه های الکترونیکی، گروههای خبری و غیره)؛

·         پزشکی: کشف ارتباط علامت و بیماری، تحلیل آرایه های DNA ، تصاویر پزشکی؛

·         ورزش: آمارهای ورزشی؛

·         وب کاوی[4]: پیشنهاد صفحات مرتبط، بهبود ماشینهای جستجوگر یا شخصی سازی حرکت در وب سایت



 

 

ADMIN بازدید : 35 سه شنبه 07 بهمن 1399 زمان : 19:00 نظرات (0)

 

در دو دهه قبل توانايي های فنی بشر در برای توليد و جمع آوری دادهها به سرعت افزايش يافته است. عواملی نظير استفاده گسترده از بارکد برای توليدات تجاری، به خدمت گرفتن کامپيوتر در کسب و کار، علوم، خدمات دولتی و پيشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاوير تا سيستمهای سنجش از دور ماهواره ای، در اين تغييرات نقش مهمی دارند .

بطور کلی استفاده همگانی از وب و اينترنت به عنوان يک سيستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. اين رشد انفجاری در دادههای ذخيره شده، نياز مبرم وجود تکنولوژی های جديد و ابزارهای خودکاری را ايجاد کرده که به صورت هوشمند به انسان ياری رسانند تا اين حجم زياد داده را به اطلاعات و دانش تبديل کند: داده کاوی به عنوان يک راه حل برای اين مسائل مطرح مي باشد. در يک تعريف غير رسمی داده کاوی فرآيندی است، خودکار برای استخراج الگوهايی که دانش را بازنمايی مي کنند، که اين دانش به صورت ضمنی در پايگاه داده های عظيم، انباره داده[1] و ديگر مخازن بزرگ اطلاعات، ذخيره شده است. داده کاوی بطور همزمان از چندين رشته علمی بهره مي برد نظير: تکنولوژی پايگاه داده، هوش مصنوعی، يادگيری ماشين، شبکه های عصبی، آمار، شناسايی الگو، سيستم های مبتنی بر دانش[2]، حصول دانش[3]، بازيابی اطلاعات[4]، محاسبات سرعت بالا[5] و بازنمايی بصری داده[6] . داده کاوی در اواخر دهه 1980 پديدار گشته، در دهه 1990 گامهای بلندی در اين شاخه از علم برداشته شده و انتظار می رود در اين قرن به رشد و پيشرفت خود ادامه دهد .واژه های «داده کاوی» و «کشف دانش در پایگاه داده»[7] اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان يک فرآيند در شکل2-1 نشان داده شده است.

 کشف دانش در پایگاه داده فرایند شناسایی درست، ساده، مفید، و نهایتا الگوها و مدلهای قابل فهم در داده ها می باشد. داده کاوی، مرحله ای از فرایند کشف دانش می باشد و شامل الگوریتمهای مخصوص داده کاوی است، بطوریکه، تحت محدودیتهای مؤثر محاسباتی قابل قبول، الگوها و یا مدلها را در داده کشف می کند . به بیان ساده تر، داده کاوی به فرایند استخراج دانش ناشناخته، درست، و بالقوه مفید از داده اطلاق می شود. تعریف دیگر اینست که، داده کاوی گونه ای از تکنیکها برای شناسایی اطلاعات و یا دانش تصمیم گیری از قطعات داده می باشد، به نحوی که با استخراج آنها، در حوزه های تصمیم گیری، پیش بینی، پیشگویی، و تخمین مورد استفاده قرار گیرند. داده ها اغلب حجیم ، اما بدون ارزش می باشند، داده به تنهایی قابل استفاده نیست، بلکه دانش نهفته در داده ها قابل استفاده می باشد. به این دلیل اغلب به داده کاوی، تحلیل داده ای ثانویه[8] گفته می شود.

 

اصلی ترين دليلی که باعث شد داده کاوی کانون توجهات در صنعت اطلاعات قرار بگيرد، مساله در دسترس بودن حجم وسيعی از داده ها و نياز شديد به اينکه از اين داده ها اطلاعات و دانش سودمند استخراج کنيم. اطلاعات و دانش بدست آمده در کاربردهای وسيعی از مديريت کسب و کار وکنترل توليد و تحليل بازار تا طراحی مهندسی و تحقيقات علمی مورد استفاده قرار می گيرد.

داده کاوی را می توان حاصل سير تکاملی طبيعی تکنولوژی اطلاعات دانست، که اين سير تکاملی ناشی از يک سير تکاملی در صنعت پايگاه داده می باشد، نظير عمليات: جمع آوری داده ها وايجاد پايگاه داده، مديريت داده و تحليل و فهم داده ها. در شکل 2-1 اين روند تکاملی در پايگاه های داده نشان داده شده است.

 

 

تکامل تکنولوژی پايگاه داده و استفاده فراوان آن در کاربردهای مختلف سبب جمع آوری حجم فراوانی داده شده است. اين داده های فراوان باعث ايجاد نياز برای ابزارهای قدرتمند برای تحليل داده‌ها گشته، زيرا در حال حاضر به لحاظ داده ثروتمند هستيم ولی دچار کمبود اطلاعات می باشيم.

ابزارهای داده کاوی داده ها را آناليز می کنند و الگوهای دادهای را کشف می کنند که می توان از آن در کاربردهايی نظير: تعيين استراتژی برای کسب و کار، پايگاه دانش[9] و تحقيقات علمی و پزشکی، استفاده کرد. شکاف موجود بين داده ها و اطلاعات سبب ايجاد نياز برای ابزارهای داده کاوی شده است تا داده های بی ارزش را به دانشی ارزشمند تبديل کنيم .

به طور ساده داده کاوی به معنای استخراج يا «معدن کاری[10]» دانش از مقدار زيادی داده خام است. البته اين نامگذاری برای اين فرآيند تا حدی نامناسب است، زيرا به طور مثال عمليات معدن کاری برای استخراج طلا از صخره و ماسه را طلا کاوی می ناميم، نه ماسه کاوی يا صخره کاوی، بنابراين بهتر بود به اين فرآيند نامی شبيه به «استخراج دانش از داده» می داديم که متاسفانه بسيار طولانی است. «دانش کاوی» به عنوان يک عبارت کوتاهتر به عنوان جايگزين، نمی تواند بيانگر تاکيد و اهميت بر معدن کاری مقدار زياد داده باشد. معدن کاری عبارتی است که بلافاصله انسان را به ياد فرآيندی مي اندازد که به دنبال يافتن مجموعه کوچکی از قطعات ارزشمند از حجم بسيار زيادی از مواد خام هستيم.

با توجه به مطالب عنوان شده، با اينکه اين فرآيند تا حدی دارای نامگذاری ناقص است ولی اين نامگذاری يعنی داده کاوی بسيار عموميت پيدا کرده است. البته اسامی ديگری نيز برای اين فرآيند پيشنهاد شده که بعضا بسياری متفاوت با واژه داده کاوی است، نظير: استخراج دانش از پايگاه داده، استخراج دانش[11]، آناليز داده / الگو، باستان شناسی داده[12]، و لايروبی داده ها[13].



 

 

ADMIN بازدید : 39 سه شنبه 07 بهمن 1399 زمان : 18:58 نظرات (0)

با توسعه سيستم هاي اطلاعاتي، داده به يکي از منابع پراهميت سازمان ها مبدل گشته است. بنابراين روش ها و تکنيک هايي براي دستيابي کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از اين اطلاعات، مورد نياز مي باشد. با ايجاد و گسترش وب و افزايش چشمگير حجم اطلاعات، نياز به اين روش ها و تکنيک ها بيش از پيش احساس مي شود. وب، محيطي وسيع، متنوع و پويا است که کاربران متعدد اسناد خود را در آن منتشر مي کنند. در حال حاضر بيش از دو بيليون صفحه در وب موجود است و اين تعداد با نرخ 3/7 ميليون صفحه در روز افزايش مييابد. با توجه به حجم وسيع اطلاعات در وب، مديريت آن با ابزارهاي سنتي تقريبا غير ممکن است و ابزارها و روش هايي نو براي مديريت آن مورد نياز است. به طور کلي کاربران وب در استفاده از آن با مشکلات زير روبرو هستند:

1.   يافتن اطلاعات مرتبط: يافتن اطلاعات مورد نياز در وب دشوار مي باشد. روش هاي سنتي بازيابي اطلاعات که براي جستجوي اطلاعات در پايگاه داده ها به کار مي روند، قابل استفاده در وب نمي‌باشند وکاربران معمولا از موتورهاي جستجو که مهمترين و رايج ترين ابزار براييافتن اطلاعات در وب مي باشند، استفاده مي کنند. اين موتورها، يک پرس و جوي[1] مبتني بر کلمات کليدي از کاربر دريافت کرده و در پاسخ ليستي از اسناد مرتبط با پرس و جوي وي را که بر اساس ميزان ارتباط با اين پرس و جو مرتب شده اند، به وي ارائه مي کنند. اما موتورهاي جستجو داراي دو مشکل اصليهستند. اولا دقت[2] موتورهاي جستجو پايين است، چراکه اين موتورها در پاسخ به يک پرس و جوي کاربر صدها يا هزاران سند را بازيابي مي کنند، در حالي که بسياري از اسناد بازيابي شده توسط آنها با نياز اطلاعاتي کاربر مرتبط نمي باشند. دوما ميزان فراخوان[3]اين موتورها کم مي باشد، به آن معني که قادر به بازيابي کليه اسناد مرتبط با نياز اطلاعاتي کاربر نيستند. چراکه حجم اسناد در وب بسيار زياد است و موتورهاي جستجو قادر به نگهداري اطلاعات کليه اسناد وب، در پايگاه داده هاي خود نمي باشند.

2.   ايجاد دانش جديد با استفاده از اطلاعات موجود در وب: اين مشکل در واقع بخشي از مشکل مطرح شده در قسمت قبل مي باشد. در حال حاضر اين سوال مطرح است که چگونه مي توان داده هاي فراوان موجود در وب را به دانشي قابل استفاده تبديل کرد، به طوري که يافتن اطلاعات مورد نياز در آن به سادگي صورت بگيرد. همچنين چگونه مي توان با استفاده از داده هاي وب به اطلاعات و دانشي جديد دست يافت.

3.   خصوصي سازي[4] اطلاعات: از آن جا که کاربران متفاوت هر يک درباره نوع و نحوه بازنمايي اطلاعات سليقه خاصي دارند،اين مسئله بايد توسط تامين کنندگان اطلاعات در وب مورد توجه قرار بگيرد. براي اين منظور با توجه به خواسته ها و تمايلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها بايد سفارشي گردد.

تکنيک هاي وب کاوي[5]قادر به حل اين مشکلات مي باشند. دروب کاويبه صورت زير تعريف شده است:

وب کاوي به کارگيري تکنيک هاي داده کاوي[6] براي کشف و استخراج خودکار اطلاعات از اسناد و سرويس هاي وب مي باشد.

البته تکنيک هاي وب کاوي تنها ابزار موجود براي حل اين مشکلات نيستند. بلکه تکنيک هاي مختلفي از ساير زمينه هاي تحقيقاتي همچون پايگاه داده ها، بازيابي اطلاعات، پردازش زبان طبيعيقابل استفاده در اين زمينه مي باشند. همچنين تکنينک هاي وب کاوي مي توانند به صورت مستقيم يا غير مستقيم براي حل اين مشکلات به کار روند. منظور از رويکرد مستقيم آن است که کاربرد تکنيک هاي وب کاوي به صورت مستقيم مشکلات مطرح شده را حل مي نمايد. يک عامل گروه خبري که مرتبط بودن يک خبر به يک کاربر را تعيين مي کند، مثالي از اين رويکرد مي باشد. اما در رويکرد غير مستقيم، تکنيک هاي وب کاوي به عنوان بخشي از يک روش جامع تر که به حل اين مشکلات مي پردازد، مورد استفاده قرار مي گيرند.

با توجه به گسترش روز افزون حجم اطلاعات در وب و ارتباط وب کاوي با تجارت الکترونيکي، وب کاوي به يک زمينه تحقيقاتي وسيع مبدل گشته است. طي اين گزارش پس از بررسي مراحل وب کاوي،انواع آن معرفي مي شوند. سپس ارتباط وب کاوي با ساير زمينه هاي تحقيقاتي بررسي شده و به چالش ها و مشکلات اين زمينه تحقيقاتي اشاره مي شود. در ادامه هر يک از انواع وب کاوي به تفصيل مورد بررسي قرار مي گيرند. براي اين منظور مدل ها، الگوريتم ها و کاربردهايهر طبقه معرفي مي شوند. در پايان نيز به برخي از نمونه کاربردهاي واقعي وب کاوياشاره مي شود.

تعداد صفحات : 2

اطلاعات کاربری
  • فراموشی رمز عبور؟
  • مطالب
    آرشیو
  • بهمن 1399
  • تبلیغات
    http://8pic.ir/images/d5xjk5bjzkp9lh3deh1z.gif
    http:///imgs/2014-08/36036647768004053538.gif

    آمار سایت
  • کل مطالب : 13
  • کل نظرات : 42
  • افراد آنلاین : 1
  • تعداد اعضا : 10
  • آی پی امروز : 10
  • آی پی دیروز : 1
  • بازدید امروز : 19
  • باردید دیروز : 2
  • گوگل امروز : 0
  • گوگل دیروز : 0
  • بازدید هفته : 26
  • بازدید ماه : 117
  • بازدید سال : 700
  • بازدید کلی : 27,894