مقاله ISI در زمینه داده های کلان

مقاله ISI مربوط به استفاده و بکارگیری ابزارها، پلاتفرمهای، و بسترهای داده های کلان در زمینه های(صنعت، پزشکی، تجارت،..) مختلف

 

شماره تماس : [phone] مکتوبیان

 

 

مشاوره و چاپ مقالات در زمینه داده های کلان(Big Data)

در صورت نیاز به مقالات ISI در زمینه داده های کلان(Big Data) با من تماس بگیرید

شماره تماس : [phone]

ایمیل: [e-mail]

IEEE , Springer

مشاوره در انجام پروزه ها،سمینارهای دانشجویی در زمینه داده های کلان(Big Data)

شما می توانید برای مشاوره جهت انجام پروژه های دانشجویی و فعالیتهای تحقیقاتی خود با ما مکاتبه کنید.

موضوعات در زمینه :

• پروژه ها و تحقیقات مربوط به  NoSQL Database 
• پردازش داده های کلان با استفاده از فریمورکهای رایج مانند هدوپ(Hadoop)، اسپارک(Spark) , ...
• پردازش داده های جریانی کلان(Big Data Stream)
• داده کاوی و تحلیل کلان داده ها (big data mining and analytics

شماره تماس : [phone]

09217143226

Jamal Maktoubian

هدوپ چیست ؟

در ابتدا بهتر است که بدانیم هدوپ چه چیزی نیست:

• هدوپ پایگاه داده نیست.
• هدوپ یک نرم افزار نیست.

هدوپ توسط Doug Cutting سازنده Apache Lucene که بصورت گسترده برای عمیات جستجوی متن ها استفاده می شود ،  تولید شد. در حقیقت به وجود آمدن هدوپ از کار بر روی Nutch شروع شد. Apache Nutch یک فریم ورک متن باز برای ایجاد موتور جستجو است که بصورت گسترده ، عملیات جستجوی متن ها را به روشی که خزیدن یا Crawling نام گرفت انجام می دهد.
در خصوص نامگذاری نام هدوپ(HADOOP) باید گفت که مخفف عبارت خاصی نیست، این نامی است که پسر Doug برروی عروسک فیل خود که زرد رنگ بود گذاشته بود.
برای شروع ،  Doug و همکارش Mike ایده ساختن یک موتور جستجوگر وب را در سر داشتند اما این تنها چالش آنها نبود ، قیمت سخت افزار یک موتور جستجوگر که 1 میلیون صفحه وب را جستجو و ایندکس می کند در حدود 500000  دلار بود با این وجود آنها باور داشتند که این پروژه یک هدف ارزشمند است.
Nutch در سال 2002 شروع به کار کرد و در همان زمان عملیات و روشهای جستجوی صفحات وب به سرعت رشد کرد. طی زمانی معماران پروژه دریافتند که این پروژه قابلیت و توانایی کار کردن با میلیونها صفحه وب را ندارد ، در همان برهه در سال 2003 مقاله ای از شرکت گوگل منتشر شد که توانست راهگشای مشکل آنها باشد و معماری(Google File system) GFS را توصیف می کرد. 
GFS توانست مشکل ذخیره سازی داده های عظیم را حل کند علاوه بر آن مدیریت ذخیره سازی نودها دیگر چالشی بود که در معماریهای قبلی بود و با استفاده از این روش آن مشکل نیز برطرف شد. در سال 2004 تیم Nutch توانست نسخه متن باز خود را با نام Nutch Distributed filesystem(NDFS) منتشر کنند. در سال 2004 گوگل با مقاله ای MapReduce را به جهان معرفی کرد، خیلی زود در سال 2005 برنامه نویسان Nutch شروع به کار با (MR)MapReduce کردند و تا اواسط همان سال Nutch نسخه جدید خود را که با NDFS و MR کار می کرد به جهان معرفی کرد. بعد از چندی معماران Nutch دریافتند که عملکرد آن فراتر از فقط یک موتور جستجوگر است و در فوریه 2006 آنها از پروژه Nutch که خود زیر پروژه Lucine به حساب می آمد به سمت پروژه ای آمدند که آن را Hadoop (هدوپ) نامیدند. در تقریبا همان سال Doug به Yahoo پیوست تا با استفاده از یک تیم مستقل هدوپ را آزمایش و پیاده سازی کند.
در سال 2008 شرکت یاهو ،  موتور جستجویی را معرفی کرد که توسط 10000 کلاستر هدوپ عملیات جستجو را انجام می داد. در همان سال و در ماه ژانویه هدوپ در بالاترین سطح پروژه های Apache قرار گرفت در آن زمان دیگر تنها Yahoo تنها استفاده کننده این محصول نبود، شرکتهایی نظیر Last.fm ، Facebook و نیویورک تایمز نیز شروع به فعالیت در این حوزه کرده بودند.

ادامه مطالب