رویکردی برای بهبود کارآیی چهارچوب Hadoop MapReduce برای پردازش Big Data

تحلیل دادهها امروزه یکی از مهمترین ابزارهای تصمیم گیری در همه زمینه ها، از صنعت تا علوم پزشکی و از فناوری تا مدیریت ، محسوب می شود. اهمیت این فرآیند به دلیل توانایی ارائه راهنمایی های دقیق و قابل اعتماد برای تصمیم گیریهای استراتژیک و عملی ، بی قید و شرط است . در این مقاله از Hadoop MapReduce ، بعنوان یکی از قدرتمندترین ابزارهای پردازش توزیع شده برای پردازش حجم بالایی از داده های سازمانی استفاده کرده و یک رویکرد بهینه سازی جدید برای بهبود عملکرد چارچوب Hadoopارائه شده است که از الگوریتم های خوشه بندی معروف K-Means و K Medoids بهره برده و با تغییراتی مناسب ، نتایج بهتری برای پردازش داده در داخل Hadoop ارائه می دهد. این روش در محیط چندگانه گره های Hadoop آزمایش شده است و نتایج قابل قبولی بدست آمده است .

کلیدواژه ها:

K-mean clustering ، MapReduce ، Hadoop ، HDFS