یک چارچوب نوین در محیط های توزیع شده برای پردازش داده های حجیم مبتنی بر یادگیری عمیق

با افزایش نمایی حجم داده ها در عصر حاضر، نیاز به روش های پردازشی کارآمد و مقیاس پذیر به یک چالش اساسی تبدیل شده است. این مقاله یک چارچوب ترکیبی پیشرفته ارائه می دهد که یادگیری عمیق را با پردازش توزیع شده ادغام می کند تا کارایی پردازش داده های حجیم را بهینه سازد. روش پیشنهادی از سه نوآوری کلیدی بهره می برد: (۱) یک معماری انعطاف پذیر چهارلایه، (۲) الگوریتم توزیع بار پویا، و (۳) مکانیسم فشرده سازی داده های تطبیقی. ارزیابی های جامع بر روی مجموعه داده های استاندارد نشان می دهد که این چارچوب در مقایسه با سیستم های پایه مانند Apache Spark و TensorFlow Distributed، بهبود ۳۲.۷ درصدی در توان عملیاتی و کاهش ۲۸.۴ درصدی در مصرف حافظه به همراه دارد. همچنین، در کاربردهای واقعی مانند تشخیص تصاویر پزشکی و تحلیل احساسات در شبکه های اجتماعی، به ترتیب به دقت ۹۶.۲٪ و ۹۳.۸٪ دست یافته است.

کلیدواژه ها:

داده های حجیم ، یادگیری عمیق توزیع شده ، پردازش توزیع شده ، بهینه سازی منابع ، معماری مقیاس پذیر ، خوشه های محاسباتی ، الگوریتم های فراابتکاری