تحلیل تاثیر حافظه کش (Cache) و حجم داده بر عملکرد مدلهای یادگیری عمیق با استفاده از پایتون

این تحقیق به بررسی تاثیر حافظه کش (Cache) و حجم داده ها بر عملکرد مدل های یادگیری عمیق با استفاده از داده های تصویری و متنی می پردازد. در این راستا، دو مجموعه داده CIFAR-۱۰ و IMDB Reviews مورد استفاده قرار گرفتند. داده های تصویری با بهره گیری از تکنیک های افزایش داده همچون چرخش، انتقال عرضی و عمودی، تغییر ابعاد و معکوس افقی به کمک ImageDataGenerator در Keras پیش پردازش شدند. در بخش متنی نیز، داده ها از فایل های محلی بارگذاری و با استفاده از دیکشنری واژگان بازسازی و سپس به توالی های عددی تبدیل گردیدند. برای پیاده سازی مدل های یادگیری، از شبکه کانولوشنی (CNN) جهت پردازش تصاویر و مدل Transformer نسخه DistilBERT برای داده های متنی استفاده شد. به منظور بهینه سازی پردازش داده ها، یک سامانه ی حافظه کش چندسطحی توسعه داده شد که امکان بارگذاری دینامیک داده ها از سطوح حافظه ی L۱ و L۲ و در صورت نیاز از دیسک را فراهم می کند. همچنین در بخش آموزش با PyTorch، از DataLoader به همراه قابلیت prefetching برای تسریع فرآیند بارگذاری داده ها بهره گرفته شد. مدل ها در سه سناریوی آزمایش شدند. نتایج نشان داد که استفاده از کش «بدون کش» و «با کش» مختلف از نظر حجم داده (کم، متوسط، زیاد) و در دو حالت چندسطحی به طور میانگین باعث کاهش زمان آموزش تا ۰۴٪ در داده های تصویری و ۰۳٪ در داده های متنی شد، بدون آنکه اثر منفی بر دقت مدل ها داشته باشد. این یافته ها اهمیت بهینه سازی حافظه در یادگیری عمیق را برجسته ساخته و راهکارهای موثری برای افزایش سرعت و بهره وری در سیستم های هوش مصنوعی ارائه می دهد.

کلیدواژه ها:

یادگیری عمیق ، حافظه کش ، کش چند سطحی ، پایتون ، حجم داده ، پردازش داده