ترکیب روش منظم سازی تنک و آسیب مغزی بهینه در کوچک سازی یک مدل یادگیری عمیق

یکی از چالش های شبکه های عصبی پیچشی، به عنوان ابزار اصلی یادگیری عمیق، حجم زیاد برخی از مدل های مربوطه است. یک شبکه ی عصبی پیچشی به مثابه مدلی از مغز، متشکل از میلیون ها اتصال است. کاهش حجم این مدل ها از طریق حذف (هرس) اتصالات اضافی مدل انجام می شود که همانند یک آسیب مغزی است. دو روش منظم سازی تنک و آسیب مغزی بهینه از جمله مشهورترین شیوه های هرس مدل هستند. در این نوشتار با ترکیب این دو شیوه نتایج بهتری در کاهش حجم مدل حاصل شده است. ابتدا با استفاده از روش انتقال یادگیری، یک مدل بزرگ شبکه های عصبی پیچشی برای شناسایی طبقات هدف، آموزش داده شد؛ سپس با روش های منظم سازی تنک و آسیب مغزی بهینه ، اتصالات اضافی آن هرس شدند. نتایج آزمایشات نشان داده است که در بیشتر مجموعه دادگان مورد بررسی، اعمال شیوه ی ترکیبی منظم سازی تنک و آسیب مغزی بهینه نسبت به اعمال هر یک از آنها به صورت جداگانه کاراتر است. برای یکی از مجموعه دادگان مورد بررسی، با روش ترکیبی پیشنهادی   تعداد اتصالات مدل ۷۶ درصد کاهش داده شد، بدون آنکه کارایی آن کاهش یابد. این کاهش حجم مدل، زمان پردازشی را به یک سوم تقلیل داده است. کاهش حجم مدل می تواند امکان استفاده از آن در مرورگرها و سخت افزارهای ضعیف تر و همه گیرتر را تسهیل سازد.      (کد برنامه: https://github.com/mamintoosi/Reg-OBD-for-VGG-Pruning)

کلیدواژه ها:

شبکه های عصبی پیچشی ، هرس شبکه ، یادگیری عمیق ، بهینه سازی تنک ، منظم سازی تنک