ارائه یک معماری یادگیری عمیق برای شناسایی اعمال انسان در ویدئو

شناسایی اعمال انسان در ویدئو با توجه به کاربردهای بسیاری که در زمینه های مختلف از جمله امنیت، سلامت، مدیریت هوشمند شهر و ساختمان و ... دارد، طی چند سال اخیر توجه زیادی را به خود جلب کرده است. از سوی دیگر، رویکردهای یادگیری عمیق مانند شبکه های عصبی پیچشی (CNN ها) و شبکه های عصبی بازگشتی (RNN ها) در زمینه های مختلف توانسته اند نتایج بسیار خوبی را کسب کنند. با این وجود، علی رغم تغییرات زمانی قابل توجه در محتوای ویدئو، تاکنون شبکه های عصبی بازگشتی در شناسایی اعمال انسان ضعیف تر از روش های مبتنی بر شبکه های پیچشی عمل کرده اند. در این پژوهش با معرفی یک رویکرد سلسله مراتبی زمانی در دو سطح محلی و سراسری، با استفاده از شبکه های پیچشی متورم دو جریانی که از شبکه های عصبی پیچشی دو بعدی معروف برای دسته بندی تصاویر ایجاد شده اند و همچنین استفاده از پشته ای از لایه های واحدهای بازگشتی گیت دار (GRU) توانسته ایم رویکردی جدید برای شناسایی اعمال انسان در ویدئو ارائه دهیم. در این رویکرد ابتدا ویژگی های فضایی-زمانی را برای هر دو جریان فضایی و زمانی به صورت محلی با استفاده از شبکه های پیچشی سه بعدی متورم (I3D) فضایی و زمانی استخراج می کنیم که این کار باعث تبدیل دنباله طولانی قاب های یک ویدئو به یک دنباله کوتاه تر و حاوی اطلاعات مفیدتر می شود. این دنباله کوتاه شده را به شبکه ای از GRU ها می دهیم و در نهایت نیز نتایج دو جریان را تجمیع می کنیم. برای تجمیع نتایج، یک لایه جدید با نام میانگین وزن دهی شده را معرفی می کنیم که اهمیت هر جریان را در فرایند آموزش به صورت خودکار فرا می گیرد. ارزیابی ها نشان دهنده نتایجی قابل قبول برای دو مجموعه داده HMDB51 و UCF101 هستند. روش پیشنهادی موجب 1.6 درصد بهبود در صحت دسته بندی نمونه های مجموعه داده پرچالش HMDB51 نسبت به نتایج گزارش شده بهترین روش موجود گردیده است.

کلیدواژه ها:

شبکه های عصبی پیچشی متورم ، واحد بازگشتی گیت دار ، شناسایی اعمال ، معماری دو جریانی.