تشخیص کنش انسان در تصاویر RGBD مبتنی بر داده های اسکلتی بدن با استفاده از شبکه های کانولوشن

تشخیص کنش انسان در تصاویرRGB+Dیکی از موضوعات پر کاربرد و جدید در حوزه یادگیری و بینایی ماشین است که دارای چالش های فراوانی نیز می باشد. روشهای زیادی در این حوزه وجود دارد که در بین آنها روشهای مبتنی بر یادگیری عمیق کارآیی مناسبتری دارند. در این مقاله روشی مبتنی بر شبکه های عصبی کانولوشن ارایه شده است که از ترکیب همزمان ویژگی های دوبعدی و سه بعدی استفاده میکند، در این روش ابتدا ویژگی هایی از دنباله اسکلتی تصاویر استخراج شده، سپس هر دسته ویژگی به یک شبکه عصبی کانولوشن داده شده و در نهایت خروجی شبکه ها با یکدیگر ترکیب میشوند. روش پیشنهادی بر روی پایگاه دادهNTU RGB+Dآزمایش شده است و دقت 86.4 % برای تشخیص کنش با پروتکل ارزیابیcross-view به دست آمده است.

کلیدواژه ها:

تشخیص کنش انسان ، تصاویرRGB+D ، شبکه های کانولوشن