مروری بر مشکلات متداول رگرسیون و راه حل های آنها

در رگرسیون خطی معمول، مدل به صورت Y=Xbeta+varepsilon است و برآورد پارامتر beta عبارتست از: hatbeta=(X'X)^{-۱}X'Y است. با این حال در هنگام استفاده از این برآوردگر به صورت عملی، ممکن است مشکلات خاصی مانند مشکل انتخاب متغیر، هم خطی، مدل با ابعاد بالا، کاهش بعد، وجود خطای اندازه گیری بوجود آید که استفاده از  برآوردگر بالا را مشکل می سازد. در اغلب این مشکلات، مساله اصلی عدم معکوس پذیری ماتریس X'X است. برای رفع آن ها راه حل های متعددی ارایه شده است. در این مقاله ضمن مروری بر این مشکلات، مجموعه ای از راه حل های معمول و متداول و همچنین چند روش خاص و پیشرفته (که کمتر مورد اقبال همگان است ولی با این حال توانایی بالقوه ای در رفع هوشمند این مشکلات دارند) برای رفع آن ها را بررسی می کنیم.

کلیدواژه ها:

Colliniarity ، dimension reduction ، measurement error ، ridge regression ، psuedo estimation ، SIR regression ، همخطی ، کاهش بعد ، خطای اندازه گیری ، رگرسیون ستیغی ، شبه برآورد ، رگرسیون معکوس قطعه قطعه شده