حمید کرمی کبیر

امروزه رگرسیون به طور گسترده برای پیش گویی در مبحث یادگیری ماشین مورد استفاده قرار می گیرد. در تجزیه و تحلیل مسائل رگرسیونی به ویژه در مدل بندی آماری داده های اقتصادی، روانشناسی، علوم اجتماعی، حیاتی، مهندسی و غیره، در بعضی موارد با مشکل همخطی در میان متغیرهای مستقل و همبستگی در خطاها مواجه هستیم. یکی از انواع رگرسیون که به علت سادگی مورد توجه است، رگرسیون خطی می باشد. در این پایان نامه به بررسی بعضی از انواع رگرسیون خطی پرداخته خواهد شد. برای این منظور به معرفی انواع رگرسیون تاوانیده برای حل مشکل همخطی اشاره می شود. در این راستا به بررسی رگرسیون های ستیغی و لاسو پرداخته و در ادامه با معرفی رگرسیون ستیغی محدود شده تصادفی سعی در رفع مشکل همخطی داریم. به طور خاص، برآوردگرهای رگرسیونی انقباضی و آمیخته و همچنین برآوردگر حداقل مربعات تعمیم یافته معرفی می گردد. در پایان برای داده های واقعی میزان همبستگی بین خطاها بررسی می شود، همچنین نشان داده می شود که برآوردگر رگرسیون ستیغی محدود شده ی تصادفی نسبت به برآوردگر انقباضی و آمیخته دارای واریانس کمتر و کارایی بیشتر می باشد.