2 – 1 – 2 – 1- رگرسیون ریج تعمیم یافته ……………………………………………………………………………………….. 23

2 – 1 – 3 – روش های مختلف برآورد پارامتر ریج …………………………………………………………………………………….. 25

2 – 2 – تعدیل کردن برآوردگرها …………………………………………………………………………………………………………………………… 30

2 – 3 – یک مطالعه شبیه سازی. ………………………………………………………………………………………………………………………….. 31

فصل سوم: برآوردگر رگرسیون ریج خطی شده در رگرسیون خطی

3 – 1- ارزیابی بیشتر برآوردگر لیو ……………………………………………………………………………………………………………………….. 41

3 – 1 – 1- ارتباط بین برآوردگر لیو و ریج ………………………………………………………………………………………………..44

3 – 2 – برآوردگر لیو تعمیم یافته ………………………………………………………………………………………………………………………….. 46

3 – 3 – برآوردگر رگرسیون ریج خطی شده ………………………………………………………………………………………………………….. 46

3 – 3 – 1 – نسخه جدید برآوردگر ریج تعمیم یافته براساس برآوردگر لیو ……………………………………….. 47

3– 3 – 2 – بدست آوردن برآوردگر رگرسیون ریج خطی شده …………………………………………………………………………… 49

3 – 4 – بهینه کردن سه برآوردگر و و در مجموعه های مختلف ………………………………….. 50

3 – 4 – 1 – بدست آوردن آماره برای سه برآوردگر …… …………………………………………………………49

3 – 4 – 2- روش بهینه کردن سه برآوردگر ………………………………………………………………………………………….. 53

فصل چهارم:مثال های کاربردی وشبیه سازی

4 – 1 – مثال شبیه سازی …………………………………………………………………………………………………………………………………….. 58

4 – 2 – مثال واقعی ……………………………………………………………………………………………………………………………………………….. 61

پیوست

پیوست 1 …………………………………………………………………………………………………. ………………………………………………………………65

پیوست 2 …………………………………………………………………………………………………………………………………………………………………. 70

فهرست منابع و مآخذ ……………………………………………………………………………………………………………………………………………… 80

واژه نامه فارسی به انگلیسی ……………………………………………………………………………………………………………………………………. 83

واژه نامه انگلیسی به فارسی ……………………………………………………………………………………………………………………………………. 87

فهرست جدول ها

جدول 2 – 1- برآورد شده برآوردگرهای ریج اولیه برای ………………………………………. …………………34

جدول 2 – 2 – برآورد شده برآوردگرهای ریج تعدیل شده برای …………….. ………………………………..35

جدول 2 – 3- برآورد شده برآوردگرهای ریج اولیه برای ………………………… …………………………………36

جدول 2 – 4- برآورد شده برآوردگرهای تعدیل شده برای ……………………… ………………………………..37

جدول 2 – 5 برآورد شده برآوردگرهای ریج اولیه برای ………………………. ……………………………………..38

جدول 2 – 6 – برآورد شده برآوردگرهای تعدیل شده برای …………………………….. ………………………..39

جدول 4 – 1 -متوسط مقدار برای برآوردگرهای،، و……………………………60

جدول 4 – 2– مقدار برآوردگرهای،،،و……………………………62

جدول 4 – 3- داده های سیمان هالد ……………………………………………………………………………………………………………………….62

فهرست نمودار ها

شکل 3-1- نمودار امین مولفه برآوردگرهای ریج و لیو برای ………………………………………………..45

نمودار 4 – 1 – کارایی بهبود یافته چهار برآوردگر برای شش مقدار

………………………………………………………………60

چکیده

بررسیروش های مختلفبرآوردیابی در رگرسیون ریج

در رگرسیون خطی چندگانه، موضوع هم خطی چندگانه مشکلاتی را برای برآوردگر حداقل مربعات پارامتربه وجود می آورد. در این پایان نامه، ضمن ارائه این مشکلات، تلاش می شود که برآوردگرهای اریبی مانند برآوردگر حاصل از رگرسیون ریج و یا برآوردگر لیو جایگزین برآوردگرهای حاصل از کمترین مربعات نماییم. این برآوردگرها اغلب دارای یک پارامتر اریبیkیاdهستند. می توان با انتخاب مناسبkیاdبرآوردگری با میانگین مربعات خطای کمتری نسبت به برآوردگر حداقل مربعات بدست آورد. روش های مختلف برآورد کردن پارامتر اریبی در رگرسیون ریج معمولی را ارائه داده و سپس با استفاده از این روش ها، برآوردگرهای تعدیل یافته جدیدی بدست می آوریم. برآوردگر ریج خطی شده را معرفی کرده و با استفاده از معیار ، به بهینه کردن این برآوردگر و دو نسخه تعمیم یافته برآوردگر لیو می پردازیم. در پایان به وسیله یک مطالعه شبیه سازی و یک سری داده واقعی، عملکرد برآوردگرهای معرفی شده را با هم مقایسه می کنیم.

Abstract

A Survey on Different Estimation Methods in the Ridge Regression

In Multiple linear Regression models, multicollinearity caused some problems for least squares estimator of the model’s parameter. In this thesis, we present these problems. moreover, we attempted to replace biased estimators which are obtained from ridge regression or liu estimation process by the estimators which are obtained by least squares method. It is essential to note that these estimators have a biased parameter, k or d. by an appropriate selection of k or d, we can find an estimator with minimum mean square error property relative to ordinary least squares estimator. We also present methods of estimating biased parameter in ordinary ridge regression and than from these methods, new modify estimators are obtained. we introduce a Linearized Ridge Regression estimator and using PRESS criterion, we optimaize this estimator and also two versions of Generalized Liu estimators. At last, using a simulation study and a real set of data, we compare performance of given estimators.

تاریخچه و تعاریف مقدماتی