Уравнения линейной регрессии

Задача 1


Исследуется зависимость производительности труда (Yi) от уровня механизации работ (Xi) по данным 14 промышленных предприятий (i- порядковый номер предприятия). Статистические данные приведены в таблице. Требуется:

) Найти оценки параметров линейной регрессии у на х. Построить диаграмму рассеяния и нанести прямую регрессии на диаграмму рассеяния.

) На уровне значимости а = 0,05 проверить гипотезу о согласии линейной регрессии с результатами наблюдений.

) С надежностью p = 0,95 найти доверительные интервалы для параметров линейной регрессии. 1.1.


Таблица

i234567891011121314Xi г3230364041475654605561676976Yi2024283031333437384041434548

Решение:

Метод наименьших квадратов дает наилучшие (состоятельные, эффективные и несмещенные) оценки параметров уравнения регрессии. Но только в том случае, если выполняются определенные предпосылки относительно случайного члена (?) и независимой переменной (x).

Формально критерий МНК можно записать так:

= ?(yi - y*i)2 ? min


Система нормальных уравнений.


an + b?x = ?y?x + b?x2 = ?yx


Для наших данных система уравнений имеет вид

a + 724 b = 492

a + 40134 b = 26907

Домножим уравнение (1) системы на (-51.71), получим систему, которую решим методом алгебраического сложения.

-724a -37438.04 b = -25441.32

a + 40134 b = 26907

Получаем:

.96 b = 1465.68

Откуда b = 0.5435

Теперь найдем коэффициент «a» из уравнения (1):

a + 724 b = 492

a + 724 0.5435 = 492

a = 98.51= 7.0361

Получаем эмпирические коэффициенты регрессии: b = 0.5435, a = 7.0361

Уравнение регрессии (эмпирическое уравнение регрессии):= 0.5435 x + 7.0361


Таблица. Для расчета параметров регрессии построим расчетную таблицу

xyx2y2x y322010244006403024900576720362812967841008403016009001200413116819611271473322091089155156343136115619045437291613691998603836001444228055403025160022006141372116812501674344891849288169454761202531057648577623043648724492401341813826907

. Параметры уравнения регрессии

Выборочные средние.


Выборочные дисперсии:


Среднеквадратическое отклонение


Коэффициент корреляции b можно находить по формуле, не решая систему непосредственно:


Коэффициент корреляции


Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:


Линейный коэффициент корреляции принимает значения от -1 до +1.

Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:

.1 <rxy< 0.3: слабая;

.3 <rxy< 0.5: умеренная;

.5 <rxy< 0.7: заметная;

.7 <rxy< 0.9: высокая;

.9 <rxy< 1: весьма высокая;

В нашем примере связь между признаком Y фактором X весьма высокая и прямая. Кроме того, коэффициент линейной парной корреляции может быть определен через коэффициент регрессии b:


Уравнение регрессии (оценка уравнения регрессии).


Линейное уравнение регрессии имеет вид y = 0.54 x + 7.04

Коэффициентам уравнения линейной регрессии можно придать экономический смысл.

Коэффициент регрессии b = 0.54 показывает среднее изменение результативного показателя (в единицах измерения у) с повышением или понижением величины фактора х на единицу его измерения. В данном примере с увеличением на 1 единицу y повышается в среднем на 0.54.

Коэффициент a = 7.04 формально показывает прогнозируемый уровень у, но только в том случае, если х=0 находится близко с выборочными значениями.

Но если х=0 находится далеко от выборочных значений х, то буквальная интерпретация может привести к неверным результатам, и даже если линия регрессии довольно точно описывает значения наблюдаемой выборки, нет гарантий, что также будет при экстраполяции влево или вправо.

Подставив в уравнение регрессии соответствующие значения х, можно определить выровненные (предсказанные) значения результативного показателя y (x) для каждого наблюдения.

Связь между у и х определяет знак коэффициента регрессии b (если > 0 - прямая связь, иначе - обратная). В нашем примере связь прямая.

Коэффициент детерминации.

Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.

Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.2= 0.9692 = 0.9384

т.е. в 93.84 % случаев изменения х приводят к изменению y. Другими словами - точность подбора уравнения регрессии - высокая. Остальные 6.16 % изменения Y объясняются факторами, не учтенными в модели (а также ошибками спецификации).


Таблица. Для оценки качества параметров регрессии построим расчетную таблицу

xyy(x)(yi-ycp)2(y-y(x))2|y - yx|:y322024.43229.3119.610.22302423.34124.160.430.0275362826.651.021.950.0499403028.7826.451.50.0408413129.3217.162.820.0542473332.584.590.180.0127563437.471.3112.060.1543736.393.450.380.0166603839.658.162.710.0433554036.9323.599.430.0768614140.1934.310.660.0198674343.4561.730.20.0105694544.5497.160.210.0103764848.34165.310.120.00713724492492847.7152.260.69

Значимость коэффициента корреляции.

Выдвигаем гипотезы:0: rxy = 0, нет линейной взаимосвязи между переменными;1: rxy ? 0, есть линейная взаимосвязь между переменными;

Для того чтобы при уровне значимости ? проверить нулевую гипотезу о равенстве нулю генерального коэффициента корреляции нормальной двумерной случайной величины при конкурирующей гипотезе H1 ? 0, надо вычислить наблюдаемое значение критерия (величина случайной ошибки)


и по таблице критических точек распределения Стьюдента, по заданному уровню значимости ? и числу степеней свободы k = n - 2 найти критическую точку tкрит двусторонней критической области. Если tнабл<tкрит оснований отвергнуть нулевую гипотезу. Если |tнабл| >tкрит - нулевую гипотезу отвергают.


По таблице Стьюдента с уровнем значимости ?=0.05 и степенями свободы k=12 находим tкрит:

крит (n-m-1;?/2) = (12;0.025) = 2.179


где m = 1 - количество объясняющих переменных.

Если |tнабл| >tкритич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).

Поскольку |tнабл| >tкрит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим

В парной линейной регрессии t2r = t2b и тогда проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

Интервальная оценка для коэффициента корреляции (доверительный интервал).


Доверительный интервал для коэффициента корреляции.


(0.813;1)

Индивидуальные доверительные интервалы для Y при данном значении X.


(a + bxi ± ?)


где


крит (n-m-1;?/2) = (12;0.025) = 2.179


Таблица

xiy = 7.04 + 0.54xi?iymin = y - ?iymax = y + ?i3224.435.0119.4129.443023.345.0818.2628.423626.64.921.731.514028.784.8223.9633.594129.324.824.5234.124732.584.7327.8637.315637.474.7232.7542.195436.394.7131.6741.16039.654.7634.8844.415536.934.7232.2141.646140.194.7835.4144.976743.454.8938.5648.346944.544.9439.5949.48

С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.

Проверка гипотез относительно коэффициентов линейного уравнения регрессии.

) t-статистика. Критерий Стьюдента.

крит (n-m-1;?/2) = (12;0.025) = 2.179


Поскольку 13.51 > 2.179, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).


Поскольку 3.27 > 2.179, то статистическая значимость коэффициента регрессии a подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).

Доверительный интервал для коэффициентов уравнения регрессии.

Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:


(b - tкритSb; b + tкритSb)

(0.54 - 2.179 0.0402; 0.54 + 2.179 0.0402)

(0.456;0.631)


С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.


(a - tкритSa; a + tкрит Sa)

(7.036 - 2.179 2.15; 7.036 + 2.179 2.15)

(2.344;11.728)


С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.

) F-статистика. Критерий Фишера.


где m - число факторов в модели.

Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:

. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H0: R2=0 на уровне значимости ?.

2. Далее определяют фактическое значение F-критерия:


где m=1 для парной регрессии.



Задача 2


Исследуется зависимость производительности труда (Yi) от уровня механизации работ (Xi %) и среднего возраста работников (Xi лет) по данным 14 промышленных предприятий (i - порядковый номер предприятия). Статистические данные приведены в таблице .

Требуется:

) Вычислить ковариации и составить ковариационную матрицу.

) Найти оценки параметров множественной линейной регрессии и составить уравнение плоскости регрессии у = b0+b1x +b2x

) На уровне значимости а = 0,05 проверить гипотезу о согласии линейной множественной регрессии с результатом наблюдений.

) С надежностью p = 0,95 найти доверительные интервалы для параметров множественной линейной регрессии. 2.1.


Таблица

i1234567891011121314X1i323036404145654605561676976X2i3331413946433438423539444041Yi2024283031333437384041434548

Решение:

Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения: s = (XTX)-1XTY


Таблица

1323313031136411403914146147431563415438160421553516139167441694017641

Матрица Y

2024283031333437384041434548

Таблица. Матрица XT

1111111111111132303640414756546055616769763331413946433438423539444041

Умножаем матрицы, (XTX)


В матрице, (XTX) число 14, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы XT и 1-го столбца матрицы X

Умножаем матрицы, (XTY)


Таблица. Находим обратную матрицу (XTX)-1

6.168-0.0023-0.153-0.00230.000427-0.000508-0.153-0.0005080.0046

Вектор оценок коэффициентов регрессии равен


Уравнение регрессии (оценка уравнения регрессии)

= 1.74 + 0.53X1 + 0.16X2


Матрица парных коэффициентов корреляции R.

Число наблюдений n = 14. Число независимых переменных в модели равно 2, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 4. Матрица, независимых переменных Х имеет размерность (14 х 4).


Таблица. Матрица, составленная из Y и X

12032331243031128364113040391314146133474313456341375438138604214055351416139143674414569401487641

Таблица. Транспонированная матрица.

11111111111111202428303133343738404143454832303640414756546055616769763331413946433438423539444041

Таблица. Матрица ATA.

14492724546492181382690719384724269074013428533546193842853321544

Таблица. Полученная матрица имеет следующее соответствие:

?n?y?x1?x2?y?y2?x1 y?x2 y?x1?yx1?x12?x2 x1?x2?yx2?x1 x2?x22

Найдем парные коэффициенты корреляции.


Таблица

Признаки x и y?xi?yi?xiyiДля y и x172451.71449235.143269071921.929Для y и x25463949235.143193841384.571Для x1 и x25463972451.714285332038.071

Таблица

Признаки x и yДля y и x1192.34760.55113.8697.781Для y и x217.85760.5514.2267.781Для x1 и x217.857192.3474.22613.869уравнение линейный регрессия

Таблица. Матрица парных коэффициентов корреляции R:

-yx1x2y10.9690.426x10.96910.362x20.4260.3621

Оценка дисперсии равна:

e2 = (Y - X*Y(X))T(Y - X*Y(X)) = 46.76


Несмещенная оценка дисперсии равна:


Оценка среднеквадратичного отклонения (стандартная ошибка для оценки Y):


Найдем оценку ковариационной матрицы вектора k = S2 (XTX)-1


Дисперсии параметров модели определяются соотношением S2i = Kii, т.е. это элементы, лежащие на главной диагонали


Множественный коэффициент корреляции (Индекс множественной корреляции).


Связь между признаком Y факторами X сильная

Расчёт коэффициента корреляции выполним, используя известные значения линейных коэффициентов парной корреляции и ?-коэффициентов.


Коэффициент детерминации


R2 = 0.945


Коэффициент детерминации.

2= 0.9722 = 0.945


Проверка гипотез относительно коэффициентов уравнения регрессии (проверка значимости параметров множественного уравнения регрессии).

Число v = n - m - 1 называется числом степеней свободы. Считается, что при оценивании множественной линейной регрессии для обеспечения статистической надежности требуется, чтобы число наблюдений, по крайней мере, в 3 раза превосходило число оцениваемых параметров.

) t-статистика

табл (n-m-1;?/2) = (11;0.025) = 2.201


Находим стандартную ошибку коэффициента регрессии b0:


Статистическая значимость коэффициента регрессии b0 не подтверждается.

Находим стандартную ошибку коэффициента регрессии b1:


Статистическая значимость коэффициента регрессии b1 подтверждается.

Находим стандартную ошибку коэффициента регрессии b2:


Статистическая значимость коэффициента регрессии b2 не подтверждается.

Доверительный интервал для коэффициентов уравнения регрессии.

Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:


(bi - tiSbi; bi + tiSbi)

b0: (1.74 - 2.201 5.12 ; 1.74 + 2.201 5.12) = (-9.53;13.01)1: (0.53 - 2.201 0.0426 ; 0.53 + 2.201 0.0426) = (0.43;0.62)2: (0.16 - 2.201 0.14 ; 0.16 + 2.201 0.14) = (-0.15;0.47)


Задача 3


Исследуется зависимость себестоимости единицы продукции (у тыс. р.) от объема произведенной продукции (х тыс. шт.) по данным 15 предприятий (г - порядковый номер предприятия). Статистические данные приведены в таблице. Требуется:

) Построить диаграмму рассеяния. Убедиться, что между себестоимостью и объемом произведенной продукции существует нелинейная связь.

) Считая, что регрессия у по х представляется многочленом второй степени, найти оценки параметров параболической регрессии и составить уравнение линии регрессии.

) Построить кривую регрессии и нанести ее на диаграмму рассеяния. 3.1.


Таблица

i123456789101112131415Xiг2344566678910121314Yi8107655434532112

С помощью средств MS Excel нанесем точки рассеивания на координатную плоскость. Анализируя, расположение точек на диаграмме, можем утверждать наличие нелинейной связи между факторами.



Составим уравнение регрессии


Задача 4


Поквартальная динамика объема реализованной продукции (у млн. р.) объединения представлена в таблице. Требуется:

) Оценить параметры линейного тренда методом наименьших квадратов.

) На основании линейной модели определить прогноз экономического показателя у в 4-ом квартале 99 года.


Таблица

1 KB. 98г.2 кв. 98г.3 кв. 98г.4 кв. 98г.1 KB. 99г.2 кв. 99г.3 кв. 99г.yi25293440444853

Решение:

Линейное уравнение тренда имеет вид y = a1t + a0

. Находим параметры уравнения методом наименьших квадратов.

Система уравнений МНК:

0n + a1?t = ?y0?t + a1?t2 = ?y t


Таблица

tyt2y2t y1251625252294841583349115610244016160016054425193622064836230428875349280937128273140112711224

Для наших данных система уравнений имеет вид:

a0 + 28a1 = 273

a0 + 140a1 = 1224

Из первого уравнения выражаем а0 и подставим во второе уравнение

Получаем a0 = 20.143, a1 = 4.714

Уравнение тренда:= 4.714 t + 20.143

Эмпирические коэффициенты тренда a и b являются лишь оценками теоретических коэффициентов ?i, а само уравнение отражает лишь общую тенденцию в поведении рассматриваемых переменных.

Коэффициент тренда b = 4.714 показывает среднее изменение результативного показателя (в единицах измерения у) с изменением периода времени t на единицу его измерения. В данном примере с увеличением t на 1 единицу, y изменится в среднем на 4.714.

Однофакторный дисперсионный анализ.

Средние значения


Дисперсия


Среднеквадратическое отклонение


Для оценки качества параметров уравнения построим расчетную таблицу (табл. 2)


Таблица

tyy(t)(y-ycp)2(y-y(t))2(t-tp)212524.861960.0204922929.571000.33433434.29250.081614403911054443.71250.0816164848.43810.18475353.141960.020492736241.7128

. Анализ точности определения оценок параметров уравнения тренда.

Стандартная ошибка уравнения.


где m = 1 - количество влияющих факторов в модели тренда.


По таблице Стьюдента находим табл.табл (n-m-1;?/2) = (5;0.025) = 2.571

Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и t = 0


(a + btp ± ?)


где


(0) = 4.714*0 + 20.143 = 20.143

(20.143 - 0.569 ; 20.143 - 0.569)

(19.574;20.712)


Интервальный прогноз.

Определим среднеквадратическую ошибку прогнозируемого показателя.

= yn+L ± K


где


- период упреждения; уn+L - точечный прогноз по модели на (n + L)-й момент времени; n - количество наблюдений во временном ряду; Sy - стандартная ошибка прогнозируемого показателя; Tтабл - табличное значение критерия Стьюдента для уровня значимости ? и для числа степеней свободы, равного n-2.

По таблице Стьюдента находим Tтабл

табл (n-m-1;?/2) = (5;0.025) = 2.571


Точечный прогноз, t = 8: y(8) = 4.71*8 + 20.14 = 57.86


.86 - 1.97 = 55.89 ; 57.86 + 1.97 = 59.83


Интервальный прогноз:

= 8: (55.89;59.83)

уравнение линейный регрессия


Диаграмма

1.


Теги: Уравнения линейной регрессии  Контрольная работа  Математика
Просмотров: 28716
Найти в Wikkipedia статьи с фразой: Уравнения линейной регрессии
Назад