Задача 1
Исследуется зависимость производительности труда (Yi) от уровня механизации работ (Xi) по данным 14 промышленных предприятий (i- порядковый номер предприятия). Статистические данные приведены в таблице. Требуется:
) Найти оценки параметров линейной регрессии у на х. Построить диаграмму рассеяния и нанести прямую регрессии на диаграмму рассеяния.
) На уровне значимости а = 0,05 проверить гипотезу о согласии линейной регрессии с результатами наблюдений.
) С надежностью p = 0,95 найти доверительные интервалы для параметров линейной регрессии. 1.1.
Таблица
i234567891011121314Xi г3230364041475654605561676976Yi2024283031333437384041434548
Решение:
Метод наименьших квадратов дает наилучшие (состоятельные, эффективные и несмещенные) оценки параметров уравнения регрессии. Но только в том случае, если выполняются определенные предпосылки относительно случайного члена (?) и независимой переменной (x).
Формально критерий МНК можно записать так:
= ?(yi - y*i)2 ? min
Система нормальных уравнений.
an + b?x = ?y?x + b?x2 = ?yx
Для наших данных система уравнений имеет вид
a + 724 b = 492
a + 40134 b = 26907
Домножим уравнение (1) системы на (-51.71), получим систему, которую решим методом алгебраического сложения.
-724a -37438.04 b = -25441.32
a + 40134 b = 26907
Получаем:
.96 b = 1465.68
Откуда b = 0.5435
Теперь найдем коэффициент «a» из уравнения (1):
a + 724 b = 492
a + 724 0.5435 = 492
a = 98.51= 7.0361
Получаем эмпирические коэффициенты регрессии: b = 0.5435, a = 7.0361
Уравнение регрессии (эмпирическое уравнение регрессии):= 0.5435 x + 7.0361
Таблица. Для расчета параметров регрессии построим расчетную таблицу
xyx2y2x y322010244006403024900576720362812967841008403016009001200413116819611271473322091089155156343136115619045437291613691998603836001444228055403025160022006141372116812501674344891849288169454761202531057648577623043648724492401341813826907
. Параметры уравнения регрессии
Выборочные средние.
Выборочные дисперсии:
Среднеквадратическое отклонение
Коэффициент корреляции b можно находить по формуле, не решая систему непосредственно:
Коэффициент корреляции
Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:
Линейный коэффициент корреляции принимает значения от -1 до +1.
Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:
.1 <rxy< 0.3: слабая;
.3 <rxy< 0.5: умеренная;
.5 <rxy< 0.7: заметная;
.7 <rxy< 0.9: высокая;
.9 <rxy< 1: весьма высокая;
В нашем примере связь между признаком Y фактором X весьма высокая и прямая. Кроме того, коэффициент линейной парной корреляции может быть определен через коэффициент регрессии b:
Уравнение регрессии (оценка уравнения регрессии).
Линейное уравнение регрессии имеет вид y = 0.54 x + 7.04
Коэффициентам уравнения линейной регрессии можно придать экономический смысл.
Коэффициент регрессии b = 0.54 показывает среднее изменение результативного показателя (в единицах измерения у) с повышением или понижением величины фактора х на единицу его измерения. В данном примере с увеличением на 1 единицу y повышается в среднем на 0.54.
Коэффициент a = 7.04 формально показывает прогнозируемый уровень у, но только в том случае, если х=0 находится близко с выборочными значениями.
Но если х=0 находится далеко от выборочных значений х, то буквальная интерпретация может привести к неверным результатам, и даже если линия регрессии довольно точно описывает значения наблюдаемой выборки, нет гарантий, что также будет при экстраполяции влево или вправо.
Подставив в уравнение регрессии соответствующие значения х, можно определить выровненные (предсказанные) значения результативного показателя y (x) для каждого наблюдения.
Связь между у и х определяет знак коэффициента регрессии b (если > 0 - прямая связь, иначе - обратная). В нашем примере связь прямая.
Коэффициент детерминации.
Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.
Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.2= 0.9692 = 0.9384
т.е. в 93.84 % случаев изменения х приводят к изменению y. Другими словами - точность подбора уравнения регрессии - высокая. Остальные 6.16 % изменения Y объясняются факторами, не учтенными в модели (а также ошибками спецификации).
Таблица. Для оценки качества параметров регрессии построим расчетную таблицу
xyy(x)(yi-ycp)2(y-y(x))2|y - yx|:y322024.43229.3119.610.22302423.34124.160.430.0275362826.651.021.950.0499403028.7826.451.50.0408413129.3217.162.820.0542473332.584.590.180.0127563437.471.3112.060.1543736.393.450.380.0166603839.658.162.710.0433554036.9323.599.430.0768614140.1934.310.660.0198674343.4561.730.20.0105694544.5497.160.210.0103764848.34165.310.120.00713724492492847.7152.260.69
Значимость коэффициента корреляции.
Выдвигаем гипотезы:0: rxy = 0, нет линейной взаимосвязи между переменными;1: rxy ? 0, есть линейная взаимосвязь между переменными;
Для того чтобы при уровне значимости ? проверить нулевую гипотезу о равенстве нулю генерального коэффициента корреляции нормальной двумерной случайной величины при конкурирующей гипотезе H1 ? 0, надо вычислить наблюдаемое значение критерия (величина случайной ошибки)
и по таблице критических точек распределения Стьюдента, по заданному уровню значимости ? и числу степеней свободы k = n - 2 найти критическую точку tкрит двусторонней критической области. Если tнабл<tкрит оснований отвергнуть нулевую гипотезу. Если |tнабл| >tкрит - нулевую гипотезу отвергают.
По таблице Стьюдента с уровнем значимости ?=0.05 и степенями свободы k=12 находим tкрит:
крит (n-m-1;?/2) = (12;0.025) = 2.179
где m = 1 - количество объясняющих переменных.
Если |tнабл| >tкритич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).
Поскольку |tнабл| >tкрит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим
В парной линейной регрессии t2r = t2b и тогда проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.
Интервальная оценка для коэффициента корреляции (доверительный интервал).
Доверительный интервал для коэффициента корреляции.
(0.813;1)
Индивидуальные доверительные интервалы для Y при данном значении X.
(a + bxi ± ?)
где
крит (n-m-1;?/2) = (12;0.025) = 2.179
Таблица
xiy = 7.04 + 0.54xi?iymin = y - ?iymax = y + ?i3224.435.0119.4129.443023.345.0818.2628.423626.64.921.731.514028.784.8223.9633.594129.324.824.5234.124732.584.7327.8637.315637.474.7232.7542.195436.394.7131.6741.16039.654.7634.8844.415536.934.7232.2141.646140.194.7835.4144.976743.454.8938.5648.346944.544.9439.5949.48
С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.
Проверка гипотез относительно коэффициентов линейного уравнения регрессии.
) t-статистика. Критерий Стьюдента.
крит (n-m-1;?/2) = (12;0.025) = 2.179
Поскольку 13.51 > 2.179, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).
Поскольку 3.27 > 2.179, то статистическая значимость коэффициента регрессии a подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:
(b - tкритSb; b + tкритSb)
(0.54 - 2.179 0.0402; 0.54 + 2.179 0.0402)
(0.456;0.631)
С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
(a - tкритSa; a + tкрит Sa)
(7.036 - 2.179 2.15; 7.036 + 2.179 2.15)
(2.344;11.728)
С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
) F-статистика. Критерий Фишера.
где m - число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H0: R2=0 на уровне значимости ?.
2. Далее определяют фактическое значение F-критерия:
где m=1 для парной регрессии.
Задача 2
Исследуется зависимость производительности труда (Yi) от уровня механизации работ (Xi %) и среднего возраста работников (Xi лет) по данным 14 промышленных предприятий (i - порядковый номер предприятия). Статистические данные приведены в таблице .
Требуется:
) Вычислить ковариации и составить ковариационную матрицу.
) Найти оценки параметров множественной линейной регрессии и составить уравнение плоскости регрессии у = b0+b1x +b2x
) На уровне значимости а = 0,05 проверить гипотезу о согласии линейной множественной регрессии с результатом наблюдений.
) С надежностью p = 0,95 найти доверительные интервалы для параметров множественной линейной регрессии. 2.1.
Таблица
i1234567891011121314X1i323036404145654605561676976X2i3331413946433438423539444041Yi2024283031333437384041434548
Решение:
Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения: s = (XTX)-1XTY
Таблица
1323313031136411403914146147431563415438160421553516139167441694017641
Матрица Y
2024283031333437384041434548
Таблица. Матрица XT
1111111111111132303640414756546055616769763331413946433438423539444041
Умножаем матрицы, (XTX)
В матрице, (XTX) число 14, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы XT и 1-го столбца матрицы X
Умножаем матрицы, (XTY)
Таблица. Находим обратную матрицу (XTX)-1
6.168-0.0023-0.153-0.00230.000427-0.000508-0.153-0.0005080.0046
Вектор оценок коэффициентов регрессии равен
Уравнение регрессии (оценка уравнения регрессии)
= 1.74 + 0.53X1 + 0.16X2
Матрица парных коэффициентов корреляции R.
Число наблюдений n = 14. Число независимых переменных в модели равно 2, а число регрессоров с учетом единичного вектора равно числу неизвестных коэффициентов. С учетом признака Y, размерность матрицы становится равным 4. Матрица, независимых переменных Х имеет размерность (14 х 4).
Таблица. Матрица, составленная из Y и X
12032331243031128364113040391314146133474313456341375438138604214055351416139143674414569401487641
Таблица. Транспонированная матрица.
11111111111111202428303133343738404143454832303640414756546055616769763331413946433438423539444041
Таблица. Матрица ATA.
14492724546492181382690719384724269074013428533546193842853321544
Таблица. Полученная матрица имеет следующее соответствие:
?n?y?x1?x2?y?y2?x1 y?x2 y?x1?yx1?x12?x2 x1?x2?yx2?x1 x2?x22
Найдем парные коэффициенты корреляции.
Таблица
Признаки x и y?xi?yi?xiyiДля y и x172451.71449235.143269071921.929Для y и x25463949235.143193841384.571Для x1 и x25463972451.714285332038.071
Таблица
Признаки x и yДля y и x1192.34760.55113.8697.781Для y и x217.85760.5514.2267.781Для x1 и x217.857192.3474.22613.869уравнение линейный регрессия
Таблица. Матрица парных коэффициентов корреляции R:
-yx1x2y10.9690.426x10.96910.362x20.4260.3621
Оценка дисперсии равна:
e2 = (Y - X*Y(X))T(Y - X*Y(X)) = 46.76
Несмещенная оценка дисперсии равна:
Оценка среднеквадратичного отклонения (стандартная ошибка для оценки Y):
Найдем оценку ковариационной матрицы вектора k = S2 (XTX)-1
Дисперсии параметров модели определяются соотношением S2i = Kii, т.е. это элементы, лежащие на главной диагонали
Множественный коэффициент корреляции (Индекс множественной корреляции).
Связь между признаком Y факторами X сильная
Расчёт коэффициента корреляции выполним, используя известные значения линейных коэффициентов парной корреляции и ?-коэффициентов.
Коэффициент детерминации
R2 = 0.945
Коэффициент детерминации.
2= 0.9722 = 0.945
Проверка гипотез относительно коэффициентов уравнения регрессии (проверка значимости параметров множественного уравнения регрессии).
Число v = n - m - 1 называется числом степеней свободы. Считается, что при оценивании множественной линейной регрессии для обеспечения статистической надежности требуется, чтобы число наблюдений, по крайней мере, в 3 раза превосходило число оцениваемых параметров.
) t-статистика
табл (n-m-1;?/2) = (11;0.025) = 2.201
Находим стандартную ошибку коэффициента регрессии b0:
Статистическая значимость коэффициента регрессии b0 не подтверждается.
Находим стандартную ошибку коэффициента регрессии b1:
Статистическая значимость коэффициента регрессии b1 подтверждается.
Находим стандартную ошибку коэффициента регрессии b2:
Статистическая значимость коэффициента регрессии b2 не подтверждается.
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:
(bi - tiSbi; bi + tiSbi)
b0: (1.74 - 2.201 5.12 ; 1.74 + 2.201 5.12) = (-9.53;13.01)1: (0.53 - 2.201 0.0426 ; 0.53 + 2.201 0.0426) = (0.43;0.62)2: (0.16 - 2.201 0.14 ; 0.16 + 2.201 0.14) = (-0.15;0.47)
Задача 3
Исследуется зависимость себестоимости единицы продукции (у тыс. р.) от объема произведенной продукции (х тыс. шт.) по данным 15 предприятий (г - порядковый номер предприятия). Статистические данные приведены в таблице. Требуется:
) Построить диаграмму рассеяния. Убедиться, что между себестоимостью и объемом произведенной продукции существует нелинейная связь.
) Считая, что регрессия у по х представляется многочленом второй степени, найти оценки параметров параболической регрессии и составить уравнение линии регрессии.
) Построить кривую регрессии и нанести ее на диаграмму рассеяния. 3.1.
Таблица
i123456789101112131415Xiг2344566678910121314Yi8107655434532112
С помощью средств MS Excel нанесем точки рассеивания на координатную плоскость. Анализируя, расположение точек на диаграмме, можем утверждать наличие нелинейной связи между факторами.
Составим уравнение регрессии
Задача 4
Поквартальная динамика объема реализованной продукции (у млн. р.) объединения представлена в таблице. Требуется:
) Оценить параметры линейного тренда методом наименьших квадратов.
) На основании линейной модели определить прогноз экономического показателя у в 4-ом квартале 99 года.
Таблица
1 KB. 98г.2 кв. 98г.3 кв. 98г.4 кв. 98г.1 KB. 99г.2 кв. 99г.3 кв. 99г.yi25293440444853
Решение:
Линейное уравнение тренда имеет вид y = a1t + a0
. Находим параметры уравнения методом наименьших квадратов.
Система уравнений МНК:
0n + a1?t = ?y0?t + a1?t2 = ?y t
Таблица
tyt2y2t y1251625252294841583349115610244016160016054425193622064836230428875349280937128273140112711224
Для наших данных система уравнений имеет вид:
a0 + 28a1 = 273
a0 + 140a1 = 1224
Из первого уравнения выражаем а0 и подставим во второе уравнение
Получаем a0 = 20.143, a1 = 4.714
Уравнение тренда:= 4.714 t + 20.143
Эмпирические коэффициенты тренда a и b являются лишь оценками теоретических коэффициентов ?i, а само уравнение отражает лишь общую тенденцию в поведении рассматриваемых переменных.
Коэффициент тренда b = 4.714 показывает среднее изменение результативного показателя (в единицах измерения у) с изменением периода времени t на единицу его измерения. В данном примере с увеличением t на 1 единицу, y изменится в среднем на 4.714.
Однофакторный дисперсионный анализ.
Средние значения
Дисперсия
Среднеквадратическое отклонение
Для оценки качества параметров уравнения построим расчетную таблицу (табл. 2)
Таблица
tyy(t)(y-ycp)2(y-y(t))2(t-tp)212524.861960.0204922929.571000.33433434.29250.081614403911054443.71250.0816164848.43810.18475353.141960.020492736241.7128
. Анализ точности определения оценок параметров уравнения тренда.
Стандартная ошибка уравнения.
где m = 1 - количество влияющих факторов в модели тренда.
По таблице Стьюдента находим табл.табл (n-m-1;?/2) = (5;0.025) = 2.571
Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и t = 0
(a + btp ± ?)
где
(0) = 4.714*0 + 20.143 = 20.143
(20.143 - 0.569 ; 20.143 - 0.569)
(19.574;20.712)
Интервальный прогноз.
Определим среднеквадратическую ошибку прогнозируемого показателя.
= yn+L ± K
где
- период упреждения; уn+L - точечный прогноз по модели на (n + L)-й момент времени; n - количество наблюдений во временном ряду; Sy - стандартная ошибка прогнозируемого показателя; Tтабл - табличное значение критерия Стьюдента для уровня значимости ? и для числа степеней свободы, равного n-2.
По таблице Стьюдента находим Tтабл
табл (n-m-1;?/2) = (5;0.025) = 2.571
Точечный прогноз, t = 8: y(8) = 4.71*8 + 20.14 = 57.86
.86 - 1.97 = 55.89 ; 57.86 + 1.97 = 59.83
Интервальный прогноз:
= 8: (55.89;59.83)
уравнение линейный регрессия
Диаграмма
1.