Chapitre 6 : Régression linéaire

.title[
# Chapitre 6 : Régression linéaire – Extensions
]
.subtitle[
## Économétrie (ECON0212)
]
.author[
### Malka Guillot
]
.date[
### HEC Liège
]

---

---

# Aujourd'hui – Régression linéraire : Extensions

En fonction des données et des relations entre les variables d'intérêt, il peut être nécessaire de s'éloigner du modèle de base.

Nous allons nous intéresser à **3 variations importantes** :
  
  1. <span class="alert">Relations non linéaires</span>: modèles logarithmiques et polynomiaux
  
  1. <span class="alert">Interactions</span>entre les variables

1. <span class="alert">Régression standardisée</span>

Dans chaque cas, la manière dont nous estimons ces coefficients ne change pas (i.e. MCO).

**Applications empiriques** :

* (i) Frais de scolarité et revenu potentiel
* (ii) Salaire, éducation et genre
* (iii) Taille des classes et performance des élèves

---

# Plan du cours

## 1. Relations non linéaires
## 2. Interactions entre les variables
## 3. Régression Standardisée

---

# Plan du cours

<h2 style="color: #154E55 ;">1. Relations non linéaires</h2>
<h3 style="color: #154E55 ;">1.1 Modèles ***logarithmiques*** </h3>
### 1.2. Modèles ***polynomiaux***
## 2. Interactions entre les variables
## 3. Régression Standardisée

---

---

# 1. Modèles logarithmiques
Les modèles que nous avons vus jusqu'à présent peuvent être appelés modèle ***lin-lin*** ou ***niveau-niveau***. 
- Les variables dépendantes et indépendantes ont été mesurées en niveau.
    * *Niveau* : euros, années, nombre d'élèves,...
    * ***lin - lin*** : `$\quad y_i = b_0 + b_1 x_{1,i} + ... + e_i$`
  
--

* Prendre le logarithme *naturel* de la ou des variables dépendantes et/ou indépendantes nous amène à définir 3 autres types de régressions

* ***Log - lin*** : `$\quad \log(y_i) = b_0 + b_1 x_{1,i} + ... + e_i$`

* ***Lin - log*** : `$\quad \textrm{y}_i = b_0 + b_1 \log(x_{1,i}) + ... + e_i$`

* ***Log - log*** : `$\quad \log(y_i) = b_0 + b_1 \log(x_{1,i}) + ... + e_i$`
  
--

(Abus de notation : `$\ln(x) = \log_{e}(x)=\log(x)$`):

---

# La fonction logarithmique (naturel): Une intro 😉

---

# La fonction logarithmique (naturel) : Une intro 😉

La [fonction log naturel](https://en.wikipedia.org/wiki/Natural_logarithm) est la fonction inverse de la fonction exponentielle. , i.e. `$\log(\exp(x))=x$`

`$\rightarrow$` puisque pour tout `$x$`, `$\exp(x)>0 \implies$` la fonction log naturel n'est définie que pour des ***valeurs strictement positives*** ! (Il n'est pas défini en 0 !)

⚠️ Vous pouvez prendre le logarithme de vos variables que si elles ne prennent pas 0 ou des valeurs négatives ! Pensez-y toujours lorsque vous prenez le log de vos variables dépendantes ou indépendantes.

---

# La fonction logarithmique (naturel) : Une intro 😉

Si vous avez des distributions très ***asymétriques***, prendre le log la rendra plus ***normalement distribuée***

.pull-left[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-2-1.svg" style="display: block; margin: auto;" />
]

.pull-right[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-3-1.svg" style="display: block; margin: auto;" />
]

---

# Modèles log : interprétations simplifiées

|    Spécification           | Modèle |  Interprétation de `$b_1$`            |
|--------------------|:---------:|:-----------------------------------:|
| Lin - Lin | `$y = b_0 + b_1 x + e$` | .small[Une augmentation **d'une unité**] de `$x$` .small[ est associée, en moyenne, à une **variation**] de y de `$b_1$` unités  |
| Log - Lin | `$\log(y) = b_0 + b_1 x + e$` | .small[Une augmentation d'**une unité** de ] `$x$` .small[ est associée, en moyenne, à un **changement en pourcentage** de y de] `$b_1 \times 100$` |
| Lin - Log | `$y = b_0 + b_1 \log(x)  + e$` | .small[Une augmentation **d'un pourcent ** de] `$x$` .small[est associée, en moyenne, à un **changement en unité**] de y de `$b_1 / 100$`  |
| Log - Log  |  `$\log(y) = b_0 + b_1 \log(x) + e$` |.small[Une augmentation **d'un pourcent** de] `$x$` .small[est associée, en moyenne, à un **changement en pourcentage** de y] de `$b_1$`|

* ⚠️ ces interprétations ne sont vraies que pour les ***petits*** changements de `$x$` et/ou des petits `$b_1$`. Que se passe-t-il si nous voulons connaître la variation de `$y$` pour des changements importants de `$x$` ou lorsque `$b_1$` est grand ?
--
---

# Modèles log : interprétations générales

Pour ***toute augmentation de `$x$`, `$\Delta x,$` et tout `$b_1$`*** `$(\Delta x = 5\% = 0.05 \implies 1 + \Delta x = 1.05)$`:

|    Spécification           | Modèle  |  Interprétation de `$b_1$`            |
|--------------------|:---------:|:-----------------------------------:|
|  Lin - Lin  | `$y = b_0 + b_1 x + e$` | .small[une augmentation **d'une unité**] de `$x$` .small[ est associée, en moyenne, à une **variation**] de y de `$b_1$` unités  |  |
| Log - Lin  | `$\log(y) = b_0 + b_1 x + e$` | .small[Une augmentation d'**une unité** de ] `$x$`  .small[ est associée, en moyenne, à **changement en pourcentage** de y de] `$(e^{b_1} - 1) \times 100$`  |
| Lin - Log | `$y = b_0 + b_1 \log(x)  + e$` | .small[Une augmentation de ] ** `$\Delta x$`** .small[**en pourcent** de ] `$x$` .small[ est associée, en moyenne, avec un **changement en unité** de y] de `$b_1 \times \log(1 + \Delta x)$`  |
| Log - Log  |  `$\log(y) = b_0 + b_1 \log(x) + e$` | .small[Une augmentation de  ] ** `$\Delta x$`** .small[**en pourcent** de ] `$x$` .small[ est associée, en moyenne, à un **changement en pourcentage** de y de ] `$((1 + \Delta x)^{b_1} - 1) \times 100$` |

([*Appendix:*](#log_approx) Pourquoi les approximations présentées précédemment sont-elles vraies ?)

---

# Quand devriez-vous utiliser les modèles log ?

1. Si la relation entre `$x$` et `$y$` ressemble à une fonction logarithmique ou exponentielle.

.pull-left[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-4-1.svg" style="display: block; margin: auto;" />
]

.pull-right[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-5-1.svg" style="display: block; margin: auto;" />
]

---

# Quand devriez-vous utiliser les modèles log ?

1. Si la relation entre `$x$` et `$y$` ressemble à une fonction logarithmique ou exponentielle.

.pull-left[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-6-1.svg" style="display: block; margin: auto;" />
]

.pull-right[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-7-1.svg" style="display: block; margin: auto;" />
]
---

# Quand devriez-vous utiliser les modèles log ?
1. Si la relation entre `$x$` et `$y$` ressemble à une fonction logarithmique ou exponentielle.

***Modèle lin-log*** : `$y = b_0 + b_1 \log(x)  + e$`

---

# Quand devriez-vous utiliser les modèles log ?
1. Si la relation entre `$x$` et `$y$` ressemble à une fonction logarithmique ou exponentielle.

***Modèle log-lin*** : `$\log(y) = b_0 + b_1 x + e$`

---

# Quand devriez-vous utiliser les modèles log ?
1. Si la relation entre `$x$` et `$y$` ressemble à une fonction logarithmique ou exponentielle.

***Modèle log-log*** : `$\log(y) = b_0 + b_1 \log(x) + e$`

---

# Quand devriez-vous utiliser les modèles log ?

1. Si la relation entre `$x$` et `$y$` ressemble à une fonction logarithmique ou exponentielle.

1. Pour interpréter facilement les coefficients comme  <a href="https://en.wikipedia.org/wiki/Elasticity_(economics)">***élasticités***</a> 
qui jouent un rôle central dans la théorie économique.

***Élasticité de `$y$` par rapport à `$x$` :*** variation en pourcentage de `$y$` suite à une augmentation de 1 % de `$x$`.

---

# Avantages et limites de l'utilisation du logarithme

## Avantages
- Interprétation en termes de pourcentatges, et donc d'élasticités

- Permet de diminuer la sensibilité du modèle aux valeurs extrêmes (*outliers*)

- Parfois utile pour retrouver les hypothèses de normalité des résidus [H6] et d'homoscédasticité [H5]

## Limites 
- Pas possible si les variables prennent des valeurs négatives ou nulles

- Certaines variables mesurées en unités naturelles ou en points de pourcentages ne peuvent pas être transformées en logarithme (ex: années)

---
# Modèle log-log
## Prix d'un logement en fonction de la polution de l'air

`$$\log(\text{prix}) = \beta_0 + \beta_1 + \log(\text{nox}) + \epsilon$$`

On interpète `$\beta_1$` comme l'effet d'une augmentation de 1% de la pollution de l'air sur le prix du logement, car 
$$ \frac{\Delta \log(\text{prix})}{\Delta \log(\text{nox})} = \frac{\%\Delta\text{prix}}{\%\Delta\text{nox}} = \beta_1$$

---

# Autres types de relations non linéaires

Et si la relation entre `$x$` et `$y$` n'était pas exponentielle/logarithmique ?

`$\rightarrow$` Régressions ***polynomiales*** : prenez simplement une fonction polynomiale du régresseur !

---

# Plan du cours

<h2 style="color: #154E55 ;">1. Relations non linéaires</h2>
### 1.1. Modèles ***logarithmiques***
<h3 style="color: #154E55 ;">1.2 Modèles ***polynomiaux*** </h3>
## 2. Interactions entre les variables
## 3. Régression Standardisée

---

# Polynomiale ?

.pull-left[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-11-1.svg" style="display: block; margin: auto;" />
]

.pull-right[
<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-12-1.svg" style="display: block; margin: auto;" />
]

---

# Régressions polynomiales

Qu’est-ce que cela signifie en pratique ?
--
 `$\rightarrow$` ajouter un ordre supérieur du régresseur à la régression, en fonction de la relation visuelle (ou attendue)
--
.pull-left[

***degré 2:***

<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-13-1.svg" style="display: block; margin: auto;" />
]

***degré 3:***

<img src="6-rlm-extensions_files/figure-html/unnamed-chunk-14-1.svg" style="display: block; margin: auto;" />
]

---

# Régressions polynomiales
## Exemple : équation de salaire

`$$\textrm{Salaire} = b_0 + b_1 \textrm{Expérience} + b_2 \textrm{Expérience}^2 + e$$`
Effet marginal de l'expérience:
`$$\frac{\Delta \textrm{Salaire}}{\Delta \textrm{expérience}} = b_1 + 2b_2 \textrm{expérience}$$`

---

# Régressions polynomiales
## Exemple : équation de salaire

$$\frac{\Delta \textrm{Salaire}}{\Delta \textrm{expérience}} = 0,298 - 2*0,0061 \times \textrm{expérience} $$

<img src="chapter_regext_files/figure-html/reg_salaire_exp_small.png" width="50%" style="display: block; margin: auto;" />
]

- La première année d'expérience augmente le salaire d'environ `$0,30$`,

- La 2e année de `$0,298 - 2*0,0061 \times 1 = 0,2928$`

- et ainsi de suite.
]

- L'effet de l'expérience diminue avec le temps

---

---

class:inverse

# Exercice 1 : Relations non linéaires

1. Chargez la base de données `college_tuition_income.dta`, qui se trouve dans le dossier du cours. Cette base de données contient des informations sur les frais de scolarité et les revenus estimés des diplômés des universités américaines. 
Pour plus de détails voir [ici](https://github.com/rfordatascience/tidytuesday/blob/master/data/2020/2020-03-10/readme.md).

2. Créez un nuage de points (`scatter plot`) du salaire estimé à mi-carrière (`mid_career_pay`) (axe des `$y$`) en fonction des frais de scolarité hors de l'État (`out_of_state_tuition`) (axe des `$x$`). Diriez-vous que la relation est globalement linéaire ou plutôt non linéaire ? Ensuite sur le scatter plot ajoutez une régression linéaire et une régression polynomiale du second degré. Cette fois-ci, laquelle vous semble la plus appropriée ?

3. Créez une variable égale aux frais de scolarité en dehors de l'État divisés par 1 000. Régressez le salaire à mi-carrière sur les frais de scolarité en dehors de l'État divisé par 1 000. Interprétez le coefficient.

4. Régressez le salaire à mi-carrière sur les frais de scolarité hors État divisé par 1 000 et son carré. Qu’implique le signe positif sur le terme au carré ?

---

# Plan du cours

## 1. Relations non linéaires
<h2 style="color: #154E55 ;">2. Interactions entre les variables</h2>
## 3. Régression Standardisée

---

---

# Interaction des regresseurs

* Nous faisons une interaction entre deux régresseurs lorsque nous pensons que ***l'effet de l'un dépend de la valeur de l'autre***.

* *Exemple :* L'effet de l'éducation sur le salaire varie selon le sexe.
  
--
  
* En pratique, si nous faisons interagir `$x_1$` et `$x_2$`, nous écririons notre modèle comme ceci :

`$$y_i =  b_0 + b_1 x_{1,i} + b_2 x_{2,i} + \color{#d96502}{b_3}x_{1,i} \times x_{2,i} + ... + e_i$$`

* L'interprétation de `$b_1$`, `$b_2$` et `$\color{#d96502}{b_3}$` dépendra de `$x_1$` et `$x_2$`.

--
  
* Concentrons-nous sur les cas où un régresseur est une variable ***binaire*** et l'autre est ***continue***.

* Cela vous donnera l'intuition pour les autres cas :

* Les deux regresseurs sont des variables binaires

* Les deux regresseurs sont des variables continues
  
---

# Interaction des regresseurs

Retournons aux données *STAR*

Comment l’effet d’être dans une petite ou moyenne classe varie-t-il en fonction de l’expérience de l’enseignant ?

Notre modèle de régression devient :

$$ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i \times \textrm{experience}_i + e_i$$

Effet d'une petite classe avec un professeur ayant 10 ans d'expérience ?

`$\mathbb{E}[\textrm{score}_i | \textrm{small}_i = 1 \textrm{ & experience}_i = 10] = \color{#d96502}{b_0} + \color{#027D83}{b_1} + \color{#02AB0D}{b_2}*10 + \color{#d90502}{b_3}*10$`

`$\mathbb{E}[\textrm{score}_i | \textrm{small}_i = 0 \textrm{ & experience}_i = 10] = \color{#d96502}{b_0} + \color{#02AB0D}{b_2}*10$`

`$\begin{split} \mathbb{E}[\textrm{score}_i &| \textrm{small}_i = 1 \textrm{ & experience}_i = 10] - \mathbb{E}[\textrm{score}_i | \textrm{small}_i = 0 \textrm{ & experience}_i = 10] \\ &= \color{#d96502}{b_0} + \color{#027D83}{b_1} + \color{#02AB0D}{b_2}*10 + \color{#d90502}{b_3}*10 - (\color{#d96502}{b_0} + \color{#02AB0D}{b_2}*10) \\ &= \color{#027D83}{b_1} + \color{#d90502}{b_3}*10 \end{split}$`

---

# Interaction des regresseurs

.pull-left[
    En faisant la regression suivante nous obtenons :
    
```r
gen small_experience = small * experience
reg math small experience small_experience

```
]
.pull-right[

<img src="chapter_regext_files/figure-html/regression_math.png" width="373" style="display: block; margin: auto;" />
]

***Interprétation :***

* Le terme d'interaction permet de calculer l'effet d'être dans une petite classe en fonction de l'expérience de l'enseignant.
--
  
* En particulier, on observe un ***impact positif d'être dans une petite classe*** sur les résultats en mathématiques,
  
* mais cet ***effet diminue avec l'expérience de l'enseignant***.

---

# Interaction des regresseurs : Visuellement