hz_cuda.tex

\section{Какими бывают случайные величины}

Распределения, которые вы изучали на теории вероятностей --- это простейшие варианты таких моделей. Их можно использовать для разных ситуаций. У каждого из них есть параметры, которые описываю его форму. Эти параметры можно оценить по данным. 

\subsection*{Биномиальное распределение}

\indef{Биномиальное распределение} --- дискретное распределение количества успехов среди $n$ испытаний с вероятностью успеха, равной $p$. Обычно записывают как:

$$
X \sim Binom(n, p)
$$

Вероятность того, что произойдёт $k$ успехов расчитывается по формуле: 

$$
\PP(X = k) = {C}^n_k \cdot p^k \cdot (1 - p)^{n - k}, \quad k \in \{0, 1, \ldots, n\}
$$

\textbf{Пример, когда возникает:} сколько раз человек попадёт в баскетбольную корзину при $n$ бросках 

\textbf{Свойства:}

\begin{itemize} 
\item $\E(X) = n \cdot p$
\item $\Var(X) = n \cdot p \cdot (1 - p)$
\end{itemize} 


\subsection*{Распределение Пуассона}

\indef{Распределение Пуассона} --- распределение дискретной случайной величины, представляющей собой число событий, произошедших за фиксированное время, при условии, что данные события происходят с некоторой фиксированной средней интенсивностью $\lambda$ и независимо друг от друга. Хорошо подходит для моделирования счётчиков. Обычно записывают как:

$$
X \sim \Pois(\lambda)
$$

Вероятность того, что произойдёт $k$ событий расчитывается по формуле: 

$$
\PP(X = k) = e^{-\lambda} \dfrac{\lambda^k}{k!}, \quad k \in \{0, 1, \ldots, \}
$$

\textbf{Пример, когда возникает:} число лайков под фотографией, любая случайная величина счётчик, которая подчиняется аксиомам простейшего потока событий

\textbf{Свойства:}

\begin{itemize} 
\item $\E(X) = \lambda$
\item $\Var(X) = \lambda$
\end{itemize} 

\subsection*{Геометрическое распределение}

\indef{Распределение Пуассона} --- распределение дискретной случайной величины, представляющей собой номер первого успеха в серии испытаний Бернулли. Обычно записывают как:

$$
X \sim \Geom(p)
$$

Вероятность того, что номер первого успеха равен $k$ находится как:

$$
\PP(X = k) = p \cdot (1 - p)^{k - 1}
$$

\textbf{Пример, когда возникает:} номер попытки, при которой игрок попал в баскетбольную корзину

\textbf{Свойства:}

\begin{itemize} 
\item $\E(X) = \frac{1}{p}$
\item $\Var(X) = \frac{1-p}{p^2}$
\end{itemize} 


\subsection*{Равномерное распределение}

\indef{Равномерное распределение на отрезке $[a;b]$} обладает плотностью распределения: 

$$
f_X(x) =\begin{cases}
\frac{1}{b - a}, \quad x \in [a; b]  \\
0, \quad x \notin [a; b]
\end{cases}
$$

Обычно записывают как:

$$
X \sim \mU[a; b]
$$

\textbf{Пример, когда возникает:} остаток при округлении чисел

\textbf{Свойства:}

\begin{itemize} 
\item $\E(X) = \frac{a + b}{2}$
\item $\Var(X) = \frac{(b - a)^2}{12}$
\end{itemize} 


\subsection*{Экспоненциальное распределение}

\indef{Экспоненциальное распределение} обладает плотностью распределения: 

$$
f_X(x) =\begin{cases}
\lambda e^{- \lambda x}, \quad x \ge 0  \\
0, \quad x < 0
\end{cases}
$$

Обычно записывают как:

$$
X \sim \Exp(\lambda)
$$

\textbf{Пример, когда возникает:} время между событиями, имеющими распределение Пуассона (время, пока следующий человек придёт в кассу, время до следующего лайка под фото и тп)

\textbf{Свойства:}

\begin{itemize} 
\item $\E(X) = \frac{1}{\lambda}$
\item $\Var(X) = \frac{1}{\lambda^2}$
\end{itemize} 

\subsection*{Нормальное распределение}

Говорят, что у случайной величины $X$ \indef{нормальное распределение с параметрами $\mu$ и $\sigma^2$}, если она обладает плотностью распределения

$$
f_{X}(x) = \frac{1}{\sigma \sqrt{2 \pi}} e^{-\tfrac{(x - \mu)^2}{2\sigma^2}}
$$

Обычно записывают как:

$$
X \sim \mN(\mu, \sigma^2)
$$

\textbf{Пример, когда возникает:} нахождение суммы или среднего большого количества независимых одинаково распределенных величин

\textbf{Свойства:}

\begin{itemize} 
\item $\E(X) = \mu$
\item $\Var(X) = \sigma^2$
\item Если $X \sim \mN(\mu_1, \sigma_1^2)$ и $Y \sim \mN(\mu_2, \sigma_2^2)$, тогда 

$$
a\cdot X + b \cdot Y + c \sim \mN(a\cdot \mu_1 + b \cdot \mu_2 + c, a^2 \sigma_1^2 + b^2 \sigma_2^2) 
$$

\item Для нормального распределения выполняются правила одной, двух и трёх сигм: 

\begin{equation*}
\begin{aligned}
& \PP(\mu - \sigma \le X \le \mu + \sigma) \approx = 0.683 \\
& \PP(\mu - 2\cdot \sigma \le X \le \mu + 2 \cdot \sigma) \approx = 0.954 \\
& \PP(\mu - 3 \cdot \sigma \le X \le \mu + 3 \cdot \sigma) \approx = 0.997
\end{aligned}
\end{equation*}
\end{itemize} 


\subsection*{"Хи-квадрат" распределение}

Пусть случайные величины $X_1, \ldots, X_k$ независимы и одинаково распределены. Причём нормально с параметрами $0$ и $1$. Обычно такой факт записывают следующим образом: 

$$
X_1, \ldots, X_k \sim iid \hspace{2mm} N(0,1).
$$ 

Буквы $iid$ расшифровываются как identically independently distributed (независимы и одинаково распределены).

Случайная величина $Y = X_1^2 + \ldots X_k^2$ имеет \indef{распределение хи-квадрат с $k$ степенями свободы.}  Степень свободы это просто название для параметра распределения.

Обычно записывают как:

$$
Y \sim \chi^2_k
$$   

\textbf{Пример, когда возникает:} на практике тесно связано с выборочной дисперсией для нормальных выборок

\textbf{Свойства:}

\begin{itemize} 
\item $\E(\chi^2_k) = k \cdot \E(X_i^2) = k$
\item $\Var(\chi^2_k) = k \cdot \E(X_i^4) = 2k$
\item Распределение устойчиво к суммированию. То есть, если $\chi^2_k$ и $\chi^2_m$ независимы, тогда $\chi^2_k + \chi^2_m$ = $\chi^2_{k+m}$
\item $\frac{\chi^2_k}{k} \to 1$ по вероятности. 
\end{itemize} 


\subsection*{Распределение Стьюдента}

Пусть случайные величины

$$
X_0, X_1, \ldots, X_k \sim iid \hspace{2mm} N(0,1),
$$ 

тогда случайная величина $$ Y = \frac{X_0}{\sqrt{^{\chi^2_k}/_k}} $$ имеет \indef{распределение Cтьюдента с $k$ степенями свободы.}  
Обычно записывают как:

$$
Y \sim t(k)
$$   

\textbf{Пример, когда возникает:} на практике тесно связано с отношением выборочного среднего и стандартного отклонения нормальных выборок

\textbf{Свойства:}

\begin{itemize} 
\item $\E(Y) = 0, k > 1$
\item $\Var(Y) = \frac{k}{k-2}, k > 2$
\item Симметрично относительно нуля
\item $t(k) \to N(0,1)$ по распределению при $k \to \infty$
\item При $k=1$ совпадает с распределением Коши
\end{itemize} 


\subsection*{Распределение Фишера}

Говорят, что случайная величина 

$$ Y = \frac{^{\chi^2_k}/_k}{^{\chi^2_m}/_m}$$

имеет \indef{распределение Фишера c $k,m$ степенями свободы}.

Обычно записывают как:

$$
Y \sim F_{k,m}
$$   

\textbf{Пример, когда возникает:} на практике тесно связано с отношением выборочных дисперсий двух нормальных выборок

\textbf{Свойства:}

\begin{itemize} 
\item $\E(Y) = \frac{m}{m-2}, m > 2$
\item $\Var(Y) = \frac{2m^2(m + k - 2)}{k (m - 2)^2 (m - 4) }, m > 4$
\item Если $Y \sim F(k,m)$, тогда $\frac{1}{Y} \sim F(m,k)$
\item При $k \to \infty$ и $m \to \infty$ $F(k,m) \to 1$ по вероятности
\item А вот этот факт не раз всплывёт в эконометрике: $t_k^2 = F(1,k)$
\end{itemize} 


\section{Нормальное распределение из воздуха}

\todo[inline]{Вот бы кто-нибудь написал этот раздел!}

\section*{Почиташки} 

\todo[inline]{Сюда список литературы к лекции}



Один из лучших известных человечеству способов сделать хорошую метрику основан на goldenset подходе. Мы собрали коллекцию онлайн экспериментов в Кинопоиске, причем вердикты этих экспериментов были нам известны. Например, в goldenset вошло несколько заведомо хороших экспериментов с рекомендационной формулой, а также специально проведенные ухудшающие эксперименты. Goldenset v1 получился небольшим (около 20 экспериментов), но с ним уже можно было двигаться дальше.