Глава 2 "Распределения вероятностей" ("Probability Distributions") книги Бишоп К.М. "Распознавание образов и машинное обучение" (Bishop C. "Pattern Recognition and Machine Learning")
Особенно можно сконцентрироваться на разделах 2.3 "Нормальное распределение" ("The Gaussian Distributiion") и 2.4 "Экспоненциально семейство распределений" ("The Exponential Family").
В отношении вероятностных основ линейной регрессии можно также обратить внимание на главу 3 "Модели линейной регрессии" ("Linear Model for Regression"), в особенности раздел 3.1 "Модели с линейными базисными функциями" ("Linear Basis Function Models") и раздел 3.3 "Байесовская линейная регрессия" ("Bayesian Linear Regression").