Замок Пенрит был построен в срок от 1399 года до 1470 с целью защиты от нападений Шотландцев. Есть мнение, что его создателем был Уильям Стрикленд, который в дальнейшем стал эпископом в Карлайл.
Позже замок был обновлен и расширен уже семейством Невил, затем стал собственностью короны. Считается, что некоторое время здесь жил Король Ричард Третий, когда он был Герцогом Глостером и Лорд Смотритель Границы (Англии с Уэльсом и Шотландией)
Замок Пенрит оставался собственностью короля вплоть до царствования Уильяма Третьего, который подарил его своему другу Гансу Уильяму Бентинк (Bentinck), 1й граф Портленда. В последствии замок переходил от графов и герцогов Портленда к герцогам Девоншира и в итоге был продан «Lancaster & Carlisle Railway Company», которые построили сзади него железнодорожную станцию «Пенрит».