Замок Даффус – изначально был так называемой «Мотт и бейли» крепостью, и существовал так с 1140 года по 1705. В течение этого периода он претерпевал множественные изменения и перестройки, самой значительной была замена изначально деревянной постройки на каменную.
Первое деревянное здание было сожжено Эндрю Морэйем в 1297 году, он так поступил, потому что в замке находились войска гарнизона Короля Эдуарда Первого английского. Это стало толчком к строительству более надежного замка.
Трехэтажная прямоугольная башня была построена на насыпном холме из земли (мотте) и была основной резиденцией. Второй этаж был занят Лордом, здесь находился холл, уборная и спальные комнаты. Первый этаж в основном использовался как складское помещение, здесь жили слуги. Башня была построена как оборонительное сооружение и потому число узких окон здесь невысоко.
Здесь был только один вход с опускной решеткой. На третьем этаже, две двери вели к галерее, проходу у навесной наружной стены. Эта стена практически огораживала внутренний двор замка. На северной стороне со временем было построено еще одно здание, где находилась кухня, большой холл с приемной и просторные покои. Неизвестно, когда именно произошла сильная осадка, но очевидно, что здесь проводились работы для предотвращения обрушения. По состоянию башни видно, что больше работ не проводилось , и обрушение могло бы произойти раньше, если бы новый холл не взял на себя основные функции. По зданию видно, что оно переделывалось. В 1689 году Джон Грэхам, первый виконт Данди был гостем лорда Даффуса (Duffus) незадолго до битвы Килликрэнки (Killiecrankie) и был одним из последних важных гостей до того, как в 1705 замок был покинут.