Наш перший президент, Джордж Вашингтон, вибрав місце для Білого дому в 1791 році. Наріжний камінь був закладений в 1792 році. Після восьми років будівництва, президент Джон Адамс і його дружина Абігейл переїхали в недобудований будинок в 1800 році. Під час війни 1812 року британці підпалили будинок президента в 1814 році. Президент Джеймс Монро переїхав до будівлі в 1817 році. Під час адміністрації Монро Південний портик був побудований в 1824 році, а Ендрю Джексон спостерігав за додаванням Північного портика в 1829 році. Будинок або побудувати абсолютно новий будинок для президента, але ці плани так і не були реалізовані.

У 1902 році президент Теодор Рузвельт розпочав основний ремонт Білого дому, включаючи переселення офісів президента з другого поверху резиденції до новобудованого тимчасового адміністративного офісу (тепер відомого як Західне крило). Реконструкцію Рузвельта запланували і провели відомі нью-йоркські архітектурні фірми McKim, Mead і White. Наступник Рузвельта, президент Вільям Говард Тафт, мав у своєму розпорядженні Овальний офіс, який був побудований у розширеному офісному крилі.

Менш ніж через п'ятдесят років після реконструкції Рузвельта, Білий дім демонстрував ознаки серйозної структурної слабкості. Президент Гаррі С. Трумен розпочав реконструкцію будівлі, в якій було розібрано все, окрім зовнішніх стін. Реконструкцію очолив архітектор Лоренцо Уінслоу, а сім'я Трумена повернулася в Білий дім у 1952 році.

Кожен президент, починаючи з Джона Адамса, зайняв Білий дім, а історія цього будинку виходить далеко за межі будівництва його стін. З номерів коридору на першому поверсі, перетворених з ранніх термінів використання в приміщення для обслуговування, до кімнат Державного поверху, де розважалися незліченні лідери та високопосадовці, Білий дім є домом президента Сполучених Штатів і його сім'ї, і музей американської історії. Білий дім - це місце, де історія продовжує розгортатися.

У готелі є 132 номери, 35 ванних кімнат та 6 рівнів. Є також 412 дверей, 147 вікон, 28 камінів, 8 сходів і 3 ліфтів.
Кухня Білого дому може подавати вечерю до 140 гостей і більше 1000 гостей.
Білий дім вимагає 570 галонів фарби для покриття її зовнішньої поверхні.
У різні часи в історії Білий дім був відомий як «Президентський палац», «Будинок президента» і «Виконавчий особняк».
Президент Теодор Рузвельт офіційно дав Білому дому свою нинішню назву в 1901 році.