طـــی جنگ سال ۱۸۱۲ داخل خانه سنگی رئیس جمهور بدست سربازان انگلیسی که واشنگتن را اشغال کرده بودند به آتش کشیده شد ولی چون در آن موقع ایالات متحده کشور فقیری بود ، دولت پول کافی برای ساختن یک منزل نو برای رئیس جمهور نداشت بنابراین اطاقهای همان خانه قدیمی دوباره ساخته و تعمیر شد و دیوارهای دود زده را بار نگ سفید پوشاندند. مردم که از این شکل جدید کاخ خیلی خوششان آمده بود اسم آنرا خانه سفید یا «کاخ سفید» گذاشتند بدین ترتیب از آن به بعد این کاخ قدیمی اسم و رنگ خود را تا امروز حفظ کرده است.