年代は忘れましたが、一度火災に遭ったことがあり、その黒焦げを白で塗り潰したのが始まりと聞いたことがあります。
ブラック・タロン

　火災に遭ったのは１８１４年のことですが（イギリスとの戦争で）、
それ以前の１８０９年にはすでにホワイトハウスと呼ばれていた記録があるようです。
建築も鉱物学も専門外ですが、どうやらホワイトハウスは最初から白っぽいサンドストーンと言う石で建てられ、
周囲との対象もあり当初から白っぽく見えていたようです。
　なお正式にホワイトハウスの名を制定したのはＴ・ロウズヴェルト大統領で、
１９０２年のことだそうです。
　以上エンサイクロペディア・ブリタニカより。
便利少尉

余談。
サンドストーンというのは日本語で「砂岩」、要するに砂粒が固まった堆積岩です。
地質学専攻