1832年、マクシミリアン2世は12世紀に建設されたが廃墟になっていたシュヴァンシュタイン城を購入した。そして4年ほどの歳月を費やし、古城を改築した。これがホーエンシュヴァンガウ城である。ルートヴィヒ2世は幼年時代をホーエンシュヴァンガウ城で過ごした。
この城を含むシュヴァンガウという地名は直訳すると「白鳥の里」の意味であり、この地こそがリヒャルト・ワーグナーのオペラ『ローエングリン』で有名な白鳥伝説ゆかりの地であった。こうした地元の伝説にちなみ、ホーエンシュヴァンガウ城には、至る所に中世騎士伝説を描いた壁画が描かれており、「ローエングリン」の壁画も当然そこに含まれている。この城で幼少期を過ごしたルートヴィヒ2世が長じた後、ワーグナーのローエングリンに魅了され、伝説と現実の境界を見失うようになってしまう遠因をここに求める研究者は多い。
ルートヴィヒ2世は後に、このホーエンシュヴァンガウ城の近隣にノイシュヴァンシュタイン城を建築した。