カウナス城は、１３世紀にチュートン騎士団（ドイツ騎士団）の侵略を防ぐために築かれた。カウナスの南西を流れるネムナス川は、当時騎士団領とリトアニアの国境になっていたため、何度もここで戦闘が行われた。
１３６３年には、騎士団に占領され破壊されたが、１５世紀初頭のヴィタウタス大公の時代になって再建された。しかし、１４１０年のジャルギリスの戦いで、チュートン騎士団（ドイツ騎士団）に勝利した後は、城としての重要性がなくなり、外賓を接客する際などに使われた。
１４３０年にヴィタウス大公が死去すると、権力がポーランド側に移り、１５４９年にはポーランド王でリトアニア大公のシギスムンド・アウグストゥスにより、城は妻・バーバラに与えられ、１６世紀の間、城の増強・改築が行われた。
１７世紀に入ると、城は何度もネリス川の氾濫で水害に遭ったが、その便利な立地条件からスウェーデン軍に使われたりした。しかし、その後、城としての使命は終わり、１８世紀には監獄として使用された。その後、ロシアの管理下になると、城の敷地内に家を建てることが許され、城は著しいダメージを受けることになった。
城の保護は１９３０年から始まり、近くの家々が取り壊され、城の敷地内が調査され、１９５０年代に塔が修復されて、現在はアートギャラリーとしてオープンしている。