ロック・オブ・ジブラルタルと呼ばれる岩の東側には、200余りの洞窟があり、中でもゴーラム、ヴァンガード、ハイエナ、ベネットと呼ばれる4つの洞窟からは、12万5千年以上前のものとみられるネアンデルタール人の生活跡が発見されています。
1848年にこの地のフォーブス採石場で人類によく似た女性の頭蓋骨が発見された。後に旧人類であるネアンデルタール人（ホモ・ネアンデルターレンシス。ホモ・サピエンスの一種でホモ・サピエンス・ネアンデルターレンシスとする説もある）であることが確認された。この発見は「ネアンデルタール」の名称の由来となったドイツのネアンデルの谷における発見を８年も先行するものだった。1926年にはデヴィルズ・タワー岩陰遺跡（バッファー・ゾーン外。岩陰遺跡は岩や岩壁の下やくぼみ・割れ目・浅い洞穴といった岩の陰に営まれた遺跡）でネアンデルタール人の子供の頭蓋骨の一部が発見された。こうした発見を受けて1950年代にはゴーハム洞窟の発掘がはじまった。