自動車や飛行機がなかった時代、商人たちは交易品を抱えてラクダや馬と長距離移動をしました。その交易路沿いに作られていた商人や旅人のための宿泊施設がキャラバンサライです。交易路沿い以外に、都市の商業施設であるスーク（市場）に隣接して作られた宿もキャラバンサライと呼ばれています。
キャラバンサライは商人たちの宿泊施設としての役割だけではなく、交易品を売買する取引所としての役割も担っていました。このため、キャラバンサライを利用する商人たちは、その土地を治める有力者たちから手厚くもてなされ、数日分の宿泊費や食事代金は全て無料で提供され、荷運びのラクダや馬にも餌が与えられました。隊商の中に病人がいれば、完治するまでの滞在が許可されていました。滞在中に荷物が盗難された場合は補償を受けられる損害保険のような制度もあったそうです。
キャラバンサライは、ペルシャ語の「キャラバン」と「サライ」の2つの単語を組み合わせてできた言葉です。キャラバンは、主に砂漠や草原地帯などを長距離移動する商人や巡礼者の団体を指す言葉。サライの意味は家や宿、中庭がある建物のことです。