È stato per oltre 300 anni, a partire dal XV secolo, l'unico luogo dove gli ebrei di Praga potevano seppellire i loro morti. Le dimensioni attuali sono all'incirca quelle medievali e nel tempo si è sopperito alla mancanza di spazio sovrapponendo le tombe, perché il cimitero non poteva espandersi fuori dal perimetro esistente. Durante l'occupazione tedesca, il cimitero fu risparmiato: infatti le autorità tedesche decisero che sarebbe rimasto a testimonianza di un popolo estinto.