Hřbitov byl v Kolíně založen roku 1418. Na kolínském starém židovském hřbitově lze dobře vidět vývoj náhrobních kamenů v čase. Nejstarší zachovalé náhrobky pocházejí z konce 15. století, mnohem nápadnější jsou pak pozdně renesanční a raně barokní náhrobky ze 17. století.

Poslední obřad zde proběhl roku 1887, funkční byl tedy až do doby zřízení nového hřbitova na Zálabí. Dnes se Starý židovský hřbitov rozkládá mezi ulicemi Kmochová a Sluneční na rozloze zhruba jednoho hektaru.

Mezi lidmi, pro které se Starý židovský hřbitov stal místem posledního odpočinku, se nachází celá řada význačných židovských osobností.

Najdeme tu například hrob, kde leží Eliáš ben Šemuel Maisel, přímý příbuzný Mordechaje Maisela, pražského primase a dvorního Žida císaře Rudolfa II. Jeho náhrobek se nachází hned u vchodu a zaujmout může myší, která symbolizuje jeho jméno.

Pohřbena je tu také celá řada rabínů a jejich příbuzných - třeba Becalel, syn rabína známého Jehudy Löwa. Samotný rabbi Löw je pohřben ve Starém židovském hřbitově pražském.