Původně gotický kostel vznikl v 11. století přestavbou z románské rotundy. Kostel utrpěl značné škody během husitských válek (při bitvě na Vyšehradě) a také při obléhání Prahy Švédy v roce 1648.

Tyto a další válečné neduhy se kostelu nevyhnuly zejména kvůli jeho poloze - blízkosti k důležité pražské pevnosti Vyšehradu. V těsné blízkosti kostela stojí zvonice, kde od roku 1700 visí velmi vzácný zvon. Zvon je jedním z nejstarších v Čechách, v roce 1505 ho ulil významný zvonař Bartoloměj Pražský.

Kostel je zasvěcen svatému Pankráci, patronovi dětí, mladých, nemocných, nové setby, květin a ve středověku v německých zemích i rytířů a šlechty. Podle tohoto římského mučedníka je odvozen nejen název kostela, ale i název celé této pražské čtvrti.