Жидовское кладбище было заложено в 1894 году и вместе с устроенным при его северной части отдельным караимским некрополем, заняло обширное пространство (свыше 20 га) на незастроенной местности, ограниченной Большой Дорогожицкой улицей (ныне ул. Мельникова), склонами Репьяхова и Бабьего яров и границей Кирилловского православного кладбища, которое примыкало к Кирилловской церкви и больнице.
За время его существования, тут захоронили десятки тысяч евреев, или как говорят на Украине "жидов". Перед войной, в 1937 году кладбище закрывают для захоронений. Во время немецкой оккупации оно особо не пострадало.
Обширный некрополь был разорен в столице в 60-е годы. Именно тогда мэр Алексей Давыдов своей подписью ликвидировал Жидовское кладбище на улице Мельникова и примыкающий к нему караимский участок. Постановление горисполкома предусматривало эти территории "передать Управлению зеленой зоны для образования на них сквера и парка отдыха". На перенос захоронений своей родни всем желающим давалось полгода, после чего оставшиеся надгробия надлежало "снять и оприходовать". Ряд захоронений с Жидовского кладбища был перенесен на северо-западную окраину города — Берковецкое городское кладбище. Иногода осуществлялось перемещение праха за границу (так было с захоронением основателя партии Поалей-Цион Бера Борохова, которое с 1963 года находится в Израиле). До нашего времени сохранился лишь незначительный фрагмент, который в 1994 году обнесли символической оградой средствами еврейской общины Сан-Франциско.
Однако, мало кто знает, что на дне и склонах близлежащего яра, сохранилось еще большее количество надгробий. Удивляет постоянная многолетняя грызня профессиональных евреев по поводу строительства еврейского ритуального центра в урочище Бабий Яр при полном безразличии к находящимся здесь же могилам своих единоверцев.