W 1246 roku zamek został wspomniany pod nazwą in Zolum sub castro Polona. Z późniejszych nazw znane są castrum Zoulum, castrum de Zolyo oraz Zamek Zwoleń. Zaczyna popadać w ruinę od XVI wieku, gdy w Zwoleń zbudowano pałac.W 1246 roku zamek został wspomniany pod nazwą in Zolum sub castro Polona. Z późniejszych nazw znane są castrum Zoulum, castrum de Zolyo oraz Zamek Zwoleń. Zaczyna popadać w ruinę od XVI wieku, gdy w Zwoleń zbudowano pałac.