Palazzo Penne è al centro di una leggenda sinistra: si narra di un patto col Diavolo firmato fra Antonio Penne e Belzebù, in cambio dell’anima per la costruzione del palazzo, in una sola notte.
