Le origini del casale non sono certe ma gran parte degli storici la fanno risalire al XIII secolo quando Gubello Pellegrino la fece edificare in onore del Santo.
In principio fu casale di Diano per poi passare sotto il dominio feudale dei Pellegrino fino al '600 e delle famiglie dei Rinaldi e Laviano.
La posizione di San Rufo è fra due monti il "Cucuzzo delle Puglie" e "Spina dell'Ausino", in mezzo ai quali si apre il famoso passo della sentinella che come in tempi passati è ancor oggi il collegamento fra la Valle del Calore Salernitano dove sorgeva l'antica Paestum e il Vallo di Diano.