I signori di Nus possedevano un castello sulla collina ed una casa forte all'estremità occidentale del borgo, lungo la sua principale via di transito.

La tradizione vuole che Ponzio Pilato, il governatore della Palestina, sostasse proprio all'interno della casa forte che da allora prese il nome di "castello di Pilato". Dice la leggenda, che l'imperatore Caligola, giudicando Pilato colpevole di diversi misfatti, lo mandò in esilio a Vienne. Durante il viaggio, egli si fermò in Valle d'Aosta, ospitato da un patrizio romano nella casa forte del borgo di Nus. Altri luoghi vennero ricordati per il passaggio di Pilato: ad Aosta, per esempio, il quartiere nel quale avrebbe soggiornato l'antico governatore della Palestina prese il nome di "Mauconseil", che significa "cattivo consiglio". Pilato trascorse il resto della sua vita a Vienne, soffocato dal rimorso, e quando morì i concittadini lo gettarono nel Rodano. Il fiume però, lo rifiutò e lo rigettò sulla riva, ma nessuno volle seppellirlo. Finalmente un ebreo errante, che si trovava proprio lì di passaggio, seppellì il corpo di Pilato in un posto deserto. Secondo un'altra versione egli lo portò a spalle fino in Svizzera e lo gettò in un lago situato ai piedi di un monte che da allora prese il nome di Pilato (lago di Lucerna n.d.r.).