L’edificio fu costruito nel XII secolo secondo uno schema verticale in uso nella città marinara, tipico delle case torri. A differenza di altri edifici, il palazzo Da Scorno mostra una novità nel portico al piano terra, non più costituito da arco a pieno centro, o ogivale, bensì da muri continui in pietra verrucana con una colonna centrale a sostegno dell’architrave. Su di esso si sviluppano due piani di archi che racchiudono bifore in marmo. Il grande capitello di spoglio al pian terreno è un’opera attribuita al maestroGuglielmo, come dimostrerebbe una sua firma apposta su di esso, Guialeme. Altre analisi invece vedono la mano di Biduino, che avrebbe lasciato un curioso topolino nascosto sotto le foglie del capitello. L’edificio ha subito gravi danni durante la guerra.