Cremia ha conosciuto nel tempo la signoria di diversi feudatari che la fortificarono. Documenti del XII e XIII secolo attesterebbero che già nel 1172 Cremia era fortificata e probabilmente dotata di un castello che sorgeva in riva al lago, ma di cui non resta traccia. Nella frazione di Motto, a 314 metri di quota, è ancora possibile ammirare una torre, ora ristrutturata e destinata ad uso privato, che tradizionalmente si fa risalire al medioevo. Probabilmente un’altra torre era situata sul poggio panoramico ove ora si trova l’ottocentesca «torre», ora disabitata, dei Marchetti: antica famiglia che introdusse in paese l’industria serica e fece edificare una piccola centrale elettrica.