Con sua moglie Maria e suo figlio Anton Wilhelm, Caspar Faber iniziò a produrre matite nella località di Stein, vicino Norimberga.
Il figlio di Caspar, Anton Wilhelm, acquistò un lotto di terreno sul confine di Stein. Allargò il laboratorio di matite fino a farlo diventare una moderna manifattura. Lo stabilimento è ancora oggi la sede centrale dell'azienda.
Malgrado i tempi difficili dal punto di vista economico, il figlio di Anton Wilhelm, Georg Lehonard Faber, riuscì a mandare avanti la fabbrica. Sua moglie Albertine lo supportò attivamente. La coppia ebbe tre figli e due figlie.