Ça dépend uniquement de ta réputation. Si un acte "bon" ou "neutre" est réalisé au terme d'une quête, par exemple, ils grogneront sans doute, mais tant que ta réputation n'excède pas 18, les personnages mauvais ne s'en iront pas, malgré leurs "menaces" (interjections lancées de temps en temps lorsque tu te promènes).
Si ta réputation est vraiment trop élevée, tue un innocent (ça n'existe pas, je sais

) dans une maison, histoire de perdre quelques points sans que tout le monde t'attaque à vue.
Évidemment, si tu crées tous tes personnages, la réputation n'a aucune influence sur leur avis : ils te suivent sans broncher.