Природа агрессии, у которой нет видимых причин

Здравствуйте!
Я молодая девушка, замужем. Познакомилась в институте с парнем, завязалось общение, не частое, но мы все же приятели. Мы иногда видимся в институте, общаемся, все идет хорошо. Были случаи, когда он мне помог (по-мелочи), хоть я о помощи даже не просила.
Но каждый раз, в конце разговора, когда мы прощаемся, он говорит какую-нибудь колкость, грубость или просто хамит. Как бы между прочим. Просто так. А потом как ни в чем не бывало общается со мной снова и снова. И опять позволяет себе меж делом какую нибудь бестактность. Вроде замечания о моей одежде или что-то вроде того. Как будто хочет обидеть.
Но повода нет, ибо мы слишком редко видимся, и я ничего плохого ему не делала. Виду себя с ним вежливо, и не понимаю, от куда такая скрытая агрессия.
Он сам подходит ко мне, уделяет внимание, а потом — колкость и грубость. И так каждый раз. Он знает, что я замужем, и счастлива в браке. Полностью изолироваться от него я не могу — вместе учимся.
Спасибо.