Если человек раздражает без причины,

значит, это с нами что-то не так. Якобы. Это некоторые психологи витиевато пишут про «зеркало», «отражение наших недостатков» и прочее. Очень надуманно.
Если какой-то человек без причины нас раздражает, значит, это вредный и опасный для нас человек. Вот и все. И подсознание посылает сигнал. Мы можем пока не понимать умом, что именно с человеком не так. И чем он вреден. Но нас, как подростки говорят, колбасит и плющит от этого человека. От его мимики, манеры говорить, от запаха, почти неуловимого, даже от его постов в соцсетях, если мы не знакомы лично. Раздражение - это скрытый сигнал мозга: «бей или беги». Бить не надо, надо бежать. Просто отойти подальше. И, возможно, потом узнаете, чем для вас был опасен этот человек. Что с ним не так. А может, и не узнаете, почему мозг посылал вам сигнал. Но это неважно; главное - безопасность. У всего есть причина. И раздражение - это скрытые гнев и тревога. Сигнал опасности.