Чтобы прийти к человеку, нужно его согласие. Для ухода оно не требуется.