1-й вариант:
Нет смысла спорить с тем, кому кроме общественного мнения нечего сказать.
2-й вариант:
Нет смысла говорить с тем, у кого о тебе сложилось общественное мнение.
Если конь не ржёт без повода, значит, он на поводу.
Не иди на поводу - окажешься на поводке.