Если почаще кивать головой, то молчанием ничего не испортишь. А наоборот оставишь после себя впечатление внимательного и разумного собеседника.