Отсутствие детей не может нервировать.
Нервировать может только их присутствие. А если нервирует их отсутствие, то это свидетельствует о том, что дела идут плохо, и беспокоит неудовлетворение чувства собственной значительности