Удалится ли этот объект после закрытия?
Нет. Он удалится только когда удалится его родитель.
что нужно сделать, чтобы он удалился?
Либо дать ему флаг WA_DeleteOnClose, либо вызвать где-нибудь внутри метод deleteLater().
Можно ли в деструкторе указать deleteLater()?
Нельзя. Деструктор вызывается уже
в процессе разрушения объекта.