小倉優子の元夫、不倫するのが仕方ないレベルで酷い仕打ちを受けていた