老公，我三都是在同一单位上班，事情败露，老公不愿离，说只是糊涂犯下的错，但我从三的口中听到老公说我的不是，我真的痛心，为了能让自己忘掉，我不在去上班，开始老公还说没关系，说清楚就没事，以后不会再和她联系，继续上自己的班，但我就是不想再见她，也不想老公还继续在那工作，刚开始老公还不愿意，我就跟他闹，我说想好好过日子，但天天都见到她，想忘都忘不了，现在老公是答应了，要和我一起去别的地方打拼，但我有些担心，他是不是不情愿的？我这样做是对的吗？