我们2个都有家庭，但是他和他老婆关系不是很好，两地分居状态，他老婆把孩子生下来1个月就出去了，孩子是他一个人带。最近他出了点事，他老婆回来了。我们联系就少了，但是我心里也开始难受了。我现在怎么办，我开始一直蜿蜒拒绝，虽然我们相爱，但是我不想把双方的家庭都破坏掉，尤其是看到他可爱的儿子的时候！我就好矛盾，好纠结！大家给我点意见吧！