我有个儿子今年四岁本想给他一个幸福的家，可现在他爸要和我离婚，因为他和他的同事有孩子了。之间我们的矛盾有三年了，那个女的张现在没有离婚。现在他又以家里要弄房为由让我回不去家，我现在上班没有回家，孩子在他家。我爱我的孩子，该怎么办？他爸什么都没有，我们没有共同的财产，也没有钱。房子是孩子他爷爷的？乱！！！