各位律师你好，事情是这样的，我出生在一贫困家庭，但我很幸运有一个伟大的母亲把我抚养长大，为什么是母亲，不是因为我没有父亲，而是因为父亲生性懒惰嗜酒，自小时候起就没有给过我们母子一分钱（有时候给我们钱，又偷走，小时候外债也是母亲还的），小时候爸爸一喝酒就打妈妈，现在我终于长大了，终于可以保护妈妈了，爸爸也就不敢再打妈妈，虽然爸爸还是不去工作，依然嗜酒，也没给过我们一分钱，但是妈妈也轻松了不少，感到很欣慰。
但是最近，爸爸出轨了，还把结婚证都撕了，我想问一下，假如爸爸要跟妈妈离婚，那房子应该归谁，我可以不赡养这个人渣吗？我们家是农村户口，地是爷爷的，现在爷爷去世了，本来4间2层楼2间给爸爸，爸爸也没赡养过爷爷，爷爷去世的时候我妈妈去问别人借了4万才办的丧事，目前还了2万，还有原来小时候是一层楼的，盖房子的时候欠了5万，也是我们去年才还清。。。