我家种的地是村民X在多年前放弃不种的土地，随后大队上把地分给我家种植，公粮跟直补都是我家在领，当时并没有合同这么干说法，都是口头协议，现在村名X想把地收回去，请问一下这合理合法吗，对方有一个划分土地的图册，请大家给我解答一下