两个人合伙，打算做生意，签订合同后，我给了对方一部分钱，后来因特殊原因，我没有资金继续投入了，对方就让我办信用卡或者网上借贷透支，我没有同意，而后我说要么转让给他一部分股份，或者再寻找一位合伙人共同创业，对方不同意，并且辱骂性的把我赶走，还说不会退给我一分钱，只是投入的都算白投！而后我就离开了！请问，这到底是谁的责任，我是否可以要回我投入的钱？况且我并没有说要退出，是他赶我走的！拜托律师帮我解答，我投入的是我个人全部的积蓄了！