我做的就那么过分吗？

我家那位一个月到手6000，我每月给他留下1000(用于买烟和平常和朋友吃个饭)其他的都要交到我手里。我替他管，他的银行卡，工资卡，支付宝都绑定我手机号，他花钱我都能知道，因为他挺好面子的，我如果不管他花销特别大。今天，他说和我结婚，让他过的很苦逼，在朋友面前天天抬不起头，说他懦弱妻管严！我听完心里也不是滋味。