通讯录被盗骚扰家人，首先要及时修改自己的密码，并且尝试找回被盗的通讯录信息。如果还是无法解决，可以尝试联系手机运营商和相关部门进行投诉和举报，并且及时向家人和朋友解释情况，以避免造成不必要的误会和麻烦。同时，也要注意防范类似的网络安全问题，尽量避免使用不安全的公共WiFi，不要随便泄露个人信息等。