《汉书》没有写明杨忠生母的身份，但既然他能继承父亲爵位，那一定是家中的嫡长子，母亲也是正妻。
根据史书记载，他的弟弟杨恽自幼富贵，性格骄纵，而且能继承后母和家族的大笔遗产，后来做到平通侯，位列九卿，显然也是家里的嫡子。因为汉代庶子社会地位很低，做官都困难，不可能如此轻易就平步青云，年少显贵。
既然他俩都是嫡出，汉书又只写明杨恽生母身份，那除非杨敞还有前妻，否则两人就应该都是太史公之女所生。