祖籍河东，徙居金城。貌魁梧雄壮，骁勇善射，家产巨万，交结豪猾。初任金城府校尉，大业十三年起兵反隋，自称西秦霸王，后称帝，都秦州，败隋将皇甫绾，尽据陇西，拥兵十三万，又并唐弼众十万。武德元年，薛举率兵进击泾州，与唐军大战，在浅水原大破李世民军，虏其大将慕容罗睺、李安远、刘弘基等，唐军死者多达六成，李世民逃回长安。薛举正欲乘胜直取，一举灭唐，却突然急病而死。未及安葬，其子薛仁杲就被唐军消灭。