第一次世界大战期间,胡佛在美国司法部找到了工作。他很快就被提升为敌国公民登记部门(Enemy Aliens Registration Section)的负责人。1919年,他成为司法部新成立的总情报部门头目(参见英文条目en:Palmer Raids)。1921年,他成为调查局的副局长,1924年,司法部长任命他为代理局长。1924年5月10日,在前任总统哈定去世,上任调查局长威廉·J·伯恩斯被卷入茶壶顶丑闻(茶壶顶丑闻并不存在,英语维基百科对应页面为Teapot Dome scandal,或称蒂波特山油田丑闻)后,柯立芝总统任命胡佛为调查局的第六任局长。胡佛随即掌控整个调查局,而此时的调查局拥有650名雇员,其中包括441名特别调查员。 作为一个领导,胡佛以他的反复无常而出名;他频频解雇那些他看起来“像个白痴卡车司机”或者是“榆木脑袋”的人。他还常常把惹恼自己的特工派去执行那些让他们永无出头之日的任务,抑或是调换他们到新的据点,而那些地方往往成为特工们职业生涯的终点。梅尔文·珀维斯就是个很典型的例子;他凭借30年代抓捕和粉碎帮派势力的行动成为局内能力最强的特工,为公众所熟知,但对此颇为妒忌的胡佛随即借调遣把他赶出了联邦调查局。