日本传统的“家”并非真正意义上的家庭，它以血亲为核心，同时也包容了很多非血缘者存在。武士团为了加强凝聚力，也逐渐变成了这种意义上的家和家的联合体，武士团首领同时也是大家长，其本族部下称为“一族”、“家子”，非亲属部下称为“郎党”或“郎从”。提到武士团的时候，往往会说某某某率其“一族郎党”，就是指有血缘或没血缘的部下们。
　　小武士团往往按照家的结构结合成为大武士团，那么大武士团就称为“本家”，大家长称为“总领”，内含的小武士团称为“分家”，家长往往称为“庶子”。从这个“庶子”〔在日本指嫡长子外的所有儿子〕之名就可看出，日本武士和西欧骑士不同——骑士是因契约而效忠于某一领主，相互间的关系比较生疏，联系较为松散，并且“我的附庸的附庸不是我的附庸”；而日本武士则按照传统的家的结构来建设武士团，加上日本传统并不很重视血缘关系，无血缘的主从之间大多结成姻亲、干亲或者养亲关系，约为父子，联系相当紧密，战斗力也因此而加强。
　　平安时代，日本朝廷的军备逐渐废弛，被迫承认武士团的正当性，甚至动用他们行使国家的军事、司法和警察权，各地国司就经常任命武士团首领为“押领使”或“追讨使”。后来甚至连皇宫也由武士团来警卫。
　　当然，不是随便什么武士团都有资格警卫皇宫的，这些武士团的首领往往既是以朝廷为本家的国有土地的庄官，也是拥有正式官位的朝廷新贵。这些新贵中势力最为庞大的，就是拥有天皇血统，被降为臣格赐以“源”、“平”等氏的家族——执其牛耳者为桓武平氏，根据地在关东地区，以及清和源氏，根据地在畿内的摄津、河内等国。
　　而平将门正是桓武平氏高望流的始祖高望王的孙子。
朝廷为了保证国家税收，被迫修改班田制，实行“田堵制”〔负名制〕。这种制度就是不把国有土地班给适龄公民，而是承包给家底比较殷实的农民，税收等同于租金。租约一年一订，租田者在有实力年年续约的情况下，往往建筑围墙〔堵〕以保护耕地，故此种田地称为“田堵”，也称“负名”。这一制度的确立，使得富者益富，贫者更贫，大量无地农民被迫进入田堵和庄园成为农奴。
　　九世纪以后，田堵们经过不懈的斗争，使得对耕地的占有权逐渐稳定下来，他们得以在租约上写上自己的名字，于是产生了“名田”，名田所有者称为“名主”。名田是可以继承和转让的，还能再转租给贫困农民耕种。于是，拥有大量名田者就被称为“大名主”，简称大名，拥有少量名田者被称为“小名主”，简称小名，租种民田的贫困农民则被称为“小百姓”、“作人”、“名子”。
　　回过头来再说庄园，早期庄园也必须课税，但这些庄园都掌握在大寺社和大贵族手中，他们利用种种藉口请得“太政官符”或“民部省符”，得到不纳税的资格，称为“不输”，进而更利用种种藉口使得国家官吏不得进入，庄园内部的司法权和警察权都由庄园主把持，称为“不入”。不输不入就使得庄园主们变成真正意义上的封建领主，庄园变成他们的封建领地。
　　十世纪以后，名田和庄园逐渐结合起来，因为很多名主把自己的土地寄进给庄园，以使庄园的不输不入涵盖面更广。所谓“寄进”，就是指进献，把名田名义上的所有人写成拥有权势的庄园主，每年向庄园主缴纳年贡——这种年贡未必比国家赋税来得轻松，但从此名田也具备了“不入”的权力，逐渐转化为庄园或大庄园的一部分。这样就形成了层级化的庄园机构，最高庄园主称为“本家”，其下为“领家”，再下为“下司职”或“预所职”——到了十二世纪，封建庄园已占全国土地的半数以上，庄园经济逐渐成为日本社会经济的主体，甚至残存的国有土地，也可以被视作以朝廷为本家，以国司为领家，由实际拥有土地的名主为庄官的大大小小的庄园。
　　庄园的实际管理者也即庄官，为了保护庄园，同时行使庄园内的司法权和警察权，必须拥有独立的武装力量，就这样，九世纪中期以后，武士这一阶层就逐渐成型了。一般情况下，武士结合成以庄官本族为核心的团体，就是武士团。