犀牛属于奇蹄目（Perissodactyla），现存的奇蹄目动物包括三个科：马、犀牛和貘，它们的共同特征是蹄上的脚趾数是奇数的，这个和偶蹄目动物正好相反。
奇蹄目大约出现于始新世，可能有由原蹄兽这样的裸节目进化来的，和今天存在的其他哺乳动物科目都没有太近的关系。
奇蹄目出现之后，迅速分为了几支发展。第一支就是马和驴，第二支就是貘和犀牛，它们要较为亲近的关系，进化史上也出现过比较近似的物种，另外还有两支是早已灭绝的动物，雷兽家族和爪兽家族。

貘和犀牛这支最早出现在北美，根据现在的看法，貘首先出现，而犀牛从貘中分化出来。这支动物的早期代表为犀貘，关于犀貘的地位，一直是科学界争论不休的问题。1873年发现它的时候，它被归在貘的一类；后来又有人认为它是一种犀牛；再后来又有人把它归到貘的一类去；虽然最近越来越多的人把它看作是最原始的犀牛，因为它的牙齿的形状和犀牛很相像，但以比较保守严谨的看法来说，犀貘属于貘类中的沼貘亚科，和今天的犀牛和貘关系都不近，仍是一类古貘。
犀貘的大小和当时的貘和马都差不多，远比现在的犀牛要轻盈，远远不能和当时的庞然大物雷兽等相比。从它的骨骼来看，它还有不少原始特性，比如它还有4个脚趾，其中的3个是用于行走，另外一个没有什么作用。在以后的演化中，这个脚趾渐渐消失，犀牛才彻彻底底地变成“奇蹄目”。

犀貘复原图

之后，犀牛就进行了迅速的分化，主要分成了3支。第一支朝着轻盈的方向发展，变成了跑犀类（Hyracodontidae），第二支向着水陆两栖的方向发展，形成了两栖犀（Amynodontidae），最后一支则向着现代犀牛的方向发展，形成了犀类动物（Rhinocerotidae）

跑犀（Hyracodon）出现于始新世（Eocene）的北美大陆，然后扩散到欧亚大陆。它大小约1米半长，高约75厘米左右。比起它的祖先，跑犀的骨骼更加轻盈，腿更加细长，更加善于奔跑，所以无论从形态还是生活习性，跑犀都更像它的远方亲戚——马。和马一样，跑犀的发展见证了从始新世到渐新世（oligocene）地球自然生态的发展。始新世的时候，陆地上以森林为主，但是随着天气的变干，大草原（savanna）逐渐成为主流生态环境，跑犀也随之而逐步变化。最早期的跑犀，臼齿比较简单适合，唇部比较发达，以嫩叶为生，到了渐新世，部分犀牛的臼齿就变得复杂，适合一个以草为主食。犀牛在各个分支上几乎都演化出以树叶为食的browser和以草为食的grazer。由气候变化而导致的大环境更替，始终贯穿着包括脊椎动物的演变中，犀牛也毫不例外。跑犀的灭绝可能出于后来出现的偶蹄目动物的竞争

跑犀复原图（和马相比，跑犀的头占比例更大一些

跑犀类动物共有多达12个属，其中绝大部分都是类似跑犀一样的中等大小擅长奔跑的动物。可是其中的一支在渐新世中期却演变成为哺乳动物界的奇迹，这就是史上最大的陆上哺乳动物——巨犀（Paraceratherium或Indricotherium或Baluchitherium）。
巨犀游弋在亚洲的高加索到中亚直到蒙古一带，目前已经认定了4种。主要有三支：巨犀，副巨犀，准噶尔巨犀。天山副巨犀，天山准噶尔巨犀都是有名的大型物种。它肩高高达5米半，长度达到8米（不算尾巴）。头部仰起的高度达到7米半，仅仅一块头骨就有1米3。据估计，它的体重能达到15到20吨，最多达到30吨。现在最高的动物长颈鹿的高度是6米左右，最重的陆上动物非洲象大概能达到7吨。巨犀无论在高度和体重都到达了陆上哺乳动物的顶峰。巨犀的这个身体大小是非常不寻常的。突破了其他陆生动物难以逾越的20吨大关，中生代的蜥脚类恐龙突破了这个极限，创造了生理上的奇迹（棘龙20吨绝对胡扯，化石网的14吨倒差不多，否则也超过了）3 千万年后，巨犀再一次突破这个限制，它是大得变态的蜥脚类恐龙之外唯一做到这一点的动物。
这么大的动物当然只能靠吃植物为生，仅仅从它的身高看来，也几乎肯定它吃的是乔木枝叶。它的门牙高度特化，只剩下上下各一对，门牙突出，呈锥子状，看上去象小型的象牙。它有一个灵活的上唇，可以用于抓住树枝。这些都是和它生活习性相适合的。
巨犀的灭绝原因不明，可能是跟气候植被的变化有关在哺乳动物史发展史上，多种著名的大动物，包括我们上面提到的雷兽，都莫名其妙地自然而然地灭绝，随后再由另外的大动物代替。巨犀也逃不过这个宿命。

犀牛的另一支朝着另外一个方向发展，发展出了一个相当另类的分支，这就是水陆两栖的两栖犀，两栖犀（Amynodontidae）最早也是在始新世出现在北美大陆，然后向欧亚大陆扩散。两栖犀体型象现代的河马，四肢粗短，身躯巨大，还长着河马一样的大獠牙。生活在河畔。这些都令人相信它们的生活习性和现代的河马相似，都是半水栖的生物。
两栖犀类的早期代表是始新世的两栖犀Amynodon，中后期代表是渐新世的Metamynodon和Cadurcodon。
Metamynodon身长达4米，体重大概有3～4吨。它有两对发达的獠牙，很可能是用于挖掘或者用于防身，相信它的食物以硬质植物为主。
Cadurcodon是两栖犀中非常另类的一种，应该说在整个犀牛家族中都很另类，它长了一个灵活的鼻子。这点和现代的貘很象。
两栖犀类在渐新世达到最鼎盛，特别在北美地区，最终在渐新世结束时就灭绝了。

后两栖犀复原图

跑犀和两栖犀在始新世和渐新世到达自己的顶峰，构建了犀牛的第一代王朝。然而在渐新世末期就双双衰亡，最后的几种代表苟延至中新世也灭绝了。原先跑犀中不起眼的一支在渐新世开始出现，到了中新世开始极速发展，开创了犀牛的第二个王朝，这就是犀类。
犀类是三支犀牛中最为繁荣的一类，现存所有犀牛都属于这一类，所以我们对这类犀牛也更加熟悉。它们同样起源于北美大陆，遍布于辽阔的北美大陆，后来它们向欧亚大陆进军，最后还成功进入了非洲和东南亚。它们发展出超过50个属。
最早期的犀类代表是副跑犀，它生活在渐新世的北美。它的祖宗相信是跑犀中的一枝，它同样没有角，但是它发展出了不一样的特征。犀类动物和跑犀类动物最大的不同在于它的门牙。它们的第一对门牙呈铲子状，第二对门牙呈尖锥状，这个成为辨别犀类动物的特征。新脚犀的大小和牛差不多，身长3.5米，体重大约是2吨左右，比一般的跑犀要大，也是种典型的粗壮动物。这预示着犀类动物发展的方向。

副跑犀复原图

从副跑犀开始，无角的犀牛在北美得到极大的发展，占据了北美大型植食性动物的生态位。中新世的无角犀（Aceratherium）是这个繁荣家族的顶峰。和副跑犀相比，无角犀的下门牙更加突出，是防御天敌最重要的武器。无角犀大概是犀类动物中比较善于奔跑的一种，速度大概类似于北美野牛。
在无角的犀牛发展的同时，另一些犀牛也开始最重要的发展，这就是最具辨识度的特征——犀角。犀角在所有带角的哺乳动物中独树一帜，它并不是骨头的一部分，而是类似毛发一样的皮肤衍生物。毛发也能这样硬吗？是的，因为它的结合特别紧密。但是如果用手刮犀牛角的话，你会刮下一丝丝头发状的纤维。并不是严格的角，所以说，奇角鹿，雷兽，重脚兽，北美米拉鼠等鼻角动物完全消失了，犀牛则不是真正的鼻角动物。
由于犀角不是骨头的一部分，所以在犀牛头骨化石中不能直接看到犀角。不过这难不倒古生物学家，因为有角的犀牛在头骨上会留下一个皱褶状的痕迹，非常容易辨别。推测犀牛角形状则主要根据角腔的大小。除非一些冰冻的披毛犀尸体留下了角。
犀牛发展出四种不同的角型。最早出现的是单角犀。最早的单角犀的代表是起源于渐新世的欧洲的远角犀（Teleoceras），它在中新世迁移到北美，在北美达到最繁盛。这是一类非常特化的犀牛，它四肢极其粗短，身躯却非常庞大，体态和现在的河马类似。它有一个极其短小的角，估计并不主要作为防御的用途。远角犀的生态和河马以及它的堂兄弟两栖犀类似，都是在河畔过着半水栖的生活。
远角犀在北美数量非常多。它们留下了如此多的化石，乃至北美的印第安人大量利用它们的肋骨化石作为构建房屋的原料。
另一种的犀牛角型是并排双角。这种犀牛以北美起源的并角犀（Diceratherium）为代表，这是一种只有猪一般大小的犀牛，它的鼻尖上有两个角，这两个角是并排的，不是一前一后，有点类似重脚兽，这种角型在犀牛中并不多见。并角犀在北美分布极广，在长达1千万年的日子里，成为北美大草原的统治性动物。