褐矮星是类恒星天体的一种，它们是所谓“失败的恒星”（Failed Star），与一般恒星不同，褐矮星由于质量不足，不能像正常恒星那样通过氢核聚变维持光度，无法成为主序星。但它们的内部及表面均呈对流状态，不同的化学物质并不会在内部分层存在。研究表明，大于13倍木星质量的天体会发生氘核聚变，而大于65倍木星质量的天体会产生锂聚变，因此如果只从质量上区分，褐矮星为处于13倍木星质量与80倍木星质量之间的天体。现时人们仍在研究褐矮星在过往是否曾经在某位置发生过核聚变，已知的是，质量大于13个木星的褐矮星可融合氘。褐矮星的许多性质与太阳系外巨行星（EGP）相似，因此也有人将它们统称为亚恒星（SMO）。
1960年代天文学家们已经在理论上都预测了褐矮星的存在。褐矮星原先被称为“黑矮星”，代表在宇宙间漂浮的类恒星天体或质量不足以发生核反应的天体。但“黑矮星”一词现时是指一些停止发光，并已死亡的白矮星。
早期的恒星模型指出，一个天体欲成为真恒星，必须拥有80个以上的木星质量，以产生核反应。“褐矮星”的理论最初于1960年代早期提出，指其数量可能比真恒星多，由于未能发光，要寻找也颇为困难。它们会释出红外线，可凭地面的红外线侦测器来侦测，但由提出至证实发现足足用了数十年。
近期的研究则指出，恒星能发光发热除取决于质量外，也包括其内含的化合物。一些褐矮星的质量达到90个木星仍不能点燃内部的氢。还有当一团星云塌缩时，除产生恒星外，也会产生不发光的褐矮星，其质量少于13个木星。
首个褐矮星于1995年得到证实，到2006年已经发现了三百多颗，并在1999年发现了第一个双褐矮星系统，轨道周期约为6天。褐矮星被认为是银河系中数目最多的天体之一，较接近地球的褐矮星是印第安座ε星，该恒星系统拥有两颗褐矮星，距离太阳12光年。
关于褐矮星形成的机制天文学家们众说纷纭，比较常见的有抛射理论、前恒星核的光致侵蚀理论、不透明度制约的分裂理论、原恒星盘的不稳定性理论等。抛射理论认为，褐矮星是由于低质量的原恒星胚在还没有达到产生氢核聚变所需的质量前，与其它天体发生了碰撞而被抛射出前恒星核所形成的，这一理论部分地得到了双褐矮星系统的证实。前恒星核的光致侵蚀理论基于大质量恒星的辐射对前恒星核的光致侵蚀作用，能够解释处于电离氢区中的褐矮星的形成机制。褐矮星也可能由大质量的原恒星盘在其它恒星的引力作用下发生碎裂而产生。这些理论每个都只能解释部分褐矮星的形成，研究褐矮星周围的恒星盘可以有效地检验上述理论。