司马迁《史记·西南夷列传》称：“西南夷君长以什数，夜郎最大。”大约战国时代，夜郎已是雄踞西南的一个少数民族君长国。汉武帝时，唐蒙奉命于公元前135年出使南越国，了解到夜郎位于巴蜀通往南越的要道上，有便捷的水路可通抵南越的都邑，便向朝廷建议开发西南夷，依靠巴蜀的富裕、夜郎的水路和精兵，有效控制南越的分裂变乱。汉武帝采纳了他的建议，在夜郎地区设置郡县，将夜郎划入版图。公元前111年，夜郎派兵协同征伐南越反叛，遣使入朝，汉王朝授予夜郎王金印。
夜郎牂牁的具体位置，史籍记载都很简略，只说：“临牂牁江”，其西是滇国。牂牁江是汉代以前的水名，今人根据其向西南通抵南越国都邑番禺(今广州)的记载，考订为贵州的北盘江和南盘江。多数人认为，夜郎国的地域，主要在今贵州的西部，可能还包括云南东北、四川南部及广西西北部的一些地区。大概是临沅水上游的黄平、福泉一带，或者是临珠江支流都柳江三都县一带；或者是临北盘江毛口一带等等。在考古发掘未提供出可靠证据前，这样的争论必然还将继续下去。
夜郎灭国于西汉末期，汉成帝河平年时(公元前28—25年)，夜郎与南方小国发生争斗，不服从朝廷调解。汉廷新上任的牂牁郡守陈立深入夜郎腹地，果断地斩杀了名叫兴的夜郎末代国王，并机智地平定了其臣属及附属部落的叛乱。从此后，夜郎再见于史籍。
夜郎存在了约300多年，其文明发展在西南地区具有较大影响。汉朝开发西南夷后，在巩固国家统一的大战略中，它发挥了积极的作用。