陈汤主动请求出使外国，几年后被任为西域都护府副校尉，与校尉(正职)甘延寿奉命出使西域。 　当时西域的情况较为复杂。宣帝时期匈奴内乱，五个单于争夺王位，其中郅支单于以武力兼并呼偈、坚昆、丁令三国，日益强盛，先囚禁汉朝的使者江乃始，后又杀死使者谷吉。郅支单于自知有负于汉朝，害怕汉朝出兵报复，就向西跑到康居(今新疆北境至俄领中亚)。康居王尊敬郅支，将女儿给他做妻子。郅支便借兵多次袭击邻国乌孙，深入到赤谷城(乌孙国都，在今吉尔吉斯斯坦伊塞克湖东南))杀掠人口，抢夺牲畜财物。乌孙不敢还击，而是远远地逃避，于是郅支拥有千里之远的势力范围，自以为大国之主，很不尊重康居王，竟至一怒之下杀死了康居王的女儿、贵人等数百人，还把一些尸体支解后扔进都赖水中。同时他又派出使者到阖苏、大宛等国，胁迫他们年年给他进贡。那些小国不敢不给。汉朝也曾三次派出使者到康居，索要使者谷吉等人的尸体，郅支非但不给，而且侮辱汉使，以嘲讽的口吻说：“居困厄，愿归计强汉，遣子入侍。”(《汉书·傅常郑甘陈段传》)汉使听出他的言外之意，还有取代皇帝的野心，真是狂妄至极。

陈汤与甘延寿了解了郅支单于的这些情况后，于建昭三年(前36年)出兵西域。 　陈汤为人“沉勇有大虑，多策谋，喜奇功。”(《汉书傅常郑甘陈段传》)每当路过城镇或高山大川时，他都登高远望，认真观察、记忆。这次出使西域，只带着一支护卫军队，而不是征讨大军。当他们走出国境时，陈汤便对甘延寿说：“郅支单于剽悍残暴，称雄于西域，如果他再发展下去，必定是西域的祸患。现在他居地遥远，没有可以固守的城池，也没有善于使用强弩的将士，如果我们召集起屯田戍边的兵卒，再调用乌孙等国的兵员，直接去攻击郅支，他守是守不住的，逃跑也没有可藏之处，这正是我们建功立业千载难逢的大好时机啊！”甘延寿认为他的分析很有道理，便说要奏请朝廷同意后行动。陈汤说：“这是一项大胆的计划，那些朝廷公卿都是些凡庸之辈，一经他们讨论，必然认为不可行。”甘延寿考虑还是应该履行奏请的手续，这时他得病了。陈汤等了一天又一天，焦急之中便果断地采取了假传圣旨的措施，调集汉朝屯田之兵及车师国的兵员。甘延寿在病榻上听到这一消息时大吃一惊，想立即制止陈汤这种犯法的举动，陈汤愤怒地手握剑柄，以威胁的口气呵叱延寿：“大军已经汇集而来，你小子还想阻挡大军吗？不抓住战机出击，还算什么将领？”甘延寿只好依从他，带领起各路、各族军兵四万多人，规定了统一的号令，编组了分支队伍序列，大张旗鼓向北进发。