谢奕与桓温是布衣朋友，桓温任徐州刺史，谢奕任扬州晋陵郡太守。
起初两人在交往中略为留意谦虚退让，而没有不同寻常的交情。
永和元年（345年）桓温升为安西将军、荆州刺史，将要西去赴任之际，桓温对谢奕的情意就特别深厚了。
二弟谢据的妻子王氏领会了桓温的意图，常常说：“桓荆州用意很特别，一定要和晋陵一起西行了。”
不久桓温任用谢奕做司马。谢奕到荆州以后，到桓温那里作客，头巾戴得很随便，长啸吟唱，和往常没有什么不同。桓温常说：“是我的方外司马。”
谢奕爱喝酒，还经常逼着桓温跟他一起喝酒，桓温实在受不了，就躲进老婆房间，桓温老婆南康公主司马兴男大乐，说：“您如果没有一个放荡的司马，我怎么能见到您呢！”
谢奕找不到桓温，就只好跑到桓温客厅里，找一个兵一起喝，自嘲说：“失一老兵，得一老兵。”
在东晋社会，称人家为阿兵哥，实际上是蔑称，桓温是军事领袖，并且是驸马，这是大不敬。
不过桓温为人豪放，知道谢奕为人总是爱胡说八道，对谢奕也不以为意，而且还很珍惜这段友情。
谢家的荣辱，多拜桓温所赐。谢家之前发达，谢奕、谢万能够当上豫州刺史，有桓温力挺的成分，后来谢安上位，更是与桓家关系非浅。