又攻打并杀死了龟兹王。鄯善王安上书说:“希望能再次派儿子到汉朝做人质,重新请求汉朝派都护;如果都护不来,我们实在是迫于匈奴的压力。”刘秀回复说:“现在我们的使者和大军还无法前往,如果你们力不从心,那么不管是向东、向西、向南还是向北发展,都由你们自己决定。”(任由他们自己选择 )于是鄯善、车师(今新疆吐鲁番 )又归附了匈奴。
班固评论说:汉武帝时期,谋划制服匈奴,担心匈奴联合西方各国,与南方的羌人勾结(“南羌”,就是湟中的各羌族部落 ),于是在河曲地区设置了四个郡(这四个郡是武威、张掖、酒泉、敦煌 ),打开玉门关,沟通西域,以此来切断匈奴的右臂,隔绝匈奴与南羌、月氏的联系。单于失去了援助,因此远逃,大漠以南地区再也没有匈奴的王庭。汉朝经历了汉文帝、汉景帝时期的无为而治,休养生息五代人(汉高祖、汉惠帝以及吕后、汉文帝、汉景帝这五代 ),财力充足,兵马强盛,所以看到犀布、玳瑁,就建立了珠厓等七个郡;因为蒟酱、竹杖,就开辟了牂柯、越巂;听说有天马、葡萄,就与大宛、安息建立了联系;从此,各种奇珍异物从四面八方涌来。于是,汉武帝开辟苑囿,扩建宫室,设置华丽的帷帐,收集精美的服饰和玩物,摆下酒池肉林来款待四方的宾客,还表演鱼龙角抵的节目让他们观赏;加上赠送的财物,路途上的费用,数不胜数。以至于到了后来,国家财政入不敷出,于是实行酒的专卖,垄断盐铁经营,铸造白金货币,制造皮币,连车船都要征税,甚至对百姓饲养的六畜也征税。百姓财力耗尽,国家财政枯竭,再加上灾年,盗贼四起,道路不通,朝廷这才派出直指使者,他们穿着绣衣,手持斧钺,在郡国斩杀不法之徒,这才镇压住了盗贼。因此,汉武帝末年放弃了轮台之地,并颁布了罪己诏,这难道不是圣明仁德的君主对自己之前行为的悔恨吗!(这些事都记载在《武帝纪》中 )
而且,通往西域的道路,近处有龙堆,远处有葱岭,还有身热、头痛、悬度等险阻,淮南王、杜钦、扬雄等人的论述,都认为这些地方是划分区域、隔绝内外的天然屏障。西域各国,各自有君主和首领,兵力分散且薄弱,没有统一的领导,虽然名义上归属匈奴,但并不亲近依附;匈奴能得到他们的马匹、牲畜、毛毡等物品,却无法统领他们,让他们听从指挥。西域与汉朝相隔遥远,得到它对汉朝没有太大益处,放弃它也没有什么损失,我们有盛大的德行,无需从西域获取什么。所以,从建武年间以来,西域各国思念汉朝的威望和恩德,都乐意归附汉朝,多次派使者送来人质,请求汉朝设置都护。圣上(刘秀 )纵观古今,根据当时的形势,没有答应他们的请求;这就如同大禹使西戎归顺,周公辞让白雉,汉文帝拒绝千里马一样,(刘秀的做法 )兼具了这些高尚的道义!(《禹贡》说:西戎归附 。“即”,就是归顺的意思;“序”,就是有序 。大禹使他们归顺并使之有序,不是崇尚武力征服,而是让他们进献贡物 。师古说:从前周公辅佐成王,越裳氏经过重重翻译来进献白雉 。成王询问周公,周公说:‘如果没有施加恩德,那么君子就不接受他们的礼物;如果没有推行政令,那么君子就不会把远方的人当作臣子;我凭什么得到这个东西呢?’翻译说:‘我们接受本国年高德劭的人的命令说:“很久没有下大雨了,是不是中国出现了圣人呢?”’然后把白雉献给成王,说是先王的神明让他们来进献的,用来祭祀宗庙 。汉文帝拒绝千里马的事,见十三卷汉文帝元年的记载 )