当初，苏武被流放到北海（今俄罗斯贝加尔湖 ）后（事见二十一卷天汉元年 ），匈奴不再给他供应粮食，他就挖掘野鼠洞，寻找里面藏的草籽来吃（苏林曰：挖掘野鼠藏起来的草籽吃。张晏曰：把捕获的野鼠和草籽一起吃。师古曰：苏林的说法正确，去，是藏的意思。贡父曰：如今北方野鼠很多，都可以吃。苏武挖到野鼠就直接吃，那些草籽才是藏起来的。）。他拄着汉朝的符节放羊，无论是睡觉还是起身都带着它，以至于符节上的旄饰都掉光了。苏武在汉朝时，与李陵都担任侍中；李陵投降匈奴后，不敢去见苏武。过了很久，单于派李陵到北海，为苏武摆下酒宴，安排歌舞，趁机对苏武说：“单于听说我和您向来交情深厚，所以派我来劝说您，单于诚心诚意地想接纳您。您终究无法回到汉朝，在这里白白受苦；在这荒无人烟的地方，您的信义又有谁能看到呢！您的两个兄弟，之前都因事自杀；我来的时候，您的老母亲也已经去世；您的妻子还年轻，听说已经改嫁了；您家中只有两个妹妹、两个女儿和一个儿子，如今又过了十多年，他们是生是死都不知道。人生就像早晨的露水一样短暂（师古曰：早晨的露水见到太阳就会干涸，人的生命短暂也如同这露水 ），您何必长久地这样折磨自己呢！我刚投降的时候，精神恍惚，像疯了一样，内心痛恨自己背叛汉朝，再加上老母亲被关押在保宫（班《表》，少府的属官有居室，汉武帝太初元年，改名为保宫 ）。您不想投降的心情，又怎能超过我呢！况且如今陛下年事已高，法令变化无常，大臣们无罪而被灭族的就有几十家。您的安危都难以预料，您这样坚守又是为了谁呢！”苏武说：“我苏武父子没有什么功劳和德行，都是陛下栽培提拔，才得以位列将军，封爵通侯，兄弟几人也都能在陛下身边任职，一直都希望能为陛下肝脑涂地。如今能有机会杀身报国，就算是遭受斧钺砍杀、被放入汤镬烹煮，我也心甘情愿！臣子侍奉君主，就如同儿子侍奉父亲；儿子为父亲而死，没有什么可遗憾的。希望您不要再提这些话了！”李陵和苏武一起喝了几天酒，又说：“您就听我一句劝吧！”苏武说：“我早就做好了赴死的准备，大王您如果一定要逼我投降（匈奴封李陵为右校王，所以苏武这样称呼他 ），那就请在今天的欢乐之后，让我死在您面前！”李陵见他如此忠诚坚定，感慨地长叹道：“唉，真是一位义士！我李陵和卫律的罪过，简直是天理难容！”说着，眼泪就流了下来，沾湿了衣襟，与苏武告别而去。还赏赐给苏武几十头牛羊。
后来，李陵又来到北海，把汉武帝驾崩的消息告诉了苏武。苏武面向南方，放声大哭，甚至吐血，每天早晚都要哭吊，持续了好几个月。等到壶衍鞮单于即位，他的母亲阏氏行为不端，匈奴国内人心离散，他们常常担心汉朝会趁机出兵攻打。于是，卫律为单于出谋划策，想要与汉朝和亲。汉朝使者来到匈奴，询问苏武等人的下落，匈奴人谎称苏武已经死了。后来，汉朝使者再次来到匈奴，常惠私下会见了使者，教使者对单于说：“天子在上林苑打猎时，射中了一只大雁，雁脚上系着一块帛书，上面说苏武等人在某个大泽中。”使者听了非常高兴，就按照常惠教的话去责问单于。单于看着身边的人，十分惊讶，向汉朝使者道歉说：“苏武等人确实还活着。”于是，苏武和马宏等人得以返回汉朝。马宏，是之前副光禄大夫王忠出使西域各国时，被匈奴拦截；王忠战死，马宏被生擒，但他也不肯投降。所以匈奴放回这两个人，想要表达与汉朝通好的意愿。于是，李陵摆下酒宴，祝贺苏武说：“如今您回到汉朝，在匈奴扬名，在汉室立下大功，就算是古代史书记载、丹青图画中的人物，也比不上您啊！我李陵虽然才能平庸、胆小怯懦，但如果汉朝能宽恕我的罪过，保全我的老母亲，让我能施展心中郁积已久的志向，或许我也能像曹刿在柯盟时那样立下奇功，这是我一直以来都没有忘记的心愿。但汉朝却把我的家族灭族，这是世上最大的耻辱（事见上卷天汉三年 ），我还有什么可留恋的呢！罢了，只是让您了解我的心意罢了！”李陵泪流满面，就此与苏武诀别。
单于召集苏武的属官，除了之前已经投降和去世的，最终跟随苏武回到汉朝的共有九人。他们到达京城后，昭帝下诏让苏武用太牢的礼仪（程大昌《演繁露》曰：牛、羊、猪都具备叫做太牢；有羊、猪但没有牛则叫做少牢。现在的人单独把太牢称为牛，这是错误的。 ）去祭拜汉武帝的陵园和宗庙，封苏武为典属国，俸禄为中二千石（班《表》：典属国原本是秦朝的官职，负责掌管归降的蛮夷事务；汉朝沿用了这个官职。