天宝十二年（753）的秋天，李白在去往宣城的途中，来到了横江渡。
长江是一条自西向东流的河流，却在庐山脚下逐渐折向东北方向，而到了芜湖、金陵之处，竟又成了自南而北，横亘在吴头楚尾一带——于是，横江渡就这样横在长江的西岸，其东面是牛渚矶，也叫采石矶。
李白这一路走来很不容易，并非路途坎坷，而是因为思绪荆棘——那剪不断理还乱的愁绪一直萦绕在他心中——对天下黎民百姓的担忧，对自己大半生命运多舛的感叹。
来到这横渡将，时值海潮汹涌澎湃之际。李白站在渡头，想起自己的从政经历，不也正像眼前的景象，一次比一次艰难——青年时期干谒诸侯，却四处碰壁，一事无成；中年时期奉诏入京，仰天长笑“我辈岂是蓬蒿人”，却也落得个挥泪而返的下场；到了垂暮，北上幽州更是几入虎口……这一桩桩，一件件的事近在眼前，让人心酸不止。
这白浪如山的横江，又怎么能轻易地渡过呢？就连常年手执桨支的船夫，也是愁容满面。而那万水千山之外的长安，又怎么能再回去呢？回不去了。
李白正要离开这横江渡，却不料忽然变了天，狂风肆虐，于是，他便留下来，找了处酒家，饮上一壶烈酒，心想；暴风雨终究要来了吗？那就让它来得更猛烈吧！于是，他提笔写成了《横江词六首》：
其一：“人道横江好，依道横江恶。一风三日吹倒山，白浪高于瓦官阁。”
其二：“海潮南去过浔阳，牛渚由来险马当。横江欲渡风波恶，一水牵愁万里长。”
其三：“横江西望阻西秦，汉水东连扬子津。白浪如山那可渡，狂风愁杀峭帆人。”
其四：“海神来过恶风回，浪打天门石壁开。浙江八月何如此，涛似连山喷雪来。”
其五：“横江馆前津吏迎，向余东指海云生。郎今欲渡缘何事，如此风波不可行。”
其六：“月晕天风雾不开，海鲸东蹙百川回。惊波一起三山动，公无渡河归去来。”
在诗中，李白感叹人生不过匆匆数十载，却要忍受百般折磨。黎民百姓又有何错，却又要遭到铁蹄的践踏。
到了宣城，太守和长史对李白非常热情，李白也安稳地在此住了三个月。这期间，李白出了游览各处名胜古迹，就是把自己闷在屋里读《庄子》。当没有钱吃酒了，他就写几首诗文给长史或太守送去，他们便会送来一些接济之财。很多次，钱刚到拿到手，李白就毫不犹豫地拿去给了酒庄。他很喜欢纪老头的酒肆中卖的“老春”，每当喝到这色清味醇的酒，他便能安下心来。
一天，李白在敬亭山上的一处亭子刚要歇下，百年看见一个胡人在吹笛子，调子是自己熟悉的秦声《梅花落》和《出塞曲》。不经意间，李白泪满衣襟，写下了《观胡人吹笛》：“胡人吹玉笛，一半是秦声。十月吴山晓，《梅花》落敬亭。愁闻《出塞》曲，泪满逐臣缨。忘却长安道，空怀恋主情。”
闲坐于敬亭山，李白感受着大自然的气息，感受着视奏的寂静，他感觉自己已经四大皆空、六根清净，却不料从内心发出声音，却仍带着浓浓的愁——他吟出四句诗：“众鸟高飞尽，孤云独去闲。相看两不厌，只有敬亭山。”在他心里，只有这座小山可以与他互诉衷肠了。
不久，李白又与当地的很多名士一起游了九华山。泾县的县令汪伦是爱好诗文的儒雅之辈，知道李白来了，开心得不能自已。
汪伦为李白安排了酒席，还邀请他去桃花潭一同游赏。盘桓了数日，李白也要离开了，临别之际，却看见汪伦在河岸上召集了些乡民，齐齐为他跳了一段赠别之舞。
李白热泪盈眶，大喊处一首诗：“李白乘舟将欲行，忽闻岸上踏歌声。桃花潭水深千尺，不及汪伦送我情。”
很快便到了秋叶落尽的季节，不知为何，李白突然心烦气躁起来，每天都没胃口，还失眠。就在不知怎么办才好时，他的族叔——八品监察御史李华出使东南，正好路过宣城。
两人阔别已久，李白邀李华同登谢笤楼。其实李白是想从李白口中听到些朝廷中的消息。
然而，现实却让李白更加惆怅：杨国忠为了邀功固宠，滥用武力，出兵南诏，至西洱河大败，而他掩埋真相，继续出兵，可惜全军覆没，前前后后竟有二十万人无辜丢了性命。
