廣德二年（764年）春，嚴武再鎮蜀，杜甫才又回到草堂，此前漂泊在外將近兩年。嚴武表薦杜甫為檢校工部員外郎，做了嚴武的參謀，後人又稱杜甫為杜工部。不久杜甫又辭了職。

    這五、六年間，杜甫寄人籬下，生活依然很苦，他說：“厚祿故人書斷絕，恒饑稚子色淒涼”（《狂夫》）“癡兒不知父子禮，叫怒索飯啼東門。”他用一些生活細節來表現自己生活的困苦，他說他的孩子那種還沒有懂事的孩子不知道對父親很尊重，不知夫子禮，餓了的時候不管是不是爸爸，是不是要遵循父子之禮，餓了就吵著要飯吃，在東門外號哭，到了秋風暴雨之中，杜甫的茅屋破敗，饑兒老妻，徹夜難眠，他寫了《茅屋為秋風所破歌》。

    廣德三年（765年）四月，嚴武去世，杜甫離開了cd。經嘉州、戎州、渝州、忠州、雲安，於唐代宗大曆元年（766年）到達夔州（奉節）。由於夔州都督柏茂林的照顧，杜甫得以在此暫住，為公家代管東屯公田一百頃，自己也租了一些公田，買了四十畝果園，雇了幾個雇工，自己和家人也參加了一些勞動。

    這一時期，杜甫創作達到了高潮，不到兩年，作詩四百三十多首。這時期，其作品有《春夜喜雨》、《茅屋為秋風所破歌》、《蜀相》、《聞官軍收河南河北》、《登高》、《登嶽陽樓》等大量名作。其中最為著名的詩句為：“安得廣廈千萬間，大庇天下寒士俱歡顏。”而《登高》中的：“無邊落木蕭蕭下，不盡長江滾滾來”更是千古絕唱。

    大曆三年（768年），杜甫思鄉心切，乘舟出峽，先到江陵，又轉公安，年底又漂泊到湖南嶽陽，這一段時間杜甫一直住在船上。由於生活困難，不但不能北歸，還被迫更往南行。大曆四年正月，由嶽陽到潭州（長沙），又由潭州到衡州（衡陽），複折回潭州……

    回憶起一代大文豪杜甫的生不逢時，顛沛流離的生活，張柬之一不由得感懷身世，悲從中來，禁不仰天長歎：“世上萬事皆可好，唯有文章不值錢！”

    “啊，蓮花，出淤泥而不染……！”張柬之呆呆地望著池塘中的蓮花，神思悠悠，不能自已，陷入了綿綿的往事回憶之中……

    張柬之自小喜歡荷花。他稍為懂事時，就在他家後苑那口池塘到田裏挖了一些蓮藕回來，栽到池塘裏，不久，池塘裏長滿了荷花。

    早在他讀私塾那時起，就知道了蓮花出淤泥而不染，是做人的精神象征。從那時起，張柬之一有機會就到池塘，看一看蓮花“出淤泥而不染”的別樣美景。

    少年時的他，常常一個人在荷塘邊的樹蔭下看書，累了，就望著荷塘，想著蓮花發呆，想著隋?杜公瞻的《詠同心芙蓉詩》的景象：

    灼灼荷花瑞，亭亭出水中。

    一莖孤引綠，雙影共分紅。

    色奪歌人臉，香亂舞衣風。

    名蓮自可念，況複兩心同。

    當歲月蹉跎的影子漸漸拉長的時候，他已很小有機會再在家中庭院荷塘池邊看書了。

    由於張柬之涉獵經書史籍，16歲那年，補缺為太學生。祭酒令狐德棻認為他是奇才，便以帝王的輔臣期待他。由於功課緊，他再也沒有返家去荷塘池邊看書，再也沒有機會望著荷塘，想著蓮花了。

    中進士後，張柬之起初調任清源縣丞。永昌元年（689年），朝廷以賢良科目召試，張柬之名列第一。授官監察禦史，後累遷為鳳閣舍人。

    這時突厥首領默啜請以女兒和親，武則天想讓武延秀娶她。張柬之進言說：“自古從無天子娶異民族女子的事。”觸犯了武則天旨意，被調出朝廷任合、蜀二州刺史。舊例，每年派兵五百駐守姚州，此地險惡有瘴氣，到此即死。

    張柬之力陳其弊端說——

    臣考證姚州，為古哀牢國，地處八荒域外，山險水惡。西漢時尚未與中國交往，漢武帝時唐蒙打通去夜郎、滇、笮的道路，哀牢卻不歸附。東漢光武末年，它才請求納為屬國，設永昌郡統轄它。征收它的鹽、布、氈毯、毛織品以有利於中國。它西鄰大秦，南接交趾，珍奇的貢物充足。劉備占據蜀地，軍備不足，諸葛亮五月渡過瀘水，征收其物產用以補充軍備，派張伯歧去選取強壯士兵，以增強兵力。因此《蜀誌》稱諸葛亮南征以後，蜀國因而富足。前代王朝在此設郡，是因為有利。現今它的鹽、布等賦稅不上供，珍奇的貢物不入朝，戈戟等兵器不充實我朝軍隊，當地資財不獻給天朝大國。朝廷卻耗盡官府財物，驅使、率領百姓去受蠻夷役使，以致悲慘喪生。臣私心為陛下惋惜。

    當年東漢使臣翻越博南山，渡過瀾滄水，改設博南、哀牢兩縣。蜀地民眾為此愁苦，出使者作歌道：‘越博南，過蘭津，渡蘭滄，為別人。’就是諷刺為貪圖珍奇物產之利，而被蠻夷役使的事。漢朝得其利益，民眾尚且唱出怨歌。如今卻是損耗國家儲備，開支、戶稅日益減縮，去讓陛下的子民以身軀肥野草，屍骨不能歸，使其老母幼子隻能向千裏之外哀號遙祭。朝廷無絲毫利益，而百姓卻蒙受終身慘痛，臣私心為國家痛心。

    往時諸葛亮攻下南中，就地任用其首領統轄，不設漢族官員，不留駐守士兵。他以為設官留兵有三難：設官勢必漢人與土著民族雜居，將引起猜忌怨恨；留兵轉運糧草，禍患將日益加重；日後突然反叛，勞民費財必然嚴重。因此粗立法規綱常，自然長久安定。臣以為諸葛亮的策略，確已盡籠絡蠻夷的綱要。現今姚州的官吏，既無強固邊防抑製外寇的意識，又無諸葛亮能擒能縱的本領，隻是苛索詐取，任意掠奪殘害；煽動其首領，使之結成宗派；或卑躬巴結，向蠻夷獻媚，行禮跪拜恭敬屈服，不再以為羞恥；或帶領子弟門生，嘯聚凶暴愚昧之徒，聚眾賭博，一擲萬金。總計逃亡在姚州的罪犯，戶數超過二千，專門從事搶劫。同時，姚州本是龍朔年間武陵王主簿石子仁奏請設置的，此後長史李孝讓、辛文協死在土著人眾手裏；詔令郎將趙武貴前去討伐，士兵無一生還；又派將軍李義聏繼續前往征討，郎將劉惠基戰死，該州始被廢止。臣私下認為諸葛亮的‘三難’之說，盡都應驗。

    垂拱年間，當地民族出身的郎將王善寶、昆州刺史爨乾福再度奏請在此設州，聲稱賦稅自理，不從蜀郡另取。設州後，州掾李眣被蠻人殺害。延載年中，司馬成琛又設瀘南七鎮，派蜀兵駐守，蜀郡方才亂了。

    同時姚州都督府統轄的五十七個州內，都是極狡詐的流民。國家設置官員，是用以糾正民風防止作亂，然而無恥的官吏，腐敗荒謬到如此地步。至今劫難禍患未止，恐怕驚國擾民的災禍將日益滋長。應撤銷姚州，讓哀牢隸屬巂州都督府，其首領、使臣逢年按時朝見天子，視同外邦；廢除瀘南諸鎮，而在瀘北設關駐防，不是朝廷使臣，不許與其交往；增加巂州駐軍，選派清正賢良官員去統轄。臣下愚見以為這樣有利。

    張柬之的奏議不被采納。不久調他任荊州大都督府長史。