大歷十二年（777）三月，李皋到達(dá)衡州，安頓完一家老小后，便即刻微服下鄉(xiāng)察訪民情。當(dāng)時(shí)，安史之亂平定不久，衡州雖然未直接遭受兵災(zāi)，但因?yàn)閼?zhàn)爭(zhēng)的原因，朝廷賦斂甚重，百姓為胥吏苛剝，多無(wú)以為生，舉家逃亡。加之十年三旱五澇，田地荒蕪過(guò)半。

在他到任前一年，衡州夏澇秋旱，田地絕收十之五六，荒蕪過(guò)半，百姓甚至以觀音土充饑，道殣相望，餓死無(wú)數(shù)。陽(yáng)春三月，本應(yīng)是草長(zhǎng)鶯飛、春耕繁忙的時(shí)節(jié)，然而，李皋見(jiàn)到田野中絕少有人耕作，溝渠中不時(shí)出現(xiàn)餓死者的遺骸，無(wú)人收斂，其狀慘不忍睹。見(jiàn)此情景，李皋心情極為沉重，出錢(qián)雇人收集遺骸并妥加掩埋，感嘆道：“苛政猛于虎吶，今天我可是親眼見(jiàn)識(shí)到了！”

回到州衙后，李皋召集州司馬、同知、推官等一干官吏開(kāi)會(huì)，提議散官倉(cāng)、社倉(cāng)數(shù)十萬(wàn)斛積谷賑災(zāi)。同知杜仲德建議呈文節(jié)度使、觀察使衙署，再轉(zhuǎn)呈戶(hù)部，待戶(hù)部批文后再行開(kāi)倉(cāng)。李皋道：“我微服出行，幾乎走遍了衡州諸縣鄉(xiāng)鎮(zhèn)，處處都有饑民餓死，救死如救火！如輾轉(zhuǎn)呈文，遷延時(shí)日，老弱將餓死殆盡，那時(shí)放糧又有何用？”屬下一位官員建議道：“現(xiàn)在湖南觀察使辛京杲滯留衡州，可以當(dāng)面向觀察使報(bào)告，請(qǐng)求施賑?！崩罡抻X(jué)得有理，當(dāng)即前去面見(jiàn)湖南觀察使辛京杲。

辛京杲聽(tīng)說(shuō)衡州官倉(cāng)及常平倉(cāng)、社倉(cāng)儲(chǔ)糧百萬(wàn)斛，動(dòng)了貪贓的私心，于是便向李皋索要好處。李皋不許，辛京杲不予呈文。李皋憤極，面斥辛京杲：“大人為一己之私利而置衡州百萬(wàn)人性命于不顧，良心安在！孤自當(dāng)放糧救饑！”說(shuō)完，拂袖而去，連夜將數(shù)十萬(wàn)斛積谷分發(fā)至各縣救濟(jì)災(zāi)民。

李皋放糧后，又率僚屬至各縣，動(dòng)員百姓墾荒造田五千畝，五年不收賦稅，并貸牛、貸種。饑民得賑糧與牛、種，無(wú)不樂(lè)于耕種。衡州全境，始現(xiàn)生機(jī)。秋后五谷豐登，百姓極稱(chēng)刺史盛德。

時(shí)辛京杲為湖南觀察使，位于李皋之上，但李皋為天潢貴胄，辛京杲不得不表面對(duì)李皋尊敬，但內(nèi)心則恨之入骨。索糧不得，惱羞成怒，他借機(jī)上書(shū)狀告李皋擅開(kāi)官倉(cāng)施賑，從中渾水摸魚(yú)、中飽私囊?；实刍栌?，聽(tīng)信讒言，貶李皋為潮州刺史。辛京杲親至衡州，面訓(xùn)李皋。李皋道：“孤放糧賑災(zāi)，無(wú)一己之私，天神共鑒，衡州百姓知之！”衡州百姓聽(tīng)聞李皋遭奸臣誣陷，齊集刺史衙門(mén)，面詰辛京杲：“曹王爺一心為百姓，不索公糧一粒，不要百姓一縷，何罪之有？”辛京杲無(wú)言以對(duì)，以圣命難違搪塞百姓之口。李皋恐生事端，予辛京杲以口實(shí)，衣囚服面諭百姓道：“是非曲直自有公論，父老鄉(xiāng)親責(zé)難辛大人，不但不能為孤辯誣，反增孤罪戾！諸位且去吧！”眾百姓無(wú)奈，只得散去。

大歷十四年（779）五月，唐德宗李適即位，宰相楊炎得到重用，在朝中主持大局。楊炎之前曾被貶官道州，與在衡州為官的李皋相鄰。楊炎深知李皋的品行，“知（李）事直”，在他回朝當(dāng)了宰相后，在皇帝面前為李皋辯白，皇帝始知李皋忠直，辛京杲奸偽，于是復(fù)起李皋為衡州刺史。李皋復(fù)任衡州后，百姓歡呼道：“還我刺史！”殺豬宰羊、置酒設(shè)宴，扶老攜幼、夾道歡迎。