第四章《英雄退步学神仙》围绕着李璧在衡山的隐世生活以及他在皇帝继位后被外放做地方官的经历展开。虽然受到了不少委屈和冤屈,但李璧依然忠于职责,并对内政、外交、军事等方面都取得了安和的成就。他与德宗之间有过约定,希望不要伤及功臣。同时也调解了德宗与太子之间的误会,并提出了唐肃宗与太子贤父子恩怨之事。