大概是从1984年开始，李敖在文章里、电视上多次批评、辱骂柏杨先生，甚至出过一本专书，大肆鞭挞。本人曾下过很大的功夫，研究其原委。李敖的一面之词看起来有理有据，但仔细分析，会发现许多地方的断章取义以及借题发挥。对于李敖的批评，柏杨先生从未做过任何回应。我总觉得，柏杨在内心是瞧不起李敖的。作家总要拿出作品来说话，柏杨有《中国人史纲》，李敖有什么呢？将两人相提并论，对双方来说都不公平。

但柏杨在八十年代末期出版的《家园》一书中有这样一段话，虽然没有提到具体名字，但可以看作是对李敖这类人的评价：

“我们常注意到「真小人」「伪君子」的讨论，大多数都认为「真小人」比「伪君子」要高，于是遂有人公开标榜他是「真小人」。这些自称是「真小人」份子，目的就在利用人们某种错觉，认为一个人一旦公开承认他是真小人，他不但不是真小人，而且还有一种不同流俗的道德标准；这是一个陷阱。伪君子在情势逼迫下，还不得不做出一点好事，而真小人就无时无刻不在动他的脑筋，利用别人对他「率真」「洒脱」「英雄气概」的印象，做出丧尽天良的事。世俗称这种人无耻，而「无耻」正是所有罪恶的开端。”