李林甫表面上给人们温柔的样子,好像可以亲近,实际上犹如悬崖陷阱,深险难以得知。朝廷公卿如果不是由他门下进升的,必定会被定罪迁徙;凡是依附他的,虽然是小人奸佞也会被他引见重用。李林甫家中有中间厅堂,如同半弦月,称为“月堂”。每当他排挤大臣,就住进去思谋策划。当他得意洋洋走出来时,那就设计完成,不知哪一家又要遭殃了。
他在长安设立了推事院专治狱事。任用萧炅、吉温、罗希脣等一批酷史。吉温生性残酷,六亲不认,他常说:“如果遇上知己,即使南山白额虎也能为他缚得。”罗希脣是杭州人,以残忍著称,因为受到李林甫的赏识,由御史台主簿升为殿中侍御史。他们两人,互相配合,按李林甫的旨意行事,凡是酿成狱案的,没有一个人能够逃脱,当时们称他们为“罗钳吉网”。李林甫善于利用对方矛盾,消除异己,拉一派打一派。户部尚书裴宽和刑部尚书裴敦复有矛盾。当裴宽有可能当宰相时,李林甫就和裴敦复交好,让他揭发裴宽,使裴宽被贬为睢阳太守。李林甫又趁势派人去杀裴宽,“宽叩头祈请”,才免于一死。后来,裴敦复因有战功受到朝廷嘉奖,这一来又引起李林甫对他的忌恨,诬害他,裴宽也因此而被贬到淄川。刑部尚书韦坚,其妻子是李林甫舅舅姜皎的女儿,他的妹妹还是太子李王与的妃子,为官很早,深得玄宗赏识,后来被提拔为陕州太守,水陆转运使。当韦坚有人相之望时,李林甫便开始算计他。天宝五年(746)春,河西节度使皇甫惟明因破吐蕃有工,入京献捷。他看到李林甫专权横行,就气愤不平,上疏劝谏玄宗除掉李林甫,李林甫听说大吃一惊,暗使杨慎矜监视他们的行动。他们发现,元月十五日晚,太子出游和韦坚相见,他们又发现韦坚又和皇甫惟明会见于景龙观。于是李林甫参奏韦坚,与皇甫惟明勾结,阴谋拥立太子为帝,把两人逮捕下狱,后分别贬为缙云太守和播州太守。
将作监少匠韦兰,兵部员外郎韦芝是韦坚的弟弟,上书为韦坚喊冤,并请求太子王与为之说情。玄宗十分气愤,太子见事不妙,为了摆脱干系,上表请与韦妃离婚,声称不要因为与韦氏有亲戚关系而殉私枉法。于是,玄宗下诏,再贬韦坚为江夏别驾,其弟韦兰、韦芝被贬到岭南,其他受到牵连而遭贬官、流放的达数十人。著名的是杨慎矜案,也是李林甫排斥异己的一个例子。
杨慎矜本是李林甫门下,因受玄宗重用,提升为户部侍郎。李林甫见他擢升,十分妒忌。他利用杨慎矜和王箇的矛盾,让王箇参奏杨慎矜,说:“杨慎矜是隋炀帝的玄孙,家中藏有谶书,阴谋复辟。”玄宗听后非常恼怒,把杨慎矜逮捕。太府少卿张王宣本因为由杨慎矜所荐,也同时受牵连被捕。杨慎矜屈打成招,但始终搜查不出谶书来。李林甫派卢铉再次入长安杨家搜书,他在袖中藏着谶书进入杨慎矜的书房。一会儿,手里拿着谶书走出来。杨慎矜看到后绝望地说:“我不曾藏此谶书,今天必死无疑!”不久,玄宗诏赐杨慎矜及其弟杨慎余、杨慎名自尽,妻子儿女流放岭南。这一案件涉及数十人。
李林甫在位期间,还做了一件事,史学家认为这是导致“安史之乱”爆发的一个原因。
唐玄宗在位前期,朝廷宰相有不少来自节度使。李林甫独掌大权后,为了杜绝出将入相之源,向玄宗建议用少数民族将军为节度使。他说:“文臣为将,害怕矢石弹雨,不身先士卒。现在不如用蕃将带兵,他们天生雄健,在马上长大,善于冲锋陷阵,天性这样,如果陛下使他们受到感动,觉得受重用,他们一定会报效国家,夷狄就不足为虑了。”而李林甫的目的,是使掌握军权的人不能入朝为相,这样他的地位也可长保无虞了。
李林甫恃权侍势,为非作歹,又长于拍马溜须,因而深得玄宗宠信。他在京城的府第楼台亭榭,十分奢华。晚年,他沉溺于声色,家中姬妾侍女不知有多少,然而他活得并不痛快。他自知结怨天下,常常惧怕刺客,每次出门总要有步骑百余人左右保护。住宅周围,岗哨林立。一个晚上要换几个地方睡觉,甚至连他的家人也不知道他住在哪里。天宝十一载(751)李林甫死了。在他死之前,杨国忠、陈希烈等开始揭发他的罪行。他刚死还没有来得及下葬,杨国忠就上奏玄宗,告他有异谋。于是朝廷下令全部削夺李林甫的官爵,剖棺剔取含殊金紫,更以小棺用庶民的礼节将他入葬。他的几个儿子也被流放到岭南,众女婿们也被贬官。