1919 年五四运动中， 他与陆宗舆、章宗祥一同被斥为卖国贼， 其住宅赵家楼被群众火烧。6月10日被罢免。后又担任一段时间的交通银行总理， 不久被他所投资的井隆正丰煤矿公司推为董事长。

抗日战争时期， 先后被聘为伪华北临时政府顾问、伪华北政务委员会咨询委员。解放战争时期从北平迁居上海。

1949 年全国解放前夕逃往台湾。

1950年经香港赴日本， 在东京等地居住。

1957 年迁居美国， 1966 年8 月4 日死于底特律。

北京赵家楼的历史该不算太悠久，但却极有知名度，因为当年震惊中外的“五四运动”、“火烧赵家楼”即发生于此。赵家楼是老北京的一条胡同。楼为何冠以“赵家”，至今仍是一个谜。清光绪十一年朱一新撰《京师坊巷志稿》，于当时北京坊巷考注甚详，也许是赵家楼在当时不甚有名气，朱一新对赵家楼主人未加注解。岁月流逝，至今更加湮没无考了。赵家楼是条小胡同，位于北京长安街东端之北，据考原为前后曲折U字形走向，总长不超过三百米，后被一分为二，前边称前赵家楼胡同，后边则称为后赵家楼胡同。“五四”一把火，曹汝霖宅邸的东院基本焚毁。上世纪50年代后曹氏旧宅被拆除，于原址建起新楼，成为某单位招待所。后来又改为赵家楼饭店，门牌是“东城区赵家楼1号”。

赵家楼何时成为曹汝霖的宅邸，迄今未见到准确资料。从回忆资料来看，曹宅当时分东、西两院，西院为中式房屋，东院则为西式平房。我所见过曹氏差人的回忆是1918年9月至曹公馆当差，可见成为曹宅起码是1918年。其实，曹汝霖不仅在赵家楼有公馆，他还有两房姨太太，分别在锡拉胡同和西观音寺有宅寓。大太太带着几位子女，包括1918年冬曹氏父母从原籍上海亦迁来，均住赵家楼。

曹汝霖与陆宗舆、章宗祥都原籍浙江，又同去日本留学，1904年一同归国参加“经济特科”，被清廷授主事职衔。曹汝霖任职商部商务司，后调外交部。北洋时期当了大官，几次丧权辱国，向日本人借款，还是“二十一条”谈判的参与者，被视为亲日派，所以“五·四”运动中曹氏受打击最沉重。而最令曹汝霖生气的是，火烧曹宅说风起，有漏电失火说，有曹家家人趁火打劫说，而支持、同情学生运动的报刊，也多采用此二说。当然目的是保护学生免遭当局迫害（学生激于义愤，首先点火者即当年北京高等数学科四年级学生匡互生，后随毛泽东在湖南从事驱张运动，1933年病逝）。6月10日总统徐世昌颁令罢免曹、陆、章三人职务，也否认学生烧毁曹宅，曹汝霖在医院看到报纸后，大为生气，马上找徐质问。始愤而以辞去交通总长等职务泄愤。罢官之后，仍担任交通银行经理（当时报章说曹辞去交通银行经理职务，实际依然保留）。但他经“五四运动”风波，受刺激很深，发誓不再过问政治，愿做在野之民。他先前往东交民巷法国医院，一天后又躲进东单三条同仁医院，仍觉得不保险，又搬到北海团城（当时团城由京绥铁路局管辖），闭门谢客。1919年冬，曹又避到天津德国租界居住。他每以宋人戴复古《饮中达观》表述自己今后的志向，其诗云：“人生安分即逍遥，莫向明时叹不遭。赫赫几时还寂寂，闲闲到底胜劳劳。一心水静唯平好，万事如棋不着高。王榭功名有遗恨，争做刘阮醉陶陶。”看来，曹汝霖是将安分守己视为座右铭的。尽管如此，曹汝霖的心情一直郁郁寡欢。因为他尽管在租界当寓公，深居简出，但人们并没有忘记和原谅他。他的儿子在天津南开读书，却没有一个同学肯与他同坐，这位曹公子只好隔坐独桌。课间、放学，也没有一个同学理睬他。这种情况，曹汝霖不会不知道，其内心痛苦之状可想而知。

在赵家楼修葺后，曹汝霖及全家搬回北京仍居此处。但曹仍以天津居住为多。1922年，他于灯市口同福夹道又盖起一座新楼，东院有戏楼，甚为宏伟，后门则在箭厂胡同7号。11月，曹为父亲办“彩觞”堂会，大宴宾朋。直系上台后，因曹在北洋集团中属交通系，与皖系亲密，故他又搬到天津。同福夹道宅寓则租给丹麦公使作为公使馆，只留下后院，家人改从箭厂胡同后出入。1937年始将此处宅寓卖掉。

火烧赵家楼时曹汝霖到底在不在家，是一个至今也未搞清楚的谜团。一般都认为曹恰巧不在，学生们则痛殴了章宗祥。实际上，据后来考证，曹汝霖早就闻听“学生们要闹事”，在家与章宗祥、日本人中江丑吉（此人在学生痛打章宗祥时以身体护住，才使章侥幸活命）、警察总监吴炳湘一起密商如何对付学生（当时院中还有荷枪实弹的警察）。一种说法是学生们冲进来时，曹汝霖藏进两间卧室夹层的箱子间。但据曹氏仆人目睹：曹听到叫骂声后，溜出小后门直奔厨房，换上厨役的衣帽，又出东小门逃往东交民巷法国医院。

五四运动后的曹汝霖

五四运动前，曹汝霖曾集交通总长、财政总长、交通银行总理等数职于一身，是北洋政府权重一时的政客。 1919年的巴黎和会上，由于部分列强与日本事前签署了密约，协约国公然将战败国德国在山东的权益转让给日本，激起中国人民的强烈不满，从而引发了具有划时代意义的五四运动。当时，交通总长曹汝霖因负责把部分权益让予日本，与货币局总裁陆宗舆及驻日公使章宗祥并称为“三大卖国贼”。五四运动中一句著名口号即是“外争国权，内惩国贼”。“五四”当天，学生游行到赵家楼曹宅，曹汝霖躲了起来。学生误把当时在曹宅的章宗祥当成曹汝霖，痛打章氏一顿，并放火烧了曹宅，此即火烧赵家楼事件。后来，一些学生被抓，事件演变成大规模的罢课、罢工及罢市。6月10日，卖国贼曹、陆、章三人被免职。

“五四”过后，曹汝霖先在医院躲了几天，后搬到北海团城（当时由京绥铁路局看管）暂住。曹在这里足不出户，每天以写字打发时光，还改了个名字叫“觉厂”，有点闭门思过的意思。

五四运动时，曹汝霖42岁。此后他没再任过要职，似乎也没有东山再起的企图，而是热衷于慈善活动。每年冬天，曹家都向拉洋车的车夫施舍100套棉衣。施舍的方式也比较特别，每次由家里当差的抱着几套棉衣出门，看见街上有衣不蔽体的车夫，便雇他的车，拉到僻静的小胡同，叫车停下来，施舍给车夫一套，然后再去物色下一个对象。据说这个办法可以避免棉衣被人冒领。曹家还经常向人施舍棺木。

上世纪20年代，由曹汝霖发起，共有20多人出资，在阜城门内白塔寺沟沿建了一所医院，取名中央医院。医院落成并买进所需医疗器材后，尚余20万元，存在由曹汝霖代管的新亨银行。中央医院属于慈善性质，用这20万元支撑医院的开支，穷人来看病，一概不收医疗费。后来新亨银行倒闭，医院所剩的几万元，改存汇业银行。汇业银行歇业后，又改存中南银行。曹汝霖一直担任中央医院的院长、名誉院长等职，经费方面都由他筹措，冬季用煤也由他任董事长的井陉正丰煤矿公司供给。只有他到医院时，由医院给他的汽车灌满汽油，这就是他从医院得到的全部报酬。

曹汝霖主持中央医院达十余年，日军侵占华北后，曾想强占这家医院。曹去找日军交涉说:“这家医院原来是私人经营的，而且是慈善性质。”日军方罢手。日军接管了协和等医院后，一些名医如钟惠澜、周华康等不愿为侵略者卖命，纷纷被中央医院网罗过来。医院的妇产科，也在此时创建，由林巧稚大夫主持。抗战胜利后，曹汝霖辞去院长，请钟惠澜继任，他对钟说:“我本是个外行，维持了十几年，虽然没有成绩，但幸而没有大过。日本人在这里，我不能不顶着名字应付应付。现在日本人走了，还是你们几位专家多负些责任吧。”新中国成立后，中央医院由人民政府接管，更名为人民医院。

抗战军兴，曹汝霖曾公开表示要以“晚节挽回前誉之失”，不愿在日伪政权任职，不在自己被国人唾弃的历史上再加上卖国罪孽。据说日军在筹组华北伪政权时，一度曾把曹汝霖看做理想人选，但曹汝霖不为所动。后来，王克敏曾给他挂上“最高顾问”的虚衔，王揖唐出任伪华北政委会“委员长”时，又给曹汝霖挂了个“咨询委员”的空衔，但曹汝霖从不到职视事，也未参与汉奸卖国活动。北平沦陷前后，日本人特别注意拉拢北洋时期的高官显宦，如段祺瑞、吴佩孚、袁世凯之子袁克定、靳云鹏等，但这些人都拒绝了。

曹汝霖晚年在忆及五四运动时说:“此事距今四十余年，回想起来，于己于人，亦有好处。虽然于不明不白之中，牺牲了我们三人，却唤起了多数人的爱国心，总算得到代价。”