吕端进入中书后，依旧照章办事，对地位高于自己的两位宰相李昉和吕蒙正不卑不亢，对同僚和下属宽厚相待。

据说，经多见广的元老重臣赵普观察了他的行事风格后，说出了这样的评语：我观吕公上朝奏事，得到嘉奖未尝就喜，遇到抑压也未尝便惧，言行得当，不形于色，真乃台辅之器也！

的确，他的恬然大度出自内心，外圆而实则内方，自然得到有识者的叹服。

当日的一件事，便颇能说明赵普所言不虚：

淳化五年（994）九月，寇准从枢密院副长官转任参知政事，吕端虽然先入中书，却主动要求排在其下。

这得说明，寇准的本官为左谏议大夫，吕端则为右谏议大夫，位序倒是先左后右。

不过，自古官场上都极为看重排名先后，计较争执并不少见。

看到吕端如此谦让，太宗倒替他着想，当即将其官阶也改为左谏议大夫，以排在寇准之前。

君臣接触久了，太宗皇帝发自内心地欣赏吕参政，时常单独召见议事，一谈便是许久。

吕端渐渐在天子心中占据了独特的位置。

太宗晚年，对皇储的问题视为头等大事，皇位要顺利平稳交接，必须有可靠的人来主持朝政，以保驾护航。

此人须头脑清醒，能断大事，以坚定贯彻自己的意志和选择。

此时，宰相只有吕蒙正一人，以往重用过的故相赵普已亡，另外不久前还用过的两位宰相李昉和张齐贤，一个已是七旬多的平庸老臣，一个属性情粗放的汉子，两人显然都不符合要求。

唯有一手提拔的状元吕蒙正还算满意，但所谓知子莫若父，知臣莫若君，吕丞相学养深厚、儒雅洒脱，为人却不够果决，危急时刻恐怕难当大任。

因此，还得再起用一位宰相，这个人选当以吕端最为合适。

至道元年（995）四月间，太宗向吕丞相征求任用吕端入相的意见，吕蒙正认为：吕端为人糊涂。

这大概是朝臣们的普遍看法。

但太宗却说：吕端小事糊涂，大事不糊涂。

太宗皇帝从来独断专行，一旦做出决定，便不受外人影响，况且吕蒙正独居相位发此非议，反而引起了天子的疑心：是否意欲独揽大权？于是，在随后某天的后苑宴会上，太宗作《钓鱼诗》一首示意吕参政，其中有&ldo;欲饵金钩深未达，磻溪须问钓鱼人&rdo;之句，暗喻自己是求贤的周文王，而吕端则是垂钓溪边的姜子牙。

几天之后，天子的任免诏书下达，吕端升任宰相，而吕蒙正则罢相出局。

吕端独任宰相后，保持一贯风格，即老成持重，为政清简。

翌年，西北重镇灵州（今宁夏吴忠）遭到党项人的围攻，形势极为紧张。

天子便召宰相吕端与知枢密院事赵镕商议对策，命令分别提出解决方案，吕端却请求共同提出对策。

于是，有文臣上奏指责他缄口不言，是企图逃避责任。

对此，太宗置之不理。