“烂鬼楼”的历史源由与一位名为杨若严的华侨有关：杨若严是一名富豪，他在19世纪中从美国来到澳门后，在今天的烂鬼楼巷与玫瑰里交界处建了一列西式楼房，并命其名为“兰桂楼”，而面向玫瑰里的一边则建有阳台（澳门人称之为“骑楼”）；今天玫瑰里又被称为“骑楼街”，便是因此而得名。由于中国人称呼西洋的东西为“鬼”，而兰桂楼是为西式建筑，故兰桂楼又被称为“鬼楼”。

　　烂鬼楼巷与玫瑰里交界及至杨若严返回美国，并将兰桂楼出售。由于当时澳门的“卖猪仔”行业（把华人贩卖出国充当劳工的行业）正值兴盛，所以“猪仔馆”纷纷在澳门设立，而兰桂楼也便被一名经营卖猪仔的商家买下；这位商家名叫汪茂，是一位从马来西亚来的华侨，专门经营把华工（猪仔）贩卖至古巴哈瓦那的生意；汪茂买下兰桂楼后便将其作为猪仔馆，并把准备出国的“猪仔”都囚在这里。后来一场大火把兰桂楼焚毁，并烧死30多名“猪仔”，而火灾后兰桂楼也被荒废，形成一片废墟；由于澳门人习惯上把损毁的东西形容为“烂”，是故便把兰桂楼的又称“鬼楼”前面再配上个“烂”字，变成“烂鬼楼”；这一方面强调兰桂楼的残破，另一方面取其正名的谐音（粤语中“烂鬼”和“兰桂”谐音）。

　　1869年7月26日澳葡政府有关当局刊宪命名街道时，便把兰桂楼门前的街道命为今名。