林连玉老师逝世后，当时就有建设林连玉纪念馆的倡议。只不过由于种种原因，历经20余年波折，直到2007年，林连玉基金修改章程并扩大队伍后，才有条件开展林连玉纪念馆的筹款及建设工作。 从2007年至2010年，透过全国各地多项筹款活动，林连玉基金得到华社群众大力支持，筹获马币448万元，并在2011年购得坐落于吉隆坡马哈拉惹里拉路（Jalan Maharajalela）的一座五层半大厦，耗资465万。此地位处吉隆坡传统华人文化中心纽带，交通方便，是建馆的理想地点。