1947年8月6日,“南京路上好八连”前身——华东军区特务团四大队辎重连,在山东省莱阳县城西小园村组建。解放战争中,连队先后参加了淮海、渡江、上海等战役战斗。上海解放后,连队随大部队进驻上海,改编为内卫一团二营八连,负责在南京路等地巡逻执勤。
20世纪五六十年代,八连身处繁华都市,始终发扬艰苦奋斗的优良作风,逐渐形成了“节约五个一”“四个自己动手”等优良传统。木工箱、补鞋箱、理发箱“三箱”传家宝由此产生,并传承至今。
1961年,沈西蒙、漠雁、吕兴臣等以八连为原型创作了话剧《霓虹灯下的哨兵》。毛泽东、周恩来等党和国家领导人先后观看了话剧。毛泽东号召全军向八连学习,写下诗篇《八连颂》:“好八连,天下传。为什么?意志坚。为人民,几十年。拒腐蚀,永不沾……”
1963年,八连被国防部授予“南京路上好八连”称号。第二年,根据话剧改编的电影《霓虹灯下的哨兵》在全国公映。
随着使命任务的改变,八连不再担负在南京路执勤的任务,但他们的身影并没有从南京路上消失。每月10日、20日是八连的“为民服务日”。从1982年开始,每逢这两天,八连官兵都要来到南京路,为居民免费理发、补鞋、磨刀。从1983年开始,八连与南京东路街道云中居委会30多位孤老结对帮扶,定期上门为民服务。
2017年,八连换装转型成为一支新型特种作战力量,不到一年就完成了从“霓虹哨兵”到“特战尖兵”的转变。转型以来,八连出色完成进博会安保等任务。