上海市伊斯兰教协会会址设在黄浦区西仓桥街117号。

1962年8月21日，上海市伊斯兰教第一次代表大会召开，决议成立上海市伊斯兰教协会。出席代表176人，选举产生第一届委员会。沙彦楷当选伊协主任，杨叔平、王子平、马人斌为副主任，马人斌兼秘书长。1966年受“文化大革命”影响，上海市伊斯兰教协会停止活动。1979年7月，恢复工作。

1982年12月，上海市伊斯兰教协会召开第二次代表会议。出席代表320人，选举产生第二届委员会，马人斌当选为主任，王有琪、何克明、刘斌为副主任，刘斌兼任秘书长。

1986年7月29日，上海市伊斯兰教协会召开第三次代表会议。出席代表187人，选举产生第三届委员会，马人斌当选为主任，买哈木提、阮强、王志去当选为副主任，阮强兼任秘书长。

1990年12月6日，上海市伊斯兰教协会召开第四届代表会议，出席代表237人。选举产生第四届委员会，马人斌当选为会长，买哈木提，王志去、金幼云为副会长，张志诚为秘书长。

1995年9月11日，上海市伊斯兰教协会召开第五次代表会议，出席代表120人。选举产生第五届委员会，金幼云当选为会长，金宏伟、白润生、王志云为副会长，马燕诚为秘书长。

1999年6月28日至29日，上海市伊斯兰教协会召开第六次代表会议，选举产生第六届委员会。马人斌、金幼云当选为上海市伊斯兰教协会名誉会长，白润生当选为会长，金宏伟为副会长兼秘书长，哈士俊为副会长。

2004年9月28日至29日，上海伊斯兰教召开第七次代表会议，选举产生第七届委员会。白润生当选为会长，火恩杰、金宏伟、方宗伟、郭绪勤为副会长，方宗伟兼任秘书长。

2012年2月，上海市伊斯兰教协会召开第八次代表会议，选举产生第八届委员会。金宏伟当选为会长，白润生、方宗伟、花以友、赵学义为副会长，方宗伟兼任秘书长。

2017年2月25日，上海市伊斯兰教协召开第九次代表会议。选举产生第九届委员会。金宏伟当选为会长，白润生、阿扎提、赵学义、丁俊、郭立忠为副会长，阿扎提兼任秘书长。