1910年3月7日，霍元甲的学生陈公哲、姚蟾伯、王维藩等在精武体操学校的基础上组成精武体育会，会所设在上海“万国商团中国义勇队”故址。该会以提介德育、智育、体育和“强国强民”为宗旨，以红、黄轱色星旗为会旗，公开吸收会员，传习推广武术。教师来自各家各派。该会还开展足球、篮球、台球、单杠、双杠、平台、自行车、摔跤等运动，同时设有京戏、音乐、书画、摄影等组。精武体育会还出版了《谭腿》、《达摩剑》、《功力拳》、《十字战》、《合战》等武述书籍，武术动作拍成电影放映。

1910年，精武体操会成立之初， 设在闸北王家宅的习武会馆