在中国古代传统文化中，石有驱邪避凶的寓意，在遥远的石器时代，人类的许多工具、武器、原材料都源于石头，因此，先民对于石头有一种敬畏的心理，在考古中就发现许多以石头做为图腾进行崇拜的例子。正所谓名山出灵石，泰山位于神州大地的东方，主生主春，是五岳之尊，泰山的岩石自然而然地被认为具有灵性和神力。
相传在遥远的上古时期，黄帝和蚩尤都想雄霸中原，两个部落展开了斗争，一开始蚩尤把黄帝打得落荒而逃，蚩尤因为自己的武力而狂妄起来，仰天大叫：“天下谁能抵挡我的力量。”这话恰巧被女娲听到，女娲觉得蚩尤太嚣张，他从泰山取了一块石头，加以修炼，然后把这块石头降到蚩尤面前，只见这石头上写着“泰山石，敢当，”蚩尤见此立刻派兵攻击泰山石，可泰山石纹丝不动，后来黄帝和蚩尤大战时，也祭出泰山石，最终把蚩尤打败，蚩尤不在作乱，这“泰山石敢当”也成了人间的辟邪神石。
“石敢当”的文字出处，最早见于西汉史游的《急就章》中:“师猛虎，石敢当，所不侵，龙未央。”据说，石敢当是汉时的勇士，生平逢凶化吉，御侮防危。也有传说，石敢当前加泰山，其用意是借泰山之力以增威势。泰山的“泰”字，古为“太”，即“大”，太山就是大山，大山可以压妖镇邪，这是古人的观点。所以，后人凡在桥路冲煞之处，必然以石刻上其名字，用以避邪厌殃，保卫居民。
宋代在福建蒲田曾发掘出一块唐代大历五年（770年）的石刻，上有“石敢当，镇百鬼，压灾殃，官吏福，百姓康，同教盛，礼乐张”字样。明清至民国年间是石敢当信仰的鼎盛时期，已从埋石镇宅演变成立石于桥头要冲或砌于房屋墙壁。泰山石敢当是石敢当的传承与发展，是东岳崇拜与灵石崇拜的结合。“石敢当”发展到“泰山石敢当”后，从最初的镇宅化煞演变出了治病、门神、辟邪、防风等功能，其分布范围也更为广泛，以泰山为中都有泰山石敢当的碑石。可以说凡是有华人的地方就都有石敢当，逐渐传播到了世界各地。
在一块小石碑上刻上“石敢当”或“泰山石敢当”，立于桥道要冲或砌在房屋墙壁上，以抵挡道路冲煞，这样的习俗，在中国民间非常流行。