簡単に言うと
高木馬之介という弓の名人がいて「自分が死んだ時は、この矢の落ちた所に埋め、墓所としてもらいたい。さすれば、諸人の悩みを聞いてやろう」と言って、本山寺の五重塔の上から西に向けて矢を放った。その矢は飛び続け遠く小岡に落ちた。そこで部落の人達が、その武勇を讃えて、後、高木神社としてお祀りした。
くわしくは
村黒町本村と、小岡を結ぶ堂免橋（どうめんばし）の橋上に立って、東を望むと眼前に、大きな松と樟（くすのき）のひときわ高く繁るのが見えた。樹下に古びた木造の小さな祠（ほこら）が祭られていたが、これが高木神社である。現在では、一ノ谷川改修にともない、川の右岸、県道ぞいに神社を新築遷宮し、境内は面目を一新している。
この神社の祭神は、高木馬之助という強力士である。この高木馬之助は、今から１５０年ぐらい前の人で、豪力無双、特にすぐれた腕力の持ち主であった。本山寺観音堂の捨柱を一人でもち上げて、その捨柱の下に敷かれていた草履（ぞうり）を引き出すほどの腕力を持っていたという。
また、弓の名人でもあって、「自分が死んだ時は、この矢が落ちた所に埋め、墓所としてもらいたい。さすれば、諸人の悩みを聞いてやろう」といって、本山寺の五重の塔の上から西に向かって矢を放った。その矢は遠く村黒までとびつづけ小岡に落ちた。それで部落の人々が、その武勇をたたえて、後、高木神社としてお祭りしたという。遠矢は、気流に乗ったからだとの話も聞くが、何としても不思議な話である。
（その後、小岡部落の信心なかたがたの奉納で、毎月陰暦一日には、幟を立てて、お祭りをしている。諸願がかなうとあって信者の数も多いという。）〔以上：昭和６０年発行観音寺市誌資料編より転記〕
尚、（ ）内の記述は、昭和から平成、令和への時の流れとともに古くなり、現在では、毎年９月１日を基本において「子ども相撲」を奉納するに至っている。