Tương truyền, lễ hội này có từ thế kỷ 2 trước Công nguyên. Khi nhà Hán xâm lược nước Nam Việt của con cháu Triệu Đà, nhà Triệu tan rã, thừa tướng nước Triệu là Lữ Gia lui quân về vùng núi Hải Lựu, Sông Lô - Vĩnh Phúc để tổ chức đánh giặc. Sau mỗi trận thắng, Lữ Gia lại cho tổ chức chọi trâu để động viên quân sĩ, trâu sau khi chọi được giết để khao quân. Sau khi Lữ Gia mất, dân làng Hải Lựu thờ làm thành hoàng làng và lễ hội chọi trâu cũng bắt đầu có từ đó.