Tương truyền, chùa Dâu được xây dựng rất sớm vào buổi đầu Công nguyên, khoảng năm 187, hoàn thành năm 226.