La leyenda narra que este lugar tenía su puerta frente a Olmos, Motupe, Jayanca y Pacora. El cerro encantaba y llamaba caballos y burros de Pacora, así como a chanchos y carneros. En una oportunidad los dueños de unos animales perdidos siguieron los rastros a fin de ubicarlos, pasando por Mórrope se encontraron con unos campesinos a quienes preguntaron si habían visto pasar animales como chanchos, caballos, burros, reses, cabrillos y carneros merinos. Los campesinos les contestaron que sí, que todos esos animales habían ido a dar al cerro de Casa Grande. Los dueños de los animales perdidos no creyeron lo que les contaron los campesinos morropanos y continuaron su camino siguiendo las huellas de los animales. Se encontraron después con unos médanos y los rastros continuaban hacia el otro lado. Desde lejos vieron el cerro con su puerta abierta. Eran seis personas las que iban en busca de sus animales perdidos. Entonces se dieron cuenta que dentro del cerro había personas que se dedicaban a la agricultura y a la crianza de animales. Se sorprendieron y regresaron a mirar por donde habían venido. De pronto todo el médano se había convertido en un algodonal. Se asustaron y regresaron dándose la mano porque poco a poco se iban hundiendo en la arena y no podían caminar; salieron gateando del médano y saltaron el camino. Allí recién creyeron lo que les habían dicho los campesinos morropanos. Entonces se pusieron de acuerdo para voltear la puerta de la huaca hacia el mar. Regresaron a buscar a los chamanes. El primer chamán que buscaron les dijo que tenían que ser doce chamanes . Ellos entonces buscaron a los once que faltaban. Al cuarto día, regresaron con los doce chamanes para voltear la puerta de la huaca hacia el mar. Los chamanes se pusieron de acuerdo para cazar al cerro a las doce del día cuando estaba durmiendo. Después de conseguirlo, se pusieron a brujear. Cuando el cerro despertó, ya estaba con la puerta hacia el mar. Después de cumplir con su trabajo, los chamanes regresaron a su domicilio. Pero a los cinco minutos de camino murió un chamán, siguieron caminando y murió otro. Cuando llegaron a Chochor murió otro chamán, llegando a Motupe murió otro; Avanzaron su camino, pero en Angolo murió otro, llegando a Colorada murió otro chamán, luego, al llegar a San Juan, murió otro, más adelante murió otro. En Pacora murió otro chamán, en Jayanca, otro. El último que llegó a Olmos y también murió.

Es una leyenda bastante conocida y difundida entre los pobladores del distrito de Mórrope.