Panji Gumilang sendiri dikenal sebagai sosok yang kontroversial. Ia pernah menjadi tersangka kasus korupsi dana haji pada tahun 2003. Ia juga pernah menyatakan dirinya sebagai nabi terakhir dan mengaku memiliki ilmu gaib.
Pondok Pesantren Al Zaytun yang dipimpinnya juga sering disorot karena memiliki fasilitas mewah dan megah.
Selain itu, pondok pesantren ini juga memiliki aturan-aturan ketat bagi santrinya, seperti larangan menggunakan ponsel, internet, televisi, dan media massa lainnya. Oleh karena itu banyak orang tua mul;ai menarik anaknya dari pondodok Al Zyaitun orang tua takut anak nya ikut ajaran sesat.*