Иоанн родился в конце 9 века в семье благочестивых поселян в селе Скрино. Мальчик рано лишился родителей и в детстве стал работать пастухом. Однажды хозяин стада избил Иоанна за то, что тот потерял корову с теленком. Мальчик обратился с молитвой к Богу, и в ответ явилось чудо: пастух нашел пропажу, а затем перенес теленка через реку, идя по воде как по суше. Хозяин же, увидев это, щедро наградил отрока.
Позже Иоанн поступил послушником в один из близлежащих монастырей, где научился читать и писать, стал изучать богословские книги. Через некоторое время он принял иноческий постриг и уединился в лесу, поселившись в сплетенной из хвороста хижине. Однажды на его жилище напали разбойники, и Иоанн был вынужден переселиться в пещеру. Там он прожил 12 лет, творя молитвы и соблюдая пост. В конце концов слава о преподобном распространилась по свету, и к нему начали приходить больные, ища у него исцеления. Спасаясь от внимания людей, Иоанн перешел в другую пещеру, где подвизался семь лет, терпя искушения от бесов.
Но и это место пребывания святого стало известно. Вокруг пещеры Иоанна стали селиться паломники, искавшие уединения, и здесь возник монастырь. Сначала иноки жили в хижинах, затем возвели храм и соорудили кельи. Преподобный Иоанн стал игуменом обители, наставляя братию примером праведной жизни. Перед смертью святой избрал преемника, а сам удалился в пещеру, где провел последние пять лет жизни.
Спустя 30 лет после кончины Иоанн явился игумену Рыльского монастыря и велел перенести его мощи в город Средец (ныне — София). Мощи святого были обнаружены нетленными.