Так ничто не вечно под луною. Как раз таки говорилось, что очень многие отшельники возвращались или иногда выходили к людям. Иоанн Креститель жил в пустыне, об этом сказано в Евангелии.
То есть жил в пустыне, иногда выходил к людям, а потом начали к нему приходить ученики. И так часто бывает и со святыми угодниками Божьими.
Младенец же возрастал и укреплялся духом, и был в пустынях до дня явления своего Израилю.
Св. Евангелие от Луки 1:80