Подвизался в египетской скитской пустыне в V веке в монастыре преподобного Пимена Великого. В эту обитель юный Иоанн пришел со своим братом Даниилом.
Вначале Иоанн подвизался без духовного руководителя, но Господь вразумил его, что строгие подвиги необходимо исполнять под наблюдением опытного в духовной жизни старца. Однажды преподобный Иоанн сказал брату, что не хочет заботиться об одежде и пище, а желает жить подобно Ангелам. Сняв одежды, он вышел из келлии. Ночью был сильный мороз, и обнаженный Иоанн вскоре начал стучаться в дверь келлии. Даниил не сразу открыл брату, сказав, что Ангел не заботится о своем теле. Понял преподобный Иоанн, что слишком понадеялся на себя и горько зарыдал.
После этого вразумления преподобный Иоанн пришел к преподобному Пимену, известному твердой и непреклонной волей, и, прося руководства, обещал во всем повиноваться. Испытывая терпение молодого инока, святой Пимен дал ему необычное послушание. Три года преподобный Иоанн носил воду и поливал засохшее дерево, и оно покрылось листвой, дало обильные плоды и получило название "дерево послушания".
Преподобный Иоанн впоследствии сам стал наставником многих людей на пути ко спасению, в том числе преподобного Арсения Великого, блаженной Таисии.
Незадолго до своей кончины перешел из скитской пустыни в монастырь преподобного Антония Великого и в нем почил (в первой трети V века).
Как сообщает эфиопский синаксарь, в 780 году монахи скитской пустыни из монастыря преподобного Макария Египетского, к тому времени уже перешедшие в монофизитство, решили перенести мощи преподобного Иоанна из монастыря преподобного Антония в свой монастырь. Подойдя к монастырю святого Антония, они убедились, что их намерение невыполнимо: мощи охранялись мелькитами, сторонниками православной церкви, которую поддерживали византийские императоры. Мелькиты постоянно пребывали в храме, где были мощи. Коптам помог арабский судья, в то время оказавшийся в монастыре. Он потребовал от мелькитского епископа, чтобы он повелел монахам выйти, потому что судья намерен войти в храм и остаться в нем на ночь. Епископ исполнил приказ судьи, и ночью коптским монахам взяли мощи преподобного Иоанна Колова, с которыми они отправились в Каир, а оттуда в скитскую пустыню.
