Подобным указанием небес пренебречь было нельзя, и Оливье узнал про свое будущее так рано, что, вполне возможно, слово «юрист» было одно из первых произнесенных им. Его отдали в школу возле собора, он выучился грамоте, получал побои за ошибки, а по вечерам и даже по воскресеньям отец готовил его к блестящей карьере, сужденной ему после того, как он поучится в университете в Монпелье. Связей у его отца было мало, но те немногие, какие у него имелись, он усердно культивировал в поисках невесты и патрона для своего сына. Благодаря отдаленному родству он счел себя вправе вступить в переписку с Аннибалдусом ди Чеккани, епископом при папском дворе в Авиньоне с блестящим будущим, благодаря связям настолько же влиятельным, насколько никчемными они были у Нуайена-старшего. К этому времени отца сверх того начало тревожить поведение сына. Мальчик словно бы вознамерился ставить препоны желаниям своего родителя с помощью бесчисленных уловок. Он часто пропадал по нескольку дней, хотя и знал, какую порку получит по возвращении домой; он упрямо отказывался учиться; назойливо задавал вопросы, на которые отец — хороший, но необразованный человек — ответить не мог. Он крал птиц, грибы, плоды на землях, принадлежавших другим людям, так помногу, что на него жаловались. Следовали новые порки, столь же безрезультатные. Письмо монсеньору Чеккани, которому вскоре предстояло стать кардиналом, было, по сути, актом отчаяния, желанием передать мальчика в руки более весомого авторитета, который мог бы подавить, а при необходимости сломить дух, слишком упрямый, чтобы подчиняться ничем не подкрепленной отцовской воле.

Почему Чеккани в 1336 году согласился взять к себе четырнадцатилетнего Оливье, чтобы он трудился в окружении сложностей придворной жизни и богословской учености, остается неизвестным.