Бодлер совершенно искренне восхищался Виктором Гюго-поэтом, но был более строг к его прозе. «Отверженные», опубликованные весной 1862 года, его разочаровали. Лестно отозвавшись о романе в газете «Бульвар» от 20 апреля, он осмелился, однако, написать, что среди персонажей этого «милосердного творения» есть «ужасный Жавер», который кажется довольно искусственным, ибо на службу в полицию людей приводит вовсе не «энтузиазм». Вывод: «Виктор Гюго стоит за Человека, но не против Бога. Он доверяет Господу и вместе с тем он не против Человека». Удовлетворенный приятным отзывом, Виктор Гюго напыщенно поблагодарил Бодлера в письме от 24 апреля: «Написать блестящую страницу — для Вас естественное дело. Возвышенные и сильные слова возникают у Вас в голове, как искры вылетают из пламени. „Отверженные“ явились для Вас поводом для глубокого и возвышенного исследования (…) Я уже не раз с удовольствием констатировал сходство Ваших и моих мыслей. Все мы вращаемся вокруг нашего великого Солнца, вокруг Идеала […] Для поэтов честь — подносить людям наполненные светом и жизнью священные кубки искусства. Именно так Вы и поступаете. То же самое пытаюсь делать и я. Мы с Вами посвятили себя служению прогрессу с помощью Истины».
Когда Виктор Гюго писал эти строки, он и не подозревал, какая лицемерная изворотливость понадобилась Бодлеру, чтобы расхваливать литературные и моральные достоинства «Отверженных». Свое истинное отношение к роману Шарль не скрывал от матери: «Книга эта нелепа и отвратительна. Она стала для меня поводом показать, что и я тоже обладаю умением лгать. Он написал мне, чтобы поблагодарить меня, просто смехотворное письмо. Это доказывает, что великий человек тоже может быть глупцом». Асселино вспоминал, как Бодлер с искаженным от гнева лицом поносил этот роман: «Что это за такие сентиментальные преступники, которые испытывают угрызения совести из-за копеечных краж, которые часами ведут диалоги с этой самой своей совестью и учреждают фонды поощрения добродетели? Разве эти люди рассуждают, как все остальные? Вот я, я напишу когда-нибудь роман, где выведу негодяя, но настоящего негодяя, убийцу, вора, поджигателя и пирата, а закончу такой фразой: „И под сенью этих посаженных мною деревьев, окруженный почитающей меня семьей, окруженный любящими детьми и обожающей меня женой, я спокойно вкушаю плоды моих преступлений“». И Асселино отмечал: «Книга [„Отверженные“] со всеми ее моральными фантазиями и свинцовыми парадоксами глубоко его возмущала. Он терпеть не мог фальшивой чувствительности, добродетельных преступников и ангелоподобных проституток». Не ограничиваясь критикой Виктора Гюго на публике, Бодлер пометил в своей записной книжке: «Гюго часто думает о Прометее. Он сажает воображаемого грифа себе на грудь, терзаемую лишь уколами тщеславия. […] У Гюго-жреца всегда опущенная голова — опущенная слишком низко, чтобы ничего не видеть, кроме собственного пупка».
Бодлер весьма остро реагировал на то, что книги Гюго вызывают восторг толпы, что их автор, стоя на своей скале, как на пьедестале, изображал из себя пророка и жертву, выказывал себя защитником бедноты, а сам купался в золоте. Виктор Гюго догадался в конце концов, что под маской восхищения скрывается неприязнь. Об этом ему сообщили друзья, оставшиеся в столице. Бодлер продолжал думать, что имеет право на уважение и благодарность мэтра, а тот уже задавался вопросом, не является ли автор «Цветов зла» фальшивым другом.
В том же письме, где Бодлер сообщал матери, стараясь ее просветить, о недостатках романа «Отверженные», он еще и жаловался на деградацию парижских литературных кругов: «Теперь это уже не тот чудесный и приятный мир, что был когда-то: художники не знают ничего, писатели не знают ничего, даже орфографии. Все эти люди стали отвратительными, теперь они, может быть, даже хуже, чем светская публика. Я превратился в старика, мумию, и на меня злятся за это, потому что я не такой безграмотный, как все остальные. Какое падение! Кроме д’Оревилли, Флобера и Сент-Бёва, невозможно ни с кем ни о чем разговаривать. Когда я рассуждаю о живописи, только Т. Готье способен меня понять. Жизнь мне стала отвратительна. Повторяю: хочу бежать от этих лиц, особенно — от французских».
Друзей у Бодлера становилось все меньше и меньше, и особенно чувствительным ударом явилась для него случившаяся 17 сентября 1863 года смерть Альфреда де Виньи. Рак желудка превратил последние месяцы жизни 66-летнего поэта в долгую нестерпимую пытку. Тем весомее с моральной точки зрения было его активное участие в тщетных хлопотах младшего собрата вокруг кресла Лакордера. Когда умер Делакруа [август 1863], Бодлер написал о «чувстве возрастающего одиночества», которое у него появилось уже после кончины Шатобриана [1848], Бальзака [1850]… И вот смерть Альфреда де Виньи: «В великом всенародном трауре обнаруживается всеобщий упадок сил и снижение жизнеспособности нации, некое затемнение интеллекта, сравнимое с затмением солнца, кратковременная репетиция конца света». И он с горечью замечал: «Впрочем, я полагаю, что все это особенно болезненно для высокомерных анахоретов… которым интеллектуальные связи дороже родственных уз».
Еще одно событие больно ударило Бодлера в ноябре 1862 года — финансовый крах и арест за долги Огюста Пуле-Маласси. Он посетил своего друга в тюрьме в Клиши, и оба они сетовали на трудные времена и несправедливость правосудия. В декабре Пуле-Маласси перевели в тюрьму Маделонетт, расположенную в квартале Тампль. Суд состоялся 22 апреля 1863 года, после пяти месяцев предварительного заключения. Издателя приговорили к месяцу тюрьмы за небрежную бухгалтерскую отчетность, он добился приемлемого соглашения с кредиторами и, как только оказался на свободе, тут же выехал в Бельгию.
Бодлер, после бегства из Франции своего друга, погрузился в глубокие раздумья. Почему бы и ему, по примеру Пуле-Маласси, тоже не уехать от кредиторов за границу? Переменить атмосферу, не видеть больше мрачные лица парижских бумагомарателей, обрести вдохновение в общении с новыми краями? Матери, которой не хотелось, чтобы он вспоминал в книге «Мое обнаженное сердце» о своих обидах, он резко ответил: «Именно так! Книга эта, о которой я столько мечтал, будет книгой обид. О матери и даже об отчиме я напишу, конечно, уважительно. Но, рассказывая о моем воспитании, о том, как складывались мои чувства и мысли, я хочу дать читателю почувствовать, что я всегда ощущал себя чуждым миру и его культам. Свой реальный талант дерзости я направлю против всей Франции. Я нуждаюсь в отмщении, как усталый человек нуждается в бане […] И разумеется, я опубликую „Мое обнаженное сердце“ только тогда, когда буду достаточно богат, чтобы, если понадобится, скрыться за пределами Франции».
А в ожидании «достаточного богатства», которое позволит ему окончательно покинуть родину, он решил поехать на несколько месяцев в Бельгию — чтобы посетить там «богатые частные галереи», чтобы читать там лекции, напечатать несколько статей в «Эндепанданс бельж», большой ежедневной брюссельской газете, а также провести переговоры с Лакруа и Фербокховеном, издателями Виктора Гюго, о публикации своих критических статей. Но на поездку у него не было денег. Уверенный в успехе своего предприятия, он написал маршалу Вайяну, министру императорского двора и искусств: «Вот уже давно, несмотря на мои заслуги и достоинства, я материально нуждаюсь из-за непопулярности […] Я являюсь автором „Цветов зла“, „Искусственного рая“ и т. д., и т. д., а также переводчиком произведений Эдгара По. Я внучатый племянник путешественника Левайяна и пасынок генерала Опика, который, если мне память не изменяет, имел честь быть Вам знакомым. Я собираюсь выехать на некоторое время из Франции и ожидаю от Вашей милости материальной помощи, чтобы совершить поездку». Подобная же просьба направлена им министру народного образования Виктору Дюрюи: «…я надеюсь, что Ваше превосходительство […] найдет возможным предоставить мне средства для путешествия. Полагаю, что даже если я и не смогу заработать что-нибудь в Бельгии, суммы в 600–700 франков будет достаточно». Отказ был полный со всех сторон.