какие документы могут подтверждать факт нахождения моего ребенка на иждивении у моего второго мужа?

Это могут подтвердить любые документы, в первую очередь справка о том, что первый муж не платит алименты на ребенка, далее - справка из ДЭЗа о составе семьи, справки о заработной плате вашего второго мужа и ваша. Также это документы, удостоверяющие факты покупок для ребенка, сделанных вторым мужем. Это могут быть игрушки, одежда, путевки в лагеря, санатории и т.п.

Например, соглашение об уплате алиментов.

Вы не пишете, ДЛЯ ЧЕГО вам это нужно. Коллега из Ново-Николаевской коллегии не понял вопроса.
Если вам это подтверждение нужно для получения Лужковского пособия на второго ребенка (подтвердить, что первый ребенок воспитывается в семье), то нужна только справка с ДЕЗ (РЭУ, ЖЭК) о фактическом проживании ребенка. Бумажка неадекватная, но за шоколадку и 0,5 они такое нарисуют.
Если вам это нужно для суда по вопросу ребенка, то сюда сгодится все: в первую очередь - справка о доходах ваших и супруга. А так же чеки на крупные покупки для ребенка (товарные, с указанием наименования покупки) Уточните вопрос или задайте еще раз подробнее.