在处理婚外情双方都有家庭且涉及孩子的问题时，需要综合考虑法律、情感和孩子的利益。以下是具体的处理建议：

1. 确定抚养权：婚外情所生孩子的抚养权处理方式和婚生子女一样：不满两周岁的子女，以由母亲直接抚养为原则；已满两周岁的子女，抚养权由双方协商，协商不成由法院判决；已满八周岁的，尊重孩子真实意愿。

2. 承担抚养责任：男方至少应承担抚养非婚生子女的责任，由此引起的配偶与之离婚时的有过错责任。如果构成遗弃等罪名，还要负刑事责任。

3. 冷静沟通：面对婚外情及孩子的问题，双方需要冷静面对，避免过度冲动和情绪化的反应。通过坦诚的沟通，了解彼此的感受和想法，共同寻求解决问题的方法。

4. 考虑孩子利益：在处理孩子的问题时，应将孩子的利益放在首位。确保孩子能够在稳定的环境中成长，获得足够的关爱和教育。

5. 法律途径：如果双方无法达成一致，可以通过法律途径解决。例如，无过错方配偶可以收集相关证据，在诉讼中主张对方存在过错，并要求适当的赔偿。

6. 心理支持：婚外情及孩子的问题可能会给家庭成员带来心理压力。寻求专业的心理咨询和支持，帮助家庭成员应对情感上的困扰。

综上所述，处理婚外情双方都有家庭且涉及孩子的问题需要谨慎和理智。通过合法、合理的方式解决，确保孩子的利益得到最大化的保护。