Григорий Григорьевич Гагарин первым браком был женат на Анне Николаевне урожденной Долгоруковой. Она скончалась в 1845 году при родах дочери Екатерины (1845-1920)
В 1848 году Г.Г.Гагарин женился на Софье Андреевне урожденной Дашковой (1822-1908). От этого брака у них было шестеро детей: три сына и три дочери.