Pequeño problema de teoría de números

Bueno, no sé bien qué esperas cuando pides una fórmula. Pero lo que puedo darte es una caracterización, o más bien, un método u algoritmo para determinar los posibles valores de X (la cantidad de personas en el grupo).

Cuando los números $a$ y $b$ son primos relativos [3] el problema está resuelto por el método chino [4] que se basa en el teorema chino del residuo. Para entender mejor estos resultados necesitas conocer la teoría de congruencias [5] ( a congruente con b módulo m).

 Por otro lado, cuando $a$ y $b$ no son primos relativos [3] lo que se puede hacer es lo siguiente:

• Calcular el máximo común divisor [6]de $a$ y $b$. Llamémos lo $g$.
• Verificar que $m+n$ se divisible entre $g$. Pues de lo contrario no habrá solución.
• Calcular el cociente [7] y residuo [8] de $m$ y $-n$ al dividirse entre $g$. Deben tener el mismo residuo, llámalo $r$. Y a los cocientes llámalos $m'$ y $-n'$.
• Resuelve el problema de encontrar $Y$ con residuo $m'$ y $n'$ al dividirse entre $a/g$ y $b/g$ respectivamente. Esto nuevamente se resuelve con el teorema chino del residuo, pues $a/g$ y $b/g$ son primos relativos [3].
• Por último, las soluciones $X$ serán de la forma $gY+r$. Donde $Y$ son las soluciones del paso anterior.

Bueno, espero y esto te sirva.

Saludos.