Pequeño problema de teoría de números

Bueno, no sé bien qué esperas cuando pides una fórmula. Pero lo que puedo darte es una caracterización, o más bien, un método u algoritmo para determinar los posibles valores de X (la cantidad de personas en el grupo).

Cuando los números $a$ y $b$ son primos relativos el problema está resuelto por el método chino que se basa en el teorema chino del residuo. Para entender mejor estos resultados necesitas conocer la teoría de congruencias ( a congruente con b módulo m).

 Por otro lado, cuando $a$ y $b$ no son primos relativos lo que se puede hacer es lo siguiente:

• Calcular el máximo común divisor de $a$ y $b$. Llamémos lo $g$.
• Verificar que $m+n$ se divisible entre $g$. Pues de lo contrario no habrá solución.
• Calcular el cociente y residuo de $m$ y $-n$ al dividirse entre $g$. Deben tener el mismo residuo, llámalo $r$. Y a los cocientes llámalos $m'$ y $-n'$.
• Resuelve el problema de encontrar $Y$ con residuo $m'$ y $n'$ al dividirse entre $a/g$ y $b/g$ respectivamente. Esto nuevamente se resuelve con el teorema chino del residuo, pues $a/g$ y $b/g$ son primos relativos.
• Por último, las soluciones $X$ serán de la forma $gY+r$. Donde $Y$ son las soluciones del paso anterior.

Bueno, espero y esto te sirva.

Saludos.