Quand le système admet-il une solution ?

L'image. Elle est engendrée par les colonnes de $M$ : $C_1=(1,0,1)$, $C_2=(2,1,3)$, $C_3=(3,1,4)$. On remarque

$$C_1+C_2=(1+2,0+1,1+3)=(3,1,4)=C_3,$$

donc $\mathrm{Im}f=\mathrm{Vect}(C_1,C_2)$. La famille $(C_1,C_2)$ est libre : $C_1$ et $C_2$ ne sont pas proportionnels (la deuxième coordonnée de $C_1$ est nulle, celle de $C_2$ ne l'est pas). Donc $\mathrm{rg}(M)=2$ et $\mathrm{Im}f$ est un plan.

La condition sur $Y$. Le système $MX=Y$ a une solution si et seulement si $Y\in \mathrm{Im}f$, c'est-à-dire s'il existe $a,b$ tels que $Y=a{C}_1+b{C}_2$ :

$$\{\begin{array}{rl}a+2b& =y_1\\ b& =y_2\\ a+3b& =y_3\end{array}$$

La deuxième ligne donne $b=y_2$, la première $a=y_1-2y_2$. En reportant dans la troisième :

$$a+3b=(y_1-2y_2)+3y_2=y_1+y_2.$$

Le système est donc compatible si et seulement si $y_3=y_1+y_2$.

Le nombre de solutions. Déterminons $\ker f$ : $MX=0$ s'écrit $x+2y+3z=0$ et $y+z=0$ (la troisième équation est la somme des deux premières, elle n'apporte rien). De $y=-z$ on tire $x=-2y-3z=2z-3z=-z$, donc

$$\ker f=\mathrm{Vect}((-1,-1,1)),\dim \ker f=1,$$

ce qui confirme le théorème du rang : $1+2=3$.

Lorsque $Y$ vérifie la condition, le système admet donc une infinité de solutions : si $X_0$ en est une, l'ensemble des solutions est $\{X_0+t(-1,-1,1)\mid t\in \mathbb{R}\}$, une droite. En effet $MX=M{X}_0⟺M(X-X_0)=0⟺X-X_0\in \ker f$.

Exemple. Pour $Y=(1,1,2)$, on a bien $2=1+1$ ; une solution est $X_0=(-1,1,0)$, car $-1+2+0=1$, $0+1+0=1$ et $-1+3+0=2$.