La fonction $\Gamma$ d'Euler

a) Le domaine de définition. La fonction $t\mapsto t^{x-1}{e}^{-t}$ est continue et positive sur $]0,+\infty [$, avec deux bornes à examiner.

• En $0^{+}$ : $e^{-t}\to 1$, donc $t^{x-1}{e}^{-t}\sim t^{x-1}=\frac{1}{t^{1-x}}$. L'intégrale de Riemann en borne finie ${\int }_0^1\frac{\mathrm{d}t}{t^{\alpha }}$ converge si et seulement si $\alpha <1$ ; ici $\alpha =1-x$, donc la condition est $1-x<1$, c'est-à-dire $x>0$.
• En $+\infty$ : quel que soit $x$, $t^{x-1}{e}^{-t}=o\left(\frac{1}{t^2}\right)$, car $t^{x+1}{e}^{-t}\to 0$ par croissances comparées. L'intégrale converge donc toujours en $+\infty$.

$\Gamma (x)$ existe donc exactement pour $x>0$, et la fonction est intégrable (elle est positive : convergence et intégrabilité coïncident, exercice 1).

b) L'équation fonctionnelle. Intégrons par parties sur $]0,+\infty [$, avec $u(t)=t^x$ et $v^{\prime }(t)=e^{-t}$ : $$\Gamma (x+1)={\int }_0^{+\infty }{t}^x{e}^{-t}\mathrm{d}t=[-t^x{e}^{-t}{]}_0^{+\infty }+x{\int }_0^{+\infty }{t}^{x-1}{e}^{-t}\mathrm{d}t=x\Gamma (x),$$ le crochet étant nul aux deux bornes : en $0$ parce que $x>0$ donne $t^x\to 0$, en $+\infty$ par croissances comparées. (L'existence des deux limites du produit aux bornes est précisément ce qui autorise l'intégration par parties sur un intervalle quelconque, et qui garantit que les deux intégrales sont de même nature.)

Enfin $\Gamma (1)={\int }_0^{+\infty }{e}^{-t}\mathrm{d}t=1$, et une récurrence immédiate donne $$\Gamma (n+1)=n\Gamma (n)=n(n-1)\cdots 1\cdot \Gamma (1)=n!.$$ $\Gamma$ prolonge la factorielle aux réels strictement positifs — décalée d'un cran, ce qui est une convention d'Euler dont on s'accommode.

c) La régularité, et la convexité. Posons $h(x,t)=t^{x-1}{e}^{-t}=e^{(x-1)\ln t}{e}^{-t}$. À $t$ fixé, $x\mapsto h(x,t)$ est de classe ${\mathcal{C}}^{\infty }$ sur $]0,+\infty [$, avec $$\frac{{\partial }^{k}h}{\partial x^k}(x,t)=(\ln t{)}^k{t}^{x-1}{e}^{-t}.$$ Pour appliquer le théorème d'extension à la classe ${\mathcal{C}}^k$, il faut dominer cette dérivée $k$-ième, indépendamment de $x$, sur un intervalle adapté — et l'on sait depuis l'exercice 7 qu'il ne faut pas espérer le faire sur l'ouvert tout entier. Plaçons-nous donc sur un segment $[a,b]\subset ]0,+\infty [$. Pour $x\in [a,b]$ :

• si $0<t\le 1$, la fonction $x\mapsto t^{x-1}$ est décroissante (car $\ln t\le 0$), donc $t^{x-1}\le t^{a-1}$ ;
• si $t\ge 1$, elle est croissante, donc $t^{x-1}\le t^{b-1}$.

D'où la domination, valable pour tout $x\in [a,b]$ : $$\left|\frac{{\partial }^{k}h}{\partial x^k}(x,t)\right|\le {\phi }_k(t):=|\ln t{|}^k\left(t^{a-1}{1}_{]0,1]}(t)+t^{b-1}{e}^{-t}{1}_{[1,+\infty [}(t)\right).$$ Cette fonction ${\phi }_k$ est intégrable : en $0^{+}$, $|\ln t{|}^k{t}^{a-1}=o\left(t^{\frac{a}{2}-1}\right)$ par croissances comparées, et $t^{\frac{a}{2}-1}$ est intégrable en $0$ puisque $1-\frac{a}{2}<1$ ; en $+\infty$, $|\ln t{|}^k{t}^{b-1}{e}^{-t}=o\left(\frac{1}{t^2}\right)$, toujours par croissances comparées.

Les hypothèses du théorème sont donc réunies sur chaque $[a,b]$, pour tout $k$ : $\Gamma$ est de classe ${\mathcal{C}}^{\infty }$ sur $]0,+\infty [$, avec $${\Gamma }^{(k)}(x)={\int }_0^{+\infty }(\ln t{)}^k{t}^{x-1}{e}^{-t}\mathrm{d}t.$$

La stricte convexité. Prenons $k=2$ : $${\Gamma }^{\prime \prime }(x)={\int }_0^{+\infty }(\ln t{)}^2{t}^{x-1}{e}^{-t}\mathrm{d}t.$$ L'intégrande est continu, positif, et non identiquement nul sur $]0,+\infty [$ (il ne s'annule qu'en $t=1$). D'après l'exercice 2 question d), une fonction continue positive d'intégrale nulle est identiquement nulle : ce n'est pas le cas ici, donc ${\Gamma }^{\prime \prime }(x)>0$ pour tout $x>0$. $\Gamma$ est strictement convexe sur $]0,+\infty [$. (C'est cette convexité qui, jointe à l'équation fonctionnelle et à $\Gamma (1)=1$, caractérise $\Gamma$ parmi toutes les fonctions qui prolongent la factorielle : c'est le théorème de Bohr–Mollerup, que nous ne démontrons pas.)

d) Le comportement en $0$. L'équation fonctionnelle se relit à l'envers : $$\Gamma (x)=\frac{\Gamma (x+1)}{x}(x>0).$$ Or $\Gamma$ est continue en $1$ d'après le c), et $x+1\to 1$ quand $x\to 0^{+}$ : donc $\Gamma (x+1)\to \Gamma (1)=1$. Par conséquent $$\Gamma (x)\sim \frac{1}{x}(x\to 0^{+}),$$ et en particulier $\Gamma (x)\to +\infty$. L'équation fonctionnelle, qui servait à monter d'un cran, sert aussi à descendre : c'est elle qui décrit le bord du domaine, et c'est elle qui permettra de prolonger $\Gamma$ aux réels négatifs non entiers.

Ce que l'exercice installe. Une intégrale à paramètre définit une fonction nouvelle, et l'on obtient tout d'elle sans jamais la calculer : l'équation fonctionnelle par une intégration par parties, la régularité par domination sur tout segment de l'ouvert, la convexité en regardant le signe de l'intégrande de ${\Gamma }^{\prime \prime }$, le comportement au bord par l'équation fonctionnelle elle-même. C'est le schéma complet du paragraphe « intégrales à paramètre », et il resservira tel quel au problème final.