\documentclass[XUPS,XML,SOM,Unicode,francais,NoFloatCountersInSection,ThmDefs]{cedram}
\OneNumberAllTheorems
\setcounter{tocdepth}{2}
%\XUPScorrections
\usepackage{../xups07}
\graphicspath{{xups07-01_figures}}

\makeindex

\begin{DefTralics}
\let\newline\relax
\end{DefTralics}

\hyphenation{poly-nô-me poly-nô-mes}
\begin{document}
\frontmatter

\title[Valeurs aux entiers des formes quadratiques binaires]{Points de vue sur\nobreakspace les\nobreakspace valeurs\nobreakspace aux\nobreakspace entiers des\nobreakspace formes\nobreakspace quadratiques\nobreakspace binaires}

\author[\initial{F.} \lastname{Dal'Bo}]{\firstname{Françoise} \lastname{Dal'Bo}}
\address{Institut de Recherche Mathématique de Rennes, UMR 6625 CNRS, Campus de Beaulieu, Université Rennes 1, 35042 Rennes Cedex, France}
\email{francoise.dalbo@univ-rennes1.fr}

\thanks{Journées X-UPS 2007. Systèmes dynamiques, groupes de matrices et applications arithmétiques. Éditions de l'École polytechnique, 2007}

\maketitle
\tableofcontents

\mainmatter
Le but de ce texte est de motiver la présence de l'hypothèse $n>2$ dans la conjecture d'Oppenheim. Plus précisément, nous nous proposons, au travers d'exemples explicites, de montrer qu'en dimension~$2$, l'adhérence de l'ensemble des valeurs prises aux points entiers par une forme quadratique irrationnelle, non dégénérée et indéfinie, peut être très variée. Pour mettre en lumière la richesse de ces ensembles, nous développons trois points de vue: le premier est arithmétique (paragraphes \ref{developpement} et \ref{petites}); le deuxième est dynamique et met en jeu une action du groupe $\SL{2}{\ZZ}$ (paragraphe \ref{Action}); quant au troisième, il repose sur un lien entre les formes quadratiques et des trajectoires sur l'espace quotient $\SL{2}{\RR} / \SL{2}{\ZZ}$ (paragraphe \ref{trajectoires}). L'étude topologique de cet espace sera approfondie dans \cite{Pau}. Ce dernier point de vue sur les trajectoires sera développé dans \cite{Cou} en dimension $n\geq3$ pour démontrer la conjecture d'Oppenheim.

\section{Sur le développement en fractions continues} \label{developpement}

La principale motivation en théorie élémentaire des approximations diophantiennes est de limiter l'erreur entre un réel et ses valeurs approchées. Un des problèmes consiste à chercher la meilleure fonction (au sens du comportement asymptotique) $f: \NN \to \RR_{+}^*$ décroissante vers $0$, telle que pour tout irrationnel $y$, dans une classe donnée, il~existe une suite de rationnels irréductibles $(\sfrac{p_{n}}{q_{n}})_{n\in \NN}$ vérifiant
$$
\Big|y- \frac{p_{n}}{q_{n}}\Big|\leq f (|q_{n}|) \quad\text{et}\quad \lim_{n\to +\infty} |q_{n}|=+\infty.
$$
Depuis les travaux de Gustave Lejeune-Dirichlet, on sait que parmi toutes les suites de rationnels convergeant vers $x$, celle de \emph{meilleure approximation} est construite à partir d'un algorithme utilisé à l'origine par Euclide pour calculer le plus grand diviseur commun entre deux entiers naturels. Comme nous allons le montrer, cette suite est reliée au \emph{développement en fractions continues} des réels (voir aussi par exemple les livres \cite{HW,Khi}). L'objet de ce paragraphe est de démontrer les principaux résultats sur cette approche des nombres et de la relier à l'étude des valeurs prises aux points entiers par une famille de formes quadratiques sur $\RR^2$.

\smallskip

Fixons un nombre irrationnel $x$ et posons $x_{0}=x$, $n_{0}=E (x_{0})$, où $E(x)$ désigne la partie entière de $x$. Pour tout entier $i\geq 1$, on définit~$x_{i}$ et~$n_{i}$ par récurrence de la façon suivante:
$$
x_{i} =\frac{1}{ (x_{i-1}-n_{i-1})}\quad\text{et}\quad n_{i}=E (x_{i}).
$$
Remarquons que pour $i\geq 1$, le réel $x_i$ est un irrationnel strictement supérieur à~$1$ et que l'entier $n_i$ est strictement positif. Par exemple, si $x=\sqrt{2}$, on obtient $n_0 =1$, et $n_i=2$ quelque soit $i\geq 1$. Si $x$ est le \emph{nombre d'or}\index{nombre!d'or} $\phi = \frac{1 + \sqrt{5}}{2}$, alors $n_i=1$ pour tout $i\geq 0$.

\smallskip

Introduisons deux suites d'entiers $(p_k)_{k\geq -1}$ et $(q_k)_{k\geq -1}$ définies en posant $p_{-1}=1$, $q_{-1}=0$, $p_0=n_0$, $q_0=1$ et pour tout entier $k\geq 0$,
$$
p_{k+1}=n_{k+1}p_k+p_{k-1} \quad\text{et}\quad q_{k+1}=n_{k+1}q_k+q_{k-1}.
$$
Cette relation entraîne que la suite $(q_k)_{k\geq 0}$ est croissante et strictement positive (et que $(q_k)_{k\geq 1}$ est strictement croissante). Si $x>0$, alors la suite $(p_k)_{k\geq 0}$ est positive, croissante (et $(p_k)_{k\geq 1}$ est strictement positive, strictement croissante). Si $x<0$, alors la suite $(p_k)_{k\geq 0}$ est négative, décroissante (et~$(p_k)_{k\geq 2}$ est strictement négative, strictement décroissante).

On vérifie par récurrence que ces deux suites satisfont, pour tout $k \geq 0$, la relation
$$
p_k q_{k-1}- q_k p_{k-1}=(-1)^{k-1}.
$$

Les suites $(p_k)_{k\geq -1}$ et $(q_k)_{k\geq -1}$ sont reliées aux coefficients d'une suite d'homographies. Pour le voir, introduisons, pour tout entier naturel $i$, l'homographie $h_i:\wh\RR=\RR\cup\{\infty\}\ra\wh\RR$ définie par \hbox{$h_i(\infty)=n_i$}, $h_i(0)=\infty$ et sinon
$$
h_i(y)= \frac{n_iy + 1}{y}.
$$
Par construction, on a $x_i=h_i(x_{i+1})$ et donc
$$
x= h_0 h_1\cdots h_i (x_{i+1}).
$$

Pour $k \geq 0$, posons $g_k=h_0 h_1\cdots h_{k}$. On vérifie par récurrence que l'homographie $g_k$ s'écrit sous la forme
$$
g_k:y\mto\frac{p_{k}y +p_{k-1}}{q_{k} y + q_{k-1}}.
$$

Pour obtenir des valeurs approchées rationnelles de $x$, nous allons nous intéresser à la suite $(\sfrac{p_k}{q_k})_{k\geq 0}$. Le rationnel $\sfrac{p_k}{q_k}=g_k(\infty)= h_0 h_1\cdots h_{k}(\infty)$ s'écrit sous la forme
$$
\frac{p_k}{q_k} = n_0 + \cfrac{1}{n_1 + \cfrac{1} {n_2 + \genfrac{}{}{0pt}{0}{\,}{\ddots \genfrac{}{}{0pt}{0}{\,}{ + \cfrac{1}{n_{k-1}+\cfrac{1}{n_k}}} }}}.
$$
En utilisant cette écriture, on montre facilement, puisque $n_i>0$ pour $i\geq\nobreak1$, que la suite $(\sfrac{p_{2k}}{q_{2k}})_{k\geq 0}$ est croissante, tandis que $(\sfrac{p_{2k+1}}{q_{2k+1}})_{k\geq 0}$ est décroissante. Par ailleurs, $x = g_k(x_{k+1})$ et $x_{k+1} > n_{k+1}$, donc
$$
\Big|x-\frac{p_k}{q_k}\Big|< \frac{1}{q_k(q_kn_{k+1}+q_{k-1})} =\frac{1}{q_kq_{k+1}}.
$$
On déduit de cette inégalité le théorème suivant qui montre en particulier que la suite $(\sfrac{p_k}{q_k})_{k\geq 0}$ est adjacente (\ie que les suites extraites paires et impaires sont monotones et convergent vers la même limite).

\begin{theo} \label{theo1}
La suite $(\sfrac{p_k}{q_k})_{k\geq 0}$ converge vers $x$ et vérifie l'inégalité de Dirichlet
$$
\Big|x-\frac{p_k}{q_k}\Big|<\frac{1}{q_k^2}\,.
$$
\end{theo}

Cette inégalité joue un rôle important en théorie des nombres. Historiquement, elle permit par exemple à Lagrange d'établir l'existence de solutions pour l'équation de \emph{Pell-Fermat}\index{equation@équation de Pell-Fermat}\index{Pell-Fermat} $X^2-AY^2=1$, où $A$ est un entier positif non nul et non carré parfait (voir par exemple \cite{Ita}).

\begin{defi} La suite $(\sfrac{p_k}{q_k})_{k\geq 0}$ est appelée la \emph{suite de meilleure approximation}\index{suite de meilleure approximation} de $x$ et la suite $(n_i)_{i\geq 0}$ le \emph{développement en fractions continues}\index{developpement@développement!en fractions continues} de~$x$.
\end{defi}

L'inégalité de Dirichlet n'est pas optimale, on peut en effet l'améliorer en montrant par exemple (voir \cite{HW,Khi} pour une démonstration) que pour tout $k\geq0$
\begin{equation}\label{eq:I}
\Big|x-\frac{p_k}{q_k}\Big|<\frac{1}{2{q_k}^2}.
\end{equation}

Comme le montre la proposition suivante, l'inégalité \eqref{eq:I} caractérise les rationnels $\sfrac{p_k}{q_k}$ et motive la terminologie: suite de \emph{meilleure approximation}\index{meilleure approximation}.

\begin{prop} \label{meilleure}
Soit $\sfrac{a}{b}$ un rationnel avec $a,b$ premiers entre eux, et $b>0$. Si
$$
\Big|x-\frac{a}{b}\Big| < \frac{1}{2b^2},
$$
alors $\sfrac{a}{b}$ est un terme de la suite de meilleure approximation de~$x$.
\end{prop}

\begin{proof}
Soit $\sfrac{a}{b}$ un rationnel vérifiant les hypothèses de la proposition. Commençons par montrer que si $\sfrac{c}{d} \neq \sfrac{a}{b}$ ($d>0$) est un rationnel vérifiant
\begin{equation}\label{eq:Iprime}
\left|dx-c\right| \leq \left|bx-a\right|,
\end{equation}
alors $d>b$.

Supposons donc que l'inégalité \eqref{eq:Iprime} soit vérifiée. On obtient
$$
\Big|x- \frac{c}{d}\Big| < \frac{1}{2bd}.
$$
Par conséquent
$$
\Big| \frac{c}{d}- \frac{a}{b}\Big| \leq \Big| \frac{c}{d}-x\Big|+ \Big|x- \frac{a}{b}\Big|< \frac{b+d}{2{b^2}d}.
$$
Par ailleurs, puisque $\sfrac{c}{d} \neq \sfrac{a}{b}$, on a
$$
\Big| \frac{c}{d}- \frac{a}{b}\Big| \geq \frac{1}{bd}.
$$
donc $d>b$.

\smallskip

Montrons à présent que le rationnel $\sfrac{a}{b}$ est un terme $\sfrac{p_k}{q_k}$ de la suite de meilleure approximation de $x$.

Soit $n_0$ la partie entière de $x$, remarquons que $\sfrac{a}{b}\geq n_0$. En effet, si ce n'est pas le cas, on a
$$
\left| x- n_0\right| < \Big| x- \frac{a}{b}\Big| \leq \left|bx- a\right|,
$$
ce qui est impossible par \eqref{eq:Iprime} car $b\geq1$. On en déduit, puisque la suite $(\sfrac{p_k}{q_k})_{k\geq0}$ est adjacente, que $\sfrac{a}{b}$ est soit compris entre deux termes de la forme $\sfrac{p_{k-1}}{q_{k-1}}$ et $\sfrac{p_{k+1}}{q_{k+1}}$, avec $k>0$, soit strictement supérieur à $\sfrac{p_1}{q_1}$. Commençons par le premier cas en supposant par l'absurde que $\sfrac{a}{b}$ n'est pas un terme de la suite de meilleure approximation de $x$. On a
$$
\Big| \frac{a}{b}- \frac{p_{k-1}}{q_{k-1}}\Big| \geq \frac{1}{bq_{k-1}},
$$
par ailleurs
$$
\Big| \frac{a}{b}- \frac{p_{k-1}}{q_{k-1}}\Big| < \Big| \frac{p_k}{q_k} - \frac{p_{k-1}}{q_{k-1}}\Big| =\frac{1}{q_k q_{k-1}},
$$
donc $b>q_k$.

\smallskip

D'un autre côté, on a
$$
\Big| x- \frac{a}{b}\Big| \geq \Big| \frac{p_{k+1}}{q_{k+1}} - \frac{a}{b} \Big| \geq \frac{1}{bq_{k+1}},
$$
donc
$$
\left| bx- a \right| \geq \frac{1}{q_{k+1}}.
$$
Puisque $ \left| q_k x- p_k \right| \leq \sfrac{1}{q_{k+1}}$, on obtient
$$
\left| q_k x- p_k \right| \leq \left| bx- a \right|,
$$
ce qui est impossible par \eqref{eq:Iprime} car $b>q_k$.

Il reste le cas $\sfrac{a}{b}>\sfrac{p_1}{q_1}$. Sous cette hypothèse on a
$$
\Big| x- \frac{a}{b}\Big| > \Big| \frac{p_1}{q_1}- \frac{a}{b}\Big| \geq \frac{1}{bq_1},
$$
donc $\left| bx- a\right| >\sfrac{1}{q_1}$.

Soit $n_1$ la partie entière de $\sfrac{1}{(x-n_0)}$. On a
$$
\left| x- n_0 \right| \leq \frac{1}{n_1}.
$$
Remarquons que $q_1=n_1$ donc
$$
\left| bx-a \right| > \left| x-n_0\right|,
$$
ce qui par l'inéquation \eqref{eq:Iprime} est impossible car $1\leq b$.
\end{proof}

L'inégalité de Dirichlet nous conduit naturellement à associer à chaque irrationnel $y$ le nombre réel positif ou nul $\nu(y)$ qui est la borne inférieure des $c>0$ tels qu'il existe une infinité de rationnels $\sfrac{p}{q}$ vérifiant
$$
\Big|y- \frac{p}{q} \Big|\leq \frac{c}{q^2}.
$$
D'après l'inégalité \eqref{eq:I}, on a $0\leq \nu(y)\leq \sfrac{1}{2}$.

\smallskip
Plus précisément, on peut montrer que la borne supérieure des $\nu(y)$ prise sur les irrationnels $y$ est égale à $\sfrac{1}{\sqrt{5}}$ et est atteinte par exemple par le nombre d'or $\phi = \frac{1 + \sqrt{5}}{2}$ (voir \cite{HW,Khi} pour une démonstration).

\begin{defi}\ Soit $y$ un irrationnel.
\begin{itemize}
\item
Si $\nu(y)> 0$, alors $y$ est dit mal approché. \index{mal approchable}\index{nombre!mal approchable}

\item
Si $\nu(y)=0$, alors $y$ est dit bien approché. \index{bien approchable}\index{nombre!bien approchable}
\end{itemize}
\end{defi}

\begin{defi} \label{supinf}
Soit $y$ un irrationnel. Si pour tout $\epsilon >0$, il existe un rationnel~$\sfrac{p}{q}$ vérifiant
$$
y - \frac{p}{q}< 0 \quad (\resp\ y - \frac{p}{q} > 0) \quad \text{et} \quad \Big| y- \frac{p}{q} \Big| \leq \frac{\epsilon}{q^2},
$$
alors $y$ est dit supérieurement (\resp inférieurement) bien approché. \index{bien approchable!supérieurement} \index{nombre!bien approchable!supérieurement} \index{bien approchable!inférieurement} \index{nombre!bien approchable!inférieurement}
\end{defi}

\bexem\label{exem2}\mbox{}
\begin{enumeratei}
\item\label{exem2i}
Le nombre $\sqrt{2}$ est mal approché. Plus précisément, pour tous $p\in \ZZ$ et $q\in \NN\moins\{0\}$, on a
$$
| \sqrt{2} -p/q| \geq 1/(4 q^2).
$$
En effet, cette inégalité est clairement vérifiée si $|\sqrt{2} -p/q| \geq 1$. Sinon, on a $0<\sfrac{p}{q}< \sqrt{2} +1$, donc $0<\sqrt{2} +p/q < 4$. Par ailleurs, comme $\sqrt{2}$ est irrationnel, on a $| \sqrt{2} -p/q|\,| \sqrt{2} +p/q|>\sfrac{1}{q^2}$, ce qui implique l'inégalité recherchée.

\item\label{exem2ii}
Soit $\ell$ le \emph{nombre de Liouville}\index{nombre!de Liouville} égal à $\sum_{k=1}^{+\infty} 10^{-k!}$. Pour $n \geq 1$, posons $q_n=10^{-n!}$ et $\sfrac{p_n}{q_n}= \sum_{k=1}^n 10^{-k!}$. On a
$$
0 < \ell-\frac{p_n}{q_n} \leq \frac{1}{{q_n}^n},
$$
donc $\ell$ est inférieurement bien approché.
\end{enumeratei}
\eexem

L'exemple \eqref{exem2ii} montre que pour $\ell$, la vitesse de convergence de la suite de meilleure approximation $(\sfrac{p_k}{q_k})_ {k \geq0}$ est bien plus rapide que $\sfrac{1}{{q_k}^2}$. Ce phénomène a été mis en évidence par Klaus F\ptbl Roth dans un cadre général, et est relié à la propriété de transcendance de $\ell$ (voir \cite{HW}).

\begin{rema} \label{h(x)}Soit $h:\wh\RR\ra\wh\RR$ une homographie définie par $h(y)=\frac{ay+b}{cy+d}$, où $a,b,c, d$ sont des entiers vérifiant $ad-bc = \pm 1$. Pour tout irrationnel $x$, on a
$$
\nu(x)=\nu(h(x)).
$$
En particulier si $x$ est bien approché, alors $h(x)$ l'est aussi.
\end{rema}

\begin{proof}
Soit $\big(\sfrac{p_n}{q_n}\big)_{n \geq0}$ une suite de rationnels vérifiant $\lim\left|q_n\right|=+\infty$ telle que la suite $\big(q_n^2\big| x- \sfrac{p_n}{q_n} \big|\big)_{n\geq0}$ converge vers un réel $\alpha$. Posons $P_n=ap_n+ bq_n$ et $Q_n=cp_n+dq_n$. On peut supposer $Q_n \neq 0$. On a
$$
h\Big(\frac{p_n}{q_n}\Big)= \frac{P_n}{Q_n}.
$$
On vérifie par un simple calcul la relation suivante
$$
\Big| h(x)- \frac{P_n}{Q_n} \Big| = \frac{1}{\left| cx+d \right|}\, \frac{1}{\left| Q_n \right|} \,\left| q_nx- p_n \right|.
$$
Donc
$$
Q_n^2\, \Big| h(x)- \frac{P_n}{Q_n} \Big| = \frac{1}{\left| cx+d \right|} \,\Big| c \,\frac{p_n}{q_n}+d \Big| q_n \left| q_nx-p_n \right|.
$$
Par conséquent,
$$
\lim_{n\to +\infty} Q_n^2\,\Big| h(x)- \frac{P_n}{Q_n} \Big| = \alpha.
$$
Ceci entraîne que $\nu(h(x))\leq \nu(x)$, et donc $\nu(h(x))=\nu(x)$, en remplaçant~$x$ par $h(x)$ et $h$ par $h^{-1}$.
\end{proof}

Le caractère bien approché d'un irrationnel $x$ se lit sur son développement en fractions continues et sur sa suite de meilleure approximation.

\begin{theo}\label{theoQ}
Soient $x$ un irrationnel, $(n_{i})_{i\geq0}$ son développement en fractions continues et $(\sfrac{p_k}{q_k})_{k\geq 0}$ sa suite de meilleure approximation.

\pagebreak[2]
Les propriétés suivantes sont équivalentes:
\begin{enumeratei}
\item\label{equiv-i}
La suite $(n_{2i+1})_{i\geq0}$ (\resp $(n_{2i})_{i\geq0}$) n'est pas bornée.

\item\label{equiv-ii}
Le réel $0$ est une valeur d'adhérence de la suite
\[
(p_{2i}q_{2i}-x {q_{2i}}^2)_{i\geq0}\quad (\text{\resp }(p_{2i+1}q_{2i+1}-x {q_{2i+1}}^2)_{i\geq0}).
\]

\item\label{equiv-iii}
Le réel $x$ est inférieurement (\resp supérieurement) bien ap\-pro\-ché.
\end{enumeratei}
\end{theo}

\begin{proof}
Pour tous les entiers $n$ et $m$, introduisons la quantité
$$
Q(n,m)=nm-xm^2.
$$
En utilisant la relation
$$
x= \frac{p_{k}x_{k+1} + p_{k-1}}{q_{k} x_{k+1} + q_{k-1}},
$$
on obtient l'égalité
\begin{equation}\label{eq:E} Q(p_k,q_k)=\frac{(-1)^{k+1}}{x_{k+1}+{\sfrac{q_{k-1}}{q_k}}}.
\end{equation}
De plus, pour $k\geq1$, on a $n_{k+1}<x_{k+1}<n_{k+1}+1$ et $0<q_{k-1}\leq q_k$, donc
\begin{equation}\label{eq:Iseconde} \frac{1}{n_{k+1}+2}<|Q(p_k,q_k)|<\frac{1}{n_{k+1}}.
\end{equation}
L'équivalence des assertions \eqref{equiv-i} et \eqref{equiv-ii} se déduit de \eqref{eq:E} et \eqref{eq:Iseconde}.

L'implication $\eqref{equiv-ii}\implique\eqref{equiv-iii}$ découle de la définition \ref{supinf} et de la position de~$\sfrac{p_k}{q_k}$ par rapport à~$x$.

\smallskip

Démontrons que \eqref{equiv-iii} entraîne \eqref{equiv-ii}. Pour cela, supposons que~$x$ soit bien approché par exemple inférieurement. Par hypothèse, il existe une suite non stationnaire de rationnels irréductibles $(\sfrac{p'_n}{q'_n})_{n\geq 0}$, avec $q'_n >0$, telle que $(Q(p'_n,q'_n))_{n\geq 0}$ converge vers $0$ par valeurs négatives. Pour $n$ assez grand, le rationnel $\sfrac{p'_n}{q'_n}$ vérifie l'inégalité
$$
\Big|x-\frac{p'_n}{q'_n}\Big|< \frac{1}{2{q'_n}^2}.
$$
D'après la proposition \ref{meilleure}, il existe $k_n > 0$ tel que $\sfrac{p'_n}{q'_n}=\sfrac{p_{k_n}}{q_{k_n}}$. Par conséquent $0$ est la limite de la suite $(Q(p_{k_n},q_{k_n}))_{n\geq 1}$. Cette suite est négative donc d'après l'égalité \eqref{eq:E}, l'entier $k_n$ est pair.
\end{proof}

Parmi les nombres mal approchés, on distingue une famille de réels dont le développement en fractions continues est périodique à partir d'un certain rang. Cette famille se caractérise algébriquement.

\bprop \label{prop1} Soient $x$ un irrationnel et $(n_{i})_{i\geq 0}$ la suite formant son développement en fractions continues.

Cette suite est périodique à partir d'un certain rang si et seulement s'il existe des entiers $a,b,c$, avec $a$ non nul, tels que $ax^2 + bx + c=0$.
\eprop

\begin{proof}
Notons encore $(h_i)_{i\in\NN}$ et $(g_k)_{k\in\NN}$ les suites intervenant dans la construction du développement en fractions continues de~$x$. Supposons que la suite $(n_{i})_{i\geq 0}$ soit périodique. Dans ce cas la suite $(h_i)_{i\in\NN}$ est périodique. Donc il existe une homographie à coefficients entiers $h:\wh\RR\ra\wh\RR$, et une suite extraite $(g_{k_j})_{j\geq0}$ de la suite $(g_k)_{k\in\NN}$, telles que $g_{k_j}=h^j$. La suite $(h^{j}(0))_{j\geq0}(\sfrac{p_{k_{j}-1}}{q_{k_j-1}})_{j\geq0}$ converge vers $x$, donc $h(x)=x$. Ceci entraîne que $x$ est racine d'un polynôme de degré $2$ à coefficients entiers, car $x$ est irrationnel.

Si maintenant la suite $(n_{i})_{i\geq 0}$ est périodique à partir d'un rang $p>0$, le raisonnement précédent appliqué à la suite $(n_{i})_{i\geq p}$ montre que le réel $h_{p-1}^{-1}\cdots h_{0}^{-1}(x)$ est fixé par une homographie à coefficients entiers, donc $x$ l'est aussi.

\smallskip

Avant de démontrer la deuxième partie de l'énoncé, démontrons les résultats suivant.

\begin{enonce*}{Fait 1}
Soient $x$ et $y$ deux irrationnels différents, il existe une homographie $\ga(z)=\frac{az+ b}{cz+ d}$, où $a, b, c, d$ sont des entiers vérifiant $ad-bc=1$, telle que $\ga (x) >0$ et $\ga (y) <0$.
\end{enonce*}

\begin{proof}
Notons respectivement $(n_i)_{i\geq0}$ et $(m_i)_{i\geq0}$ les développements en fractions continues de $x$ et $y$, et $(g_k)_{k\geq0}$ la suite d'homographies (à~coefficients entiers et de déterminant $\pm1$) intervenant dans la construction du développement en fractions continues de $x$. Comme $x \neq y$, il existe $k\geq0$ tel que $n_k \neq m_k$. Soit $p\geq0$ le plus petit de ces $k$. Posons $x'=x$ et $y'=y$ si $p=0$, et $x'=g_{p-1}^{-1}(x)$ et $y'=g_{p-1}^{-1}(y)$ si $p>0$. Les irrationnels $x'$ et $y'$ ont des parties entières différentes, donc il existe un entier $n$ tel que les signes de $x''=x'+n$ et $y''=y'+n$ soient différents. Introduisons les homographies $T(z)=z+1$, $I(z)=\sfrac{1}{z}$, et $S(z)=\sfrac{-1}{z}$. Si $x'' > 0$, on pose $\ga= I^mT^ng_{p-1}^{-1}$, avec $m=0$ si $\det g_{p-1}=1$, et $m=1$ si $\det g_{p-1}=-1$. Si $x'' < 0$ on pose $\ga= SI^mT^ng_{p-1}^{-1}$. L'homographie $\ga$ convient.
\end{proof}

La démonstration de l'affirmation suivante est laissée au lecteur.

\begin{enonce*}{Fait 2}
Soient $x$ et $y$ deux irrationnels différents, et $\ga$ une homographie de la forme $\ga(z)=\frac{az+ b}{cz+ d}$, où $a, b, c, d$ sont des entiers vérifiant $ad-bc=1$. Si $x$ et $y$ sont racines d'un même poly\-nôme à coefficients entiers de degré~$2$, alors $\ga(x)$ et $\ga(y)$ sont également racine d'un poly\-nôme à coefficients entiers de degré~$2$. De plus, si le développement en fractions continues de $x$ est périodique à partir d'un certain rang, alors celui de $\ga (x)$ l'est aussi.\qed
\end{enonce*}

Revenons à la démonstration de la proposition. Supposons à présent que~$x$ soit solution de l'équation diophantienne $ax^2 + bx + c=0$ ($a\neq 0$). Soit~$y$ l'autre solution, qui est aussi irrationnelle.

D'après les deux affirmations ci-dessus, quitte à remplacer $x$ et $y$ par $\ga(x)$ et $\ga(y)$, on peut supposer $x>0$ et $y<0$, donc $ac<0$.

On rappelle que $(g_k)_{k\geq0}$ est la suite d'homographies intervenant dans la construction du développement en fractions continues de $x$.

Soit $k \geq 0$, considérons les réels
$$
x_{k+1}=g_k^{-1}(x) \quad \text{et} \quad y'_{k+1}=g_k^{-1}(y).
$$
On a $x_k>0$ par le début du paragraphe et $y'_k<0$ comme le montre le calcul de $g_k^{-1}$ et le fait que les coefficients $p_{k-1}, q_{k-1},p_k, q_k$ de l'homographie $g_k$ soient positifs. Donc ces deux réels satisfont une équation de la forme
$$
a_kx^2 + b_kx + c_k =0,
$$
où $a_k, b_k, c_k$ sont des entiers, et $a_kc_k<0$.

En utilisant le fait que $x_{k}= \sfrac{(n _k x_{k+1}+1)}{x_{k+1}}$, on montre par récurrence que ces coefficients satisfont la relation
$$
b_k^2-4a_kc_k=b^2-4ac,
$$
car
\begin{align*}
a_{k+1}&=a_kn_k^2+b_kn_k+c_k,\\
b_{k+1}&=b_k+2n_ka_k\\
\tag*{et}c_{k+1}&=a_k. 
\end{align*}
Par conséquent, $a_k, b_k, c_k$ appartiennent à un ensemble fini. Donc il existe $k'> k >0$ tels que $x_{k'}=x_k$ et $y_{k'} = y'_k$. La suite $(n_{i})_{i\geq k}$ ne dépend que de~$x_k$, elle est donc égale à la suite $(n_{i})_{i\geq k'}$. Ainsi, la suite $(n_{i})_{i\geq k}$ est périodique.

\smallskip
Remarquons pour finir que l'égalité $x_{k'}=x_k$ entraîne
$$
g_kg_{k'}^{-1}(x)=x \quad \text{et} \quad g_kg_{k'}^{-1}(y)=y.
$$

Donc en posant $h=g_kg_{k'}^{-1}$ ou $ (g_kg_{k'}^{-1})^2$ on en déduit que $x$ et $y$ sont fixés par une homographie de la forme $h(z)=\frac{nz+p}{mz+q}$, où $n, m, p, q$ sont des entiers vérifiant $nq-mp=1$.
\end{proof}

Un irrationnel $x$ satisfaisant une équation de la forme
\[
ax^2 + bx + c=0,
\]
où $a,b,c$ sont des entiers avec $a\neq 0$, est dit \emph{quadratique}\index{irrationnel quadratique}.

\begin{coro} \label{quamal}
Les irrationnels quadratiques sont mal approchés.\qed
\end{coro}

Des questions ouvertes se posent encore aujourd'hui sur le lien entre les nombres mal approchés et les nombres algébriques. L'une d'elles consiste à savoir si $\sqrt[3]{2}$ est mal approché.

\smallskip

La démonstration de la proposition \ref{prop1} conduit à une autre caractérisation des réels quadratiques.

\begin{rema} \label{homo} Deux irrationnels quadratiques $x \neq y$ sont racines d'un même polynôme de degré $2$ à coefficients entiers si et seulement s'il existe une homographie, différente de l'identité, $h(z)=\frac{nz+p}{mz+q}$, où $n, m, p, q$ sont des entiers vérifiant $nq-mp=1$, les fixant.
\end{rema}

Comme nous l'avons remarqué dans la démonstration du théorème~\ref{theoQ}, le caractère bien approché d'un irrationnel $x$ peut se formuler à l'aide de la forme quadratique $Q_x$ sur $\RR^2$ définie par
$$
Q_x(X,Y)=XY-xY^2.
$$

Il découle en effet de la définition \ref{supinf} que $0$ est une valeur d'adhérence de l'ensemble $Q_x (\ZZ{^2}) \cap \RR_{+}^{*}$ (\resp $Q_x (\ZZ{^2}) \cap \RR_{-}^{*}$) si et seulement si~$x$ est supérieurement (\resp inférieurement) bien approché. On déduit alors du théorème \ref{theoQ} que $0$ est une valeur d'adhérence de l'ensemble $Q_x (\ZZ{^2}) \cap \RR_{+}^{*}$ (\resp $Q_x (\ZZ{^2}) \cap \RR_{-}^{*}$) si et seulement si la suite extraite paire (\resp impaire) du développement en fractions continues de $x$ n'est pas bornée.

\smallskip

L'objet du paragraphe suivant est d'approfondir ce lien entre la nature topologique des ensembles $Q(\ZZ^2)$, où $Q$ est une forme quadratique binaire, et celle arithmétique de réels \og naturellement\fg associés à $Q$.

\section{Petites valeurs de formes quadratiques binaires et arithmétique} \label{petites}

Une \emph{forme quadratique}\index{forme quadratique} sur $\RR^n$ peut être considérée comme un polynôme homogène de degré $2$ à $n$ variables réelles $P=P(X_1,\dots,X_n)$. Pour l'étudier, une méthode consiste à lui associer la matrice symétrique réelle $n\times n$, notée $M_P=(a_{i,j})_{1\leq i,j\leq n}$, dont le terme $a_{i,j}=a_{j,i}$ pour $i \neq j$, est la moitié du coefficient du monôme $X_iX_j$, et $a_{i,i}$ est le coefficient de $X_iX_i$. Une telle forme est dite \emph{non dégénérée}\index{forme quadratique!non dégénérée} si le déterminant de la matrice $M_P$ n'est pas nul, et \emph{indéfinie}\index{forme quadratique!indéfinie} si l'ensemble $P(\RR^n)$ contient des valeurs strictement positives et des valeurs strictement négatives. Par définition, le déterminant de $P$, noté $\det P$, est le déterminant de $M_P$. Remarquons que si $g$ appartient à $ \SL{n}{\RR}$, alors $Q=P\circ g$ est une forme quadratique dont la matrice vérifie
$$
M_Q= {}^t\!g\, M_P\,g.
$$
En particulier $\det M_Q= \det M_P$.

\smallskip
Dans la suite de cette partie, sauf pour la proposition \ref{dense3} où $n=3$, nous nous restreignons aux formes quadratiques sur $\RR^2$, que nous appelons formes \emph{binaires}\index{forme quadratique!binaire}. Nous notons $\Q$ (aussi noté $\Q_{1,1}$ dans le paragraphe~2 de \cite{Pau}) l'ensemble des formes binaires non dégénérées et indéfinies.

On vérifie qu'un élément $P \in \Q$ est le produit de deux formes linéaires linéairement indépendantes. Autrement dit, il existe deux vecteurs de $\RR{^2}$ (non uniques), linéairement indépendants, $u=(u_1,u_2)$ et $v=(v_1, v_2)$ tels que
$$
P(X,Y)=(u_1X+u_2Y)(v_1X+v_2Y),
$$
Nous notons $P=P_{(u,v)}$.

\smallskip
Nous allons nous intéresser aux petites valeurs de $P$ prises aux points entiers.

\begin{defi} On dit que $P$ \emph{représente} \index{représenter zéro} \index{forme quadratique!représentant zéro} $0$ s'il existe un couple d'entiers $(p,q)\neq (0,0)$ tel que $P(p,q)=0$.
\end{defi}

\begin{rema} La forme quadratique $P_{(u,v)}$ représente $0$ si et seulement si $u$ ou~$v$ est colinéaire à un vecteur de $\QQ^2$.
\end{rema}

Le théorème suivant établit un lien entre les petites valeurs non nulles de l'ensemble $P_{(u,v)}(\ZZ{^2})$ et la nature arithmétique des vecteurs~$u$ et~$v$.

\begin{theo} \label{theoP} Le réel $0$ est une valeur d'adhérence de l'ensemble $P_{(u,v)}(\ZZ{^2})\moins\nobreak\{0\}$ si et seulement si $\sfrac{u_2}{u_1}$ ou $\sfrac{v_2}{v_1}$ sont des irrationnels bien approchés.
\end{theo}

\begin{proof}
Si $u_1,u_2,v_1$ ou $v_2$ est nul, alors le résultat découle de la définition d'irrationnels bien approchés. Nous nous plaçons donc dans le cas où $u_1u_2v_1v_2\neq 0$.

Supposons que $x= \sfrac{u_2}{u_1}$ soit un irrationnel bien approché. Posons $\sfrac{v_2}{v_1}=\nobreak y$. La forme binaire $P$ est proportionnelle au polynôme
$$
P_0(X,Y)=(X+xY)(X+yY).
$$
Considérons une suite $(\sfrac{p_k}{q_k})_{k\geq0}$ de rationnels vérifiant
$$
\lim_{k\to+\infty}q_k\,|q_kx+p_k|=0.
$$
Quitte à extraire une sous-suite, on peut supposer $P_0(p_k,q_k)\neq 0$. Par ailleurs
$$
|P_0(p_k,q_k)| \leq |p_k+xq_k|\cdot(|p_k+xq_k| +|q_k|\,|y-x|),
$$
donc $0$ est une valeur d'adhérence de l'ensemble $P(\ZZ{^2})\moins\{0\}$.

\smallskip
Réciproquement, supposons qu'il existe une suite $((p_k, q_k))_{k\geq0}$ de couples d'entiers telle que
$$
P(p_k, q_k)\neq 0 \quad \text{et} \quad \lim_{k\to+\infty}P(p_k, q_k)=0.
$$
Cela entraîne que l'un au moins des réels $u_1$, $u_2$, $v_1$ ou $v_2$ n'est pas rationnel. Supposons par exemple que ce soit $u_1$. Posons $x= \sfrac{u_2}{u_1}$ et $\sfrac{v_2}{v_1}=y\neq x$. On a
$$
\lim_{k\to+\infty}q_k^2\Big(\frac{p_k}{q_k}+ x\Big)\Big(\frac{p_k}{q_k} + y\Big)=0.
$$
Donc $\lim_{k\to+\infty}q_k^2=+\infty$ et la suite $(\sfrac{-p_k}{q_k})_{k\geq1}$ converge vers $x$ ou vers $y$. Par conséquent, $x$ ou $y$ est un irrationnel bien approché.
\end{proof}

Remarquons que si $q$ est un entier non nul, alors le signe de la quantité $P_0(p,q)$ est celui de $(\frac{p}{q}+ x)(\frac{p}{q} +y)$. Donc si $\lim_{k\to+\infty}\sfrac{p_k}{q_k}=-x$ (\resp $\lim_{k\to+\infty}\sfrac{p_k}{q_k}=-y)$, alors pour $k$ grand, le signe de $P_0(p_k,q_k)$ est celui de $(\frac{p_k}{q_k}+x)(-x+y)$ (\resp $(\frac{p_k}{q_k}+y)(x-y)$). Cette remarque, ajoutée à la démonstration du théorème \ref{theoP}, permet d'énoncer le résultat plus précis suivant:

\begin{coro} \label{signe}
Soient $x$ et $y$ des irrationnels distincts. Notons $\epsilon$ le signe de $(-x+y)$ et $P$ la forme quadratique
$$
P(X,Y)=(X+xY)(X+yY).
$$
Le réel $0$ est une valeur d'adhérence de l'ensemble $P(\ZZ{^2}) \cap \RR_{\epsilon}^{*}$ si et seulement si~$x$ est inférieurement bien approché ou $y$ est supérieurement bien approché.\qed
\end{coro}

La présence de petites valeurs prises par une forme $P \in \Q$ en des points entiers a de fortes répercussions sur l'ensemble $P(\ZZ{^2})$.

\bprop \label{petitevaleur} Soit $P \in \Q$. Si $0$ est une valeur d'adhérence de l'ensemble $P(\ZZ{^2}) \cap \RR_{+}^{*}$ (\resp $P(\ZZ{^2}) \cap \RR_-^*)$), alors $\RR_{+}$ (\resp $\RR_{-}$) est inclus dans $P(\ZZ{^2})$.
\eprop

\begin{proof}
Supposons qu'il existe une suite $((p_k, q_k))_{k\geq0}$ de couples d'entiers telle que
$$
P(p_k, q_k)> 0 \quad \text{et} \quad \lim_{k\to+\infty}P(p_k, q_k)=0.
$$
Soit $x$ un réel strictement positif. Posons $a=\sqrt{x}$. Pour tout $ k\geq0$, il existe un entier naturel $n_k$ tel que\vspace*{-3pt}
$$
n_k \leq \frac{a}{\sqrt{P(p_k, q_k)}} < n_k+1.
$$
Donc\vspace*{-3pt}
$$0 \leq a -\sqrt{P(p_k, q_k)}\;n_k <\sqrt{P(p_k, q_k)}.
$$
Par conséquent $\lim_{k\to+\infty}\sqrt{P(p_k, q_k)}\;n_k=a$. D'où\vspace*{-3pt}
$$
\lim_{k\to+\infty}P(n_k p_k, n_k q_k)= x.
$$

Le cas où la suite $(P(p_k, q_k))_{k\geq1}$ est négative se traite de façon analogue.
\end{proof}

On déduit de ce résultat et du corollaire \ref{signe}, une caractérisation des formes $P_{(u,v)}$ pour lesquelles l'ensemble $P_{(u,v)}(\ZZ{^2})$ est dense dans~$\RR$, portant sur le couple $(u,v)$.

\begin{coro} \label{dense} L'ensemble $P_{(u,v)}(\ZZ{^2})$ est dense dans $\RR$ si et seulement si l'une des deux conditions est satisfaite:
\begin{enumeratei}
\item\label{densei}
$\sfrac{u_2}{u_1}$ ou $\sfrac{v_2}{v_1}$ est un irrationnel supérieurement et inférieurement bien approché.

\item\label{denseii}
$\sfrac{u_2}{u_1}$ est un irrationnel supérieurement (\resp inférieurement) bien approché, et $\sfrac{v_2}{v_1}$ est un irrationnel inférieurement (\resp supé\-rieurement) bien approché.\qed
\end{enumeratei}
\end{coro}

Donnons des exemples de formes quadratiques $Q \in \Q$ pour lesquelles l'ensemble $Q(\ZZ{^2})$ est dense dans $\RR$.

\bexem\label{exempledense}\mbox{}
\begin{enumeratei}
\item
Notons $x$ le \og nombre univers\fg dont la suite de meilleure approximation $(\sfrac{p_k}{q_k})_{k \geq 1}$ est définie par\vspace*{-3pt}
$$
\frac{p_k}{q_k} = \cfrac{1}{1 + \cfrac{1} {2 + \genfrac{}{}{0pt}{0}{\,}{\ddots \genfrac{}{}{0pt}{0}{\,}{ + \cfrac{1}{k-1+\cfrac{1}{k}}} }}},
$$
et considérons la forme quadratique $Q(X,Y)=Y(X+xY)$.

D'après le théorème \ref{theoQ}, le nombre $x$ est supérieurement et inférieurement bien approché, donc on a $\overline{Q(\ZZ{^2})}=\RR$.

\item
Soient $\ell$ le nombre de Liouville $\sum_{k=1}^{+\infty} 10^{-k!}$ (voir l'exemple \ref{exem2}) et $P \in \Q$ défini par
$$
P(X,Y)=(X+\ell Y)(X-\ell Y).
$$
Le nombre $\ell$ est bien approché donc $\sfrac{u_2}{u_1}= \ell$ et $\sfrac{v_2}{v_1}= -\ell$ vérifient la condition \eqref{denseii} du corollaire \ref{dense}, ce qui entraîne $\overline{P(\ZZ{^2})}=\RR$.
\end{enumeratei}
\eexem

Cette distinction entre petites valeurs positives ou négatives d'une forme quadratique binaire disparaît en dimension plus grande que $2$. Démontrons-le pour les formes quadratiques non dégénérées et indéfinies de $\RR^3$, ce qui servira dans \cite{Cou}.

\bprop \label{dense3} Soit $Q$ une forme quadratique non dégénérée et indéfinie sur~$\RR^3$. Si $0$ est une valeur d'adhérence de l'ensemble $Q(\ZZ^3)\moins\{0\}$, alors cet ensemble est dense dans $\RR$.
\eprop

\begin{proof}
Cette démonstration repose sur deux résultats intermédiaires.

\begin{enonce*}{Fait 1}
Si $P$ est une forme quadratique binaire non dégénérée indéfinie ou définie positive, alors il existe $(X,Y)$ dans $\ZZ^2$ tel que
$$
0 < P(X,Y) \leq 2\sqrt{|\det P|}.
$$
\end{enonce*}

\begin{proof}
On peut supposer $|\det P|=1$. Il s'agit donc de montrer qu'il existe $(X,Y)$ dans $\ZZ^2$ tel que $ 0 < P(X,Y) \leq 2$.

Soit $m$ la borne inférieure de l'ensemble des $P(X,Y)>0$, avec $(X,Y)$ dans~$\ZZ^2$. Si $m$ est strictement inférieure à $2$, ou encore si $m=2$ et si cette borne est atteinte, alors cette propriété est claire.

Sinon, il existe $U=(u_1,u_2) \in \ZZ^2$, avec $u_1$ et $u_2$ premiers entre eux, vérifiant les quatre inégalités
\begin{align*}
P(U)&>0,&
\frac{P(U)}{4} + \frac{1}{P(U)}&<m,\\
\frac{P(U)}{4}- \frac{1}{P(U)}&>0&
P(U)-\frac{1}{P(U)}&< m.
\end{align*}
Soit $V=(v_1,v_2) \in \ZZ^2$ tel que $u_1v_2-u_2v_1=1$. Le couple $(U,V)$ est une base directe de $\ZZ^2$. Considérons $M$ la matrice $2 \times 2$ à coefficients dans $\ZZ$ telle que $M(e_1)=U$ et $M(e_2)=V$, où $(e_1,e_2)$ est la base canonique de $\RR^2$. Cette matrice appartient au groupe $\SL{2}{\ZZ}$.

Posons $P'=P \circ M$. On a $P(\ZZ^2)=P'(\ZZ^2)$ et $\det P = \det P'$. Le polynôme~$P'$ s'écrit
$$P'(X,Y)=aX^2+bY^2+cXY,$$
avec $|ab-\sfrac{c^2}{4}|=1$. Par définition de $P'$, on a $a= P(U)$ donc $a\neq0$ et l'on peut écrire
$$
P'(X,Y)=a\Big(X+\frac{c}{2a}Y\Big)^2+ \frac{Y^2}{a}\Big(ba-\frac{c^2}{4}\Big).
$$
Posons $\alpha=\sfrac{c}{2a}$ et $\beta=ba-\sfrac{c^2}{4}$. On a $|\beta|=1$ et
$$
P'(X,Y)=P(U)(X+ \alpha Y)^2 + \beta \frac{1}{P(U)}Y^2.
$$
Commençons par le cas $\beta\!=\!1$ et considérons l'entier $E$ tel que \hbox{$0 \!\leq\! |E + \alpha|\!\leq\! \sfrac{1}{2}$}. On a
$$
0< P'(E,1) \leq \frac{P(U)}{4}+ \frac{1}{P(U)}.
$$
Donc $P'(E,1)<m$, ce qui est impossible.

Il reste le cas où $\beta=-1$. Introduisons l'entier $E'$ tel que $ \sfrac{1}{2} \leq |E'+ \alpha| \leq 1$. On a
$$
\frac{P(U)}{4}- \frac{1}{P(U)} \leq P'(E',1)\leq P(U) - \frac{1}{P(U)}
$$
donc $0 < P'(E',1)<m$, ce qui est impossible.
\end{proof}

Démontrons maintenant le second résultat.

\begin{enonce*}{Fait 2}
Soit $Q$ une forme quadratique non dégénérée et indéfinie sur~$\RR^3$. Si $U$ appartient à $\ZZ^3$ et vérifie $Q(U)>0$, alors il existe $U'$ dans~$\ZZ^3$ tel que
$$
Q(U')<0 \quad \text{et} \quad Q(U')^2 \leq 8 \sqrt{Q(U)}\sqrt{|\det Q|}.
$$
\end{enonce*}

\begin{proof}
On peut supposer que les coordonnées de $U=(u_1,u_2,u_3)$ sont premières entre elles, autrement dit qu'il existe des entiers $n_1, n_2,n_3$ tels que $n_1u_1\!+\! n_2u_2\!+\! n_3u_3\!=\!1$. En utilisant cette rela\-tion, on construit une matrice $M\in \SL{3}{\ZZ}$ telle que $Me_1=U$ (voir l'exercice corrigé 1.6 de \cite{Pau}), où $(e_1,e_2,e_3)$ est la base canonique de $\RR^3$. Par construction, les vecteurs $(U,M(e_2)=V,M(e_3)=W)$ forment une base directe de $ \ZZ^3$.

\smallskip

Posons $Q'=Q \circ M$. On a $ Q'(\ZZ^3)=Q(\ZZ^3)$ et $\det Q'=\det Q$. La forme $Q'$ s'écrit
$$
Q'(X,Y,Z)=a(X+ \alpha Y + \beta Z)^2 - Q_0(Y,Z),
$$
où $a=Q(U)$, $\alpha$, $\beta$ sont des réels, et $Q_0$ est une forme binaire non dégénérée, indéfinie ou définie positive, dont le déterminant vérifie la relation
$$
-a \det Q_0 = \det Q.
$$
D'après le Fait $1$, il existe $(Y_0,Z_0)$ dans $\ZZ{^2}$ tel que
$$
0 < Q_0(Y_0,Z_0) \leq 2 \sqrt{|\det Q_0|}.
$$
En posant $c=Q_0(Y_0,Z_0)$, on obtient
$$
0< c \leq 2 \sqrt{\frac{|\det Q|}{a}}\,.
$$

Considérons la forme binaire $P(X,T)=- \,Q'(X,TY_0,TZ_0)$. Cette forme est non dégénérée, indéfinie et $\det P = -ac$. Toujours d'après le Fait 1, il existe $(X',T')$ dans $\ZZ{^2}$ tel que
$$
0 < P(X',T') \leq 2 \sqrt{ac}.
$$
Posons $U'=(X',T'Y_0,T'Z_0)$, on a
$$
Q'(U')<0 \quad \text{et} \quad 0<Q'(U')^2 \leq 8\sqrt{a}\,\sqrt{|\det Q |}.
$$
Par conséquent, il existe $U'' \in \ZZ^3$ tel que
\[
Q(U'')<0 \quad \text{et} \quad Q(U'')^2 \leq 8 \sqrt{Q(U)}\,\sqrt{|\det Q |}.\qedhere
\]
\end{proof}

À présent, montrons que si $0$ est une valeur d'adhérence de l'ensemble $Q(\ZZ^3)\moins\{0\}$, alors cet ensemble est dense dans $\RR$.

En utilisant le Fait $2$ et en remplaçant $Q$ par $-Q$, on obtient que s'il existe une suite $((p_k, q_k))_{k\geq0}$ de couples d'entiers telle que la suite de terme général $Q(p_k, q_k)$ soit strictement positive (respectivement négative) et converge vers~$0$, alors il existe une suite $((p'_k, q'_k))_{k\geq0}$ de couples d'entiers telle que la suite de terme général $ Q(p'_k, q'_k)$ soit strictement négative (respectivement positive) et converge aussi vers~$0$. On conclut alors en reprenant le même raisonnement que celui utilisé pour démontrer la proposition \ref{petitevaleur}.
\end{proof}

La proposition que nous venons de démontrer est valable en dimension $n\geq3$ (voir par exemple \cite{BM,Bre}). Démontrer la conjecture d'Oppenheim pour une forme quadratique non dégénérée et indéfinie sur $\RR^3$ revient donc à démontrer la présence de valeurs non nulles arbitrairement petites dans l'ensemble $Q(\ZZ^3)$. Ce fait sera fortement utilisé dans \cite{Cou}.

\smallskip

Nous revenons à présent (et jusqu'à la fin de cette partie) aux formes binaires. Nous avons donné des exemples de formes quadratiques $Q \in \Q$ pour lesquelles $Q(\ZZ^2)$ est dense dans $\RR$. À l'opposé, nous allons montrer que ce sous-ensemble de $\RR$ peut être discret (pour la topologie induite) et non fermé.

\section{Actions de \texorpdfstring{$ \SL{2}{\ZZ} $}{SLZ} et applications aux formes quadratiques binaires} \label{Action}

Le fil conducteur de ce paragraphe consiste à étudier la topologie de l'ensemble des valeurs prises aux points entiers par une forme quadratique binaire en utilisant des propriétés dynamiques du groupe $ \SL{2}{\ZZ} $. Ce point de vue est développé dans un article de Dani-Nogueira \cite{DN}.

\smallskip

Soient $u$ et $v$ deux vecteurs linéairement indépendants de $\RR^2$. Nous rappelons que la forme quadratique $P_{(u,v)} \in \Q$ est définie pour tout $w \in \RR^2$ par
$$
P_{(u,v)}(w)= \langle u,w\rangle\langle v,w\rangle,
$$
où $\langle u,w\rangle$ est le produit scalaire usuel entre $u$ et $w$.

\smallskip

Posons $G=\SL{2}{\RR}$ et $\Ga = \SL{2}{\ZZ}$. On associe à $g \in G$ et à $P_{(u,v)}$ la forme $gP_{(u,v)} \in \Q$ définie par
$$
gP_{(u,v)}=P_{(g(u),g(v))}.
$$
Remarquons que pour tout $w \in \RR^2$, on a
$$
gP_{(u,v)}(w)=P_{(u,v)}({}^t\!gw).
$$
Si $\ga$ appartient au sous-groupe $\Ga$, puisque ${}^t \gamma(\ZZ^2)=\ZZ^2$, on a
$$
P_{(\ga (u),\ga (v))}(\ZZ^2) = P_{(u,v)}(\ZZ^2).
$$

En particulier, s'il existe une suite $(\ga_n)_{n \geq 0}$ de $\Ga$ et une forme $Q \in \Q$ telles que pour tout $w \in \RR^2$
$$
\lim_{n \to +\infty}P_{(\ga_n(u),\ga_n(v))}(w)= Q(w),
$$
alors
$$
Q(\ZZ^2) \subset \overline { P_{(u,v)}(\ZZ^2)}.
$$

La nature topologique de l'ensemble $P_{(u,v)}(\ZZ^2)$ est donc liée à la dynamique de $\Ga$ sur $\Q$, ou encore, comme le montre la proposition suivante, à l'action de~$\Ga$ sur le produit de la droite projective par elle-même.

\bprop \label{dani} Soit $P_{(u,v)}$ un élément de $\Q$. Supposons qu'il existe une suite $(\ga{_n})_{n\geq0}$ dans $\Ga$, et deux suites de réels non nuls $(a_n)_{n\geq0}, (b_n)_{n\geq0}$ telles que le couple de vecteurs $((\ga{_n}(a_nu),\ga{_n}(b_nv)))$ converge vers un couple $(u',v')$ de vecteurs linéairement indépendants. Alors
$$
\frac{\det(u,v)}{\det(u',v')}\;P_{(u',v')}(\ZZ^2) \subset \overline {P_{(u,v)}(\ZZ^2)}.
$$
\eprop

\begin{proof}
Puisque la suite $((\ga{_n}(a_nu),\ga{_n}(b_nv)))_{n\geq0}$ converge vers le couple $(u',v')$, par passage au déterminant, on obtient que la suite réelle $(a_nb_n)_{n\geq0}$ converge vers $\sfrac{\det(u',v')}{\det(u,v)}$.

Soit $w\in \ZZ^2$, pour tout $n\geq0$, le vecteur $w_n={}^t\ga{_n}(w)$ appartient à $\ZZ^2$. Par définition
$$
P_{(\ga_n (a_n u),\ga_n (b_n v))}(w)=a_n b_n P_{(u,v)}(w_n).
$$
Donc
$$
P_{(u,v)}(w_n)=\frac{1}{a_n b_n}\langle\ga_n (u),w\rangle \langle \ga_n(v),w\rangle.
$$

Par conséquent
$$
\lim_{n \to +\infty}P_{(u,v)}(w_n)=\frac{\det(u,v)}{\det(u',v')}\; P_{(u',v')}(w).
$$
Ceci entraîne
\[
\frac{\det(u,v)}{\det(u',v')} \;P_{(u',v')}(\ZZ^2) \subset \overline {P_{(u,v)}(\ZZ^2)}.\qedhere
\]
\end{proof}

Nous allons appliquer ce théorème à des situations particulières et privilégier une famille d'éléments de $\Ga$.

\begin{defi} Un élément de $\Ga$, différent de l'identité et de son opposé, est dit \emph{hyperbolique}\index{hyperbolique}\index{element@élément!hyperbolique} s'il est diagonalisable sur $\RR$.
\end{defi}

Un tel élément $\ga$ admet deux valeurs propres réelles $\lambda$ et $\lambda^{-1}$ différentes de $1$ et $-1$. Nous supposons $|\lambda| > 1$. Soient $u^+$ (\resp $u^-$) un vecteur propre (non nul) \emph{attractif} (\resp \emph{répulsif}) associé à $\lambda$ (\resp $\lambda^{-1}$).

\smallskip
Considérons le vecteur $v= u^- + u^+$ et intéressons-nous à la forme quadratique $P_{(u^-, v)}$. On a\vspace*{-3pt}
$$
{\ga}^n (u^-)= \lambda^{-n}u^- \quad \text{et} \quad {\ga}^n(v)=\lambda^{-n}u^- + \lambda^{n}u^+.
$$
Donc la suite $((\lambda^n {\ga}^n (u^-), \lambda^{-n}{\ga}^n(v)))_{n\geq0}$ converge vers $(u^-, u^+)$.

\smallskip

En utilisant la proposition \ref{dani}, et en remarquant que pour tous $w$ tel que $\langle u^-,w\rangle \neq 0$ et $n \neq 0$, on a\vspace*{-3pt}
$$
\langle u^-, w\rangle\langle\lambda^{-2n}u^- +u^+, w\rangle \neq \langle u^-, w\rangle \langle u^- + u^+,w\rangle,
$$
on obtient le résultat suivant.

\begin{coro} \label{nonferme} Soient $u^-$ et $u^+$ deux vecteurs propres respectivement répulsif et attractif d'un élément hyperbolique $\gamma$ de $\Ga$. Si $v= u^- + u^+$, alors l'ensemble $P_{(u^-,v)}(\ZZ^2)$ n'est pas fermé dans $\RR$ et on a\vspace*{-3pt}
$$
P_{(u^-,u^+)}(\ZZ^2) \subset \overline { P_{(u^-,v)}(\ZZ^2)}.\eqno\qed
$$
\end{coro}

Étudions la forme $P_{(u^-,u^+)}$. Pour cela posons\vspace*{-3pt}
$$\arraycolsep3.5pt
\ga=\begin{pmatrix} a & b\\ c & d
\end{pmatrix}.
$$
Les coefficients de $\ga$ sont des entiers et $\ga$ est hyperbolique, donc $b$ n'est pas nul et les vecteurs $u^-$ et $u^+$ sont de la forme\vspace*{-3pt}
$$
u^-= \alpha^- (1, \theta^-) \quad \text {et } \quad u^-= \alpha^+ (1, \theta^+),
$$
où $\alpha^-$ et $\alpha^+$ sont des réels non nuls, et (en utilisant le fait que $u^-,u^+$ sont des vecteurs propres de $\gamma$), les réels $\theta^-$ et $\theta^+$ sont des irrationnels quadratiques vérifiant l'équation\vspace*{-3pt}
$$
bx^2 + (a-d)x - c= 0.
$$
On a $\theta^- + \theta^+ = \sfrac{(d-a)}{b}$ et $\theta^- \theta^+=\sfrac{-c}{b}$.

\smallskip

Pour tout $(X,Y) \in \RR^2$, la forme quadratique $P_{(u^-,u^+)}$ évaluée en $(X,Y)$ s'écrit
$$
P_{(u^-,u^+)}(X,Y)= \alpha^- \alpha^+ (X + \theta^- Y) (X + \theta^+ Y).
$$
Cette forme est donc proportionnelle à la forme quadratique
$$
Q(X,Y)=b X^2 + (d-a)XY -cY^2.
$$

En résumé, nous venons de démontrer la proposition suivante.

\bprop \label{rationnelle} Soient $\ga=\begin{smallpmatrix} a & b\\ c & d
\end{smallpmatrix}$ un élément hyperbolique de $\Ga$ et $Q$ la forme quadratique
$$
Q(X,Y)=b X^2 + (d-a)XY -cY^2.
$$
Si $u^-$, $u^+$ sont des vecteurs propres respectivement répulsif et attractif de $\ga$, alors la forme quadratique $P_{(u^-,u^+)}$ est proportionnelle à $Q$.\qed
\eprop

Une forme quadratique qui est proportionnelle à une forme dont les coefficients sont des entiers est dite \emph{rationnelle}\index{forme quadratique!rationnelle} (voir l'introduction). Sous les hypothèses de la proposition \ref{rationnelle}, la forme quadratique $P_{(u^-,u^+)}$ est rationnelle.

\bprop \label{Prationnel}
Une forme quadratique $P_{(u,v)} \in \Q$ est rationnelle si et seulement si l'une des conditions suivantes est vérifiée:
\begin{enumeratei}
\item\label{Prationneli}
les vecteurs $u$ et $v$ sont colinéaires à des vecteurs de $\ZZ^2$;

\item\label{Prationnelii}
les vecteurs $u$ et $v$ sont des vecteurs propres d'un même élément hyperbolique de $\Ga$.
\end{enumeratei}
\eprop

\begin{proof}
Si l'une des conditions \eqref{Prationneli} ou \eqref{Prationnelii} est vérifiée, alors nous avons déjà montré que $P_{(u,v)}$ est rationnel.

\smallskip
Supposons que $P_{(u,v)}$ soit rationnel et que la condition \eqref{Prationneli} ne soit pas satisfaite. Sous ces hypothèses, on a $u_1 \neq 0$ et $v_1 \neq 0$.

Montrons que les vecteurs $u$ et $v$ vérifient la condition \eqref{Prationnelii}. Posons $x=\sfrac{u_2}{u_1}$ et $y=\sfrac{v_2}{v_1}$. La forme $P(X,Y)=(X + xY)(X + yY)$ est rationnelle, donc $x$ et $y$ sont racines d'un polynôme de degré deux à coefficients entiers. D'après la remarque \ref{homo}, les irrationnels $x$ et $y$ sont fixés par une homographie non triviale $h(z)=\frac{az+b}{cz+d}$, où $a, b, c, d$ sont des entiers et $ad-bc=1$.

Posons $\ga=\begin{smallpmatrix} a & b\\ c & d
\end{smallpmatrix}$. Cet élément appartient à $\Ga$ et est différent de l'identité et de son opposé. Par ailleurs $\gamma$ est diagonalisable car $(x,1)$ et $(y,1)$ sont deux vecteurs propres non colinéaires de $\gamma$, donc $\gamma$ est hyperbolique. Par conséquent $u$ et $v$ sont des vecteurs propres d'un élément hyperbolique de~$\Ga$.
\end{proof}

Nous allons à présent nous intéresser au cas particulier où $\ga$ est la matrice hyperbolique définie par
$$\arraycolsep3.5pt
\ga=
\begin{pmatrix} 2 & 1\\ 1 & 1
\end{pmatrix}.
$$
On rappelle que $\phi$ désigne le nombre d'or $\frac{1 +\sqrt{5}}{2}$ et qu'il vérifie l'équation
$$
X^2 -X-1=0.
$$
Un petit calcul montrer que les vecteurs $u^-=(1, -\phi)$ et $u^+ =(1, \sfrac {1}{\phi})$ sont deux vecteurs propres respectivement répulsif et attractif de $\ga$.

Posons $v=(1, \phi)$, $\alpha^-= \sfrac{(1-{\phi} ^2)}{(1+{\phi}^2)}$ et $\alpha^+=\sfrac{2{\phi}^2}{(1+{\phi}^2)}$. On a la décomposition
$$
v= \alpha^-u^- + \alpha^+u^+.
$$
Considérons la forme quadratique de \emph{Pell-Fermat}\index{Pell-Fermat}\index{forme quadratique!de Pell-Fermat} $F_{\phi} \in \Q$ définie par
$$
F_{\phi}= P_{(u^-, v)}.
$$
On a
$$
F_{\phi}(X,Y)=X^2-\phi{^2}Y^2.
$$
Les réels $\phi^2$ et $\phi$ sont irrationnels, donc la forme $F_{\phi}$ n'est pas rationnelle et ne représente pas $0$.

D'après le corollaire \ref{quamal}, le nombre $\phi$ est mal approché, donc d'après le théorème \ref{theoP}, l'ensemble $\overline{F_{\phi}(\ZZ^2)\moins\{0\}}$ ne contient pas~$0$. Par conséquent, l'ensemble $F_{\phi}(\ZZ^2)$ n'est pas dense dans $\RR$. Par ailleurs, d'après la proposition \ref{nonferme}, cet ensemble n'est pas fermé. Nous allons décrire sa frontière
$$
\F = \overline{F_{\phi}(\ZZ^2)}-F_{\phi}(\ZZ^2).
$$

\bprop\label{formephi} Soit $Q$ la forme quadratique définie par
$$
Q(X,Y)= \frac{2{\phi}^2}{1+{\phi}^2} (X^2 - XY-Y^2).
$$
\begin{enumeratei}
\item
L'ensemble $F_{\phi}(\ZZ^2)$ est discret.

\item
$\F= Q(\ZZ^2)\moins\{0\}$.
\end{enumeratei}
\eprop

\begin{proof}
Commençons par montrer deux affirmations. La première se vérifie facilement.

\begin{enonce*}{Fait 1}
Les formes quadratiques $F_{\phi}$ et $Q$ sont liées par la relation
$$
(Q-F_{\phi})(X,Y)=\frac{{\phi}^2-1}{{\phi}^2+1}{(X-{\phi} Y)}^2.\eqno\qed
$$
\end{enonce*}

\begin{enonce*}{Fait 2}
$(Q(\ZZ^2)\moins\{0\}) \cap F_{\phi}(\ZZ^2) =\varnothing$.
\end{enonce*}

Pour démontrer cette affirmation, il suffit de supposer qu'il existe $(n,m) \neq (0,0)$ dans $\ZZ^2$ et $(p,q) \in \ZZ^2$ tels que
$$
n^2-{\phi}^2 m^2 = \frac{2{\phi}^2}{1+{\phi}^2}(p^2-pq- q^2),
$$
et de constater que ceci est impossible car $\frac{2{\phi}^2}{1+{\phi}^2}=\frac{1}{\sqrt5}$, ${\phi}^2=\frac{3+ \sqrt5}{2}$, et~$\sqrt5$ n'est pas rationnel.

\smallskip

Revenons à la démonstration de la proposition.

\begin{enumeratei}
\item
Montrons que l'ensemble $F_{\phi}(\ZZ^2)$ est discret (pour la topologie induite).

Soit $(F_{\phi}(X_n,Y_n))_{n\geq0}$ une suite non stationnaire de l'ensemble $F_{\phi}(\ZZ^2)$ convergeant vers un réel $r$. On peut supposer $X_n > 0$ et $Y_n > 0$. Sous ces hypo\-thè\-ses, on a
$$
\lim_{n \to +\infty}Y_n=+\infty \quad \text{et} \quad \lim_{n \to +\infty}X_n-\phi Y_n = 0.
$$
Donc, d'après le Fait 1,
$$
\lim_{n \to+\infty}Q(X_n,Y_n)=r.
$$
Or $Q(\ZZ^2) \subset \frac{2{\phi}^2}{1+{\phi}^2}\,\ZZ$, donc $r\in Q(\ZZ^2)$. Le réel $r$ n'est pas nul, donc d'après le~Fait~2
$$
r\not\in F_{\phi}(\ZZ^2).
$$
On déduit de ce raisonnement que chaque point de l'ensemble $F_{\phi}(\ZZ^2)$ est isolé et que
$$
\F \subset Q(\ZZ^2).
$$

\item
Puisque $\alpha^- u^-$ et $\alpha^+ u^+$ sont des vecteurs propres non colinéaires de $\gamma$, dont la somme est égale à $v$, d'après la proposition \ref{nonferme}, on a
$$
P_{(\alpha^-u^-,\alpha^+u^+)}(\ZZ^2) \subset \overline {P_{(\alpha^-u^-, v)}(\ZZ^2)}.
$$
Par ailleurs
$$
P_{(\alpha^-u^-,\alpha^+u^+)}(X,Y)=\alpha^- \alpha^+(X^2 - XY -Y^2).
$$
Donc, comme $P_{(\alpha^-u^-, v)}=\alpha^-P_{(u^-, v)}= \alpha^- F_{\phi}$, on a
$$
Q(\ZZ^2) \subset \overline {F_{\phi}(\ZZ^2)}.
$$
Plus précisément, d'après le Fait 2, on a
\[
Q(\ZZ^2)\moins\{0\} \subset \F.\qedhere
\]
\end{enumeratei}
\end{proof}

L'étude de l'ensemble $F_{\phi}(\ZZ^2)$ se généralise aux formes quadratiques de \emph{Pell-Fermat}\index{forme quadratique!de Pell-Fermat} $F_{\theta}=X^2- \theta^2 Y^2$, où $\theta$ est un irrationnel quadratique, et $\theta^2$ est irrationnel (voir \cite{TV}).

\section{Formes quadratiques binaires et trajectoires du sous-grou\-pe diagonal de \texorpdfstring{$\SL{2}{\RR}$ sur $\SL{2}{\RR}/\SL{2}{\ZZ}$}{groupes}} \label{trajectoires}

Nous établissons ici une relation entre les formes quadratiques binaires $Q \in \Q$ et les orbites, encore appelées \emph{trajectoires}, du groupe à un paramètre
$$
H= \left \{
\begin{pmatrix} t & 0\\ 0 & 1/t
\end{pmatrix} \sep t \in {}]0,+\infty[\right \},
$$
(aussi noté $\bAA$ dans \cite{Pau}) agissant par translations à gauche sur l'espace topologique quotient $G/\Ga$, où $G=\SL{2}{\RR}$ et $\Ga=\SL{2}{\ZZ}$.

Comme nous allons le voir, la diversité de l'adhérence des ensembles $Q(\ZZ^2)$, mise en évidence dans les paragraphes précédents, se reflète sur la topologie des orbites de $H$ (et vice versa!), qui peuvent être denses, compactes, fermées, non fermées, non denses... (voir par exemple \cite{Dal1}).

\Subsection*{Topologie de \texorpdfstring{$\SL{2}{\RR}/\SL{2}{\ZZ}$}{SLZ} et demi-plan supérieur}

Avant d'étudier ce lien, nous allons nous intéresser aux propriétés topologiques de l'espace topologique quotient $G / \Ga$ en nous appuyant sur des résultats démontrés dans un cadre plus général dans \cite{Pau}. Nous notons $\pi$ la projection canonique de~$G$ sur $G / \Ga$. Par définition de la topologie quotient, une partie $U$ de $G / \Ga$ est un ouvert si et seulement si $\pi ^{-1}(U)$ est un ouvert de $G$. L'espace $G / \Ga$ est séparé donc localement compact, et $\pi$ est un homéomorphisme local (voir la proposition~2.2 de \cite{Pau}).

\bprop L'espace topologique quotient $G / \Ga$ n'est pas compact.
\eprop

\begin{proof}
Si $G / \Ga$ est compact, alors il existe $g_1, g_2,\dots g_k$ dans~$G$ et des voisinages compacts $V_1,V_2,\dots, V_k$ de ces points tels que $\pi (V_1), \pi(V_2),\dots, \pi(V_k)$ recouvrent $G / \Ga$. Notons $C$ la réunion finie des $V_i$. Cet ensemble est un compact de $G$ qui vérifie $G= C \Gamma$. En particulier pour tout entier $n > 0$, il existe $\gamma _n \in \Gamma$ tel que
$$
\begin{pmatrix} n & 0\\ 0 & 1/n
\end{pmatrix} \gamma_n \in C,
$$
ce qui est impossible, car si $\gamma_n=\begin{smallpmatrix} a_n & b_n\\ c_n & d_n
\end{smallpmatrix}$ avec $a_n,b_n,c_n,d_n \in \ZZ$, alors les suites $(na_n)_{n\geq1}$ et $(nb_n)_{n\geq1}$ sont bornées, donc il existe $N>0$ tel que $a_n=b_n=0$ pour tout $n>N$, ce qui contredit le fait que $\ga_n$ soit inversible.
\end{proof}

Introduisons le sous-groupe compact $\bKK$ de $G$ des rotations vectorielles, défini par
$$
\bKK\index{K@$\bKK$} = \left \{
\begin{pmatrix} \cos\theta & -\sin\theta\\ \sin\theta & \cos\theta
\end{pmatrix} \sep \theta \in \RR / 2\pi\ZZ \right \}.
$$
L'espace topologique quotient $G/\bKK$ est séparé donc localement compact. Nous allons en donner une interprétation géométrique. Pour cela introduisons le demi-plan ouvert supérieur
$$
\HH= \{z \in \CC\sep \Im z > 0 \}.
$$

Si $z\in\CC$ et si $a,b,c,d$ sont des réels tels que $ad-bc =1$, alors $\Im \big(\frac{az+b}{cz+d}\big) =\sfrac{(\Im z)}{|cz+d|^2}$. Donc, l'application $G\times \HH\ra \HH$ définie par
$$
(\begin{smallpmatrix} a & b\\ c & d\end{smallpmatrix},z) \mto \frac{az+b}{cz+d}\;
$$
est bien définie. Il est facile de vérifier que c'est une action continue de~$G$ sur~$\HH$. Elle est appelée l'\emph{action de $G$ par homographies sur $\HH$}.\index{action!par homographies}

\smallskip

Remarquons que le sous-groupe $\bNN = \left \{
\begin{smallpmatrix} 1 & t\\ 0 & 1
\end{smallpmatrix} \sep t \in \RR\right \}$\index{N@$\bNN$} agit par translations
$$
\bigl(\begin{smallpmatrix} 1 & t\\ 0 & 1\end{smallpmatrix},z\bigr) \mto z+t,$$
et que $H$ agit par homothéties (de rapport strictement positif)
$$
\bigl(\begin{smallpmatrix} t & 0\\ 0 & \sfrac{1}{t}
\end{smallpmatrix},z\bigr) \mto t^2 z.
$$
Le noyau de cette action de $G$ sur $\HH$ est égal à $\{\pm \id\}$. Cette action induit donc une action fidèle du groupe $\PSL2\RR= G / \{\pm \id\} $ sur $\HH$.

\skpt
\bexer[voir {\cite[\S2]{Pau}}, \emph{Action par homographies sur le demi-plan}]\label{transitive}
\begin{enumeratei}
\item
Démontrer que l'action de $\PSL2\RR$ sur $\HH$ est transitive: pour tout $z$ dans $\HH$, il existe un élément de $\PSL2\RR$ qui envoie $i$ sur $z$.

\item
Démontrer que le stabilisateur du point $i$ dans $\PSL2\RR$ est le groupe $\bKK/\{\pm \id\}$.
\end{enumeratei}
\eexer

Le résultat suivant est une conséquence de l'exercice \ref{transitive} ci-dessus, et de la proposition 2.3 de \cite{Pau}.

\bprop \label{homeo} La bijection canonique $\Theta_{i}:G/\bKK\ra \HH$ induite par l'application de $G$ dans $\HH$ qui à la matrice $\begin{smallpmatrix} a & b\\ c & d\end{smallpmatrix}$ associe le nombre complexe $\frac{ai+b}{ci+d}$, est un homéomorphisme $G$-équivariant:
$$
\forall g, g' \in G, \quad\Theta_i (g'g\bKK)g'(\Theta_i (g\bKK)).\eqno\qed
$$
\eprop


L'action de $\PSL2\RR$ sur $\HH$ s'étend continûment au compactifié d'Alexandrov du demi-plan supérieur fermé $\overline\HH=\HH \cup \RR \cup \{\infty\} $. Sa restriction à $\widehat{\RR} = \RR \cup \{\infty\}$ est l'action projective de $G$ sur la droite projective réelle donnée par l'application $G\times\widehat\RR\ra\widehat\RR$ définie par
$$
(\begin{smallpmatrix} a & b\\ c & d\end{smallpmatrix},x) \mto \frac{ax+b}{cx+d},$$
avec la convention usuelle que $\frac{a\infty + b}{c \infty + d} = \infty$ si $c=0$, et si $c\neq 0$, $\frac{a\infty + b}{c \infty + d} = \sfrac{a}{c}$ et $\frac{a {\Psfrac{-d}{c}} + b}{c {\Psfrac{-d}{c}} + d} = \infty$ (voir le paragraphe~2 de \cite{Pau}).

L'action de $\PSL2\RR$ sur les triplets de points distincts cycliquement ordonnés de $\widehat\RR$ est simplement transitive: pour tous $x,y,z$ dans~$\widehat\RR$ dans cet ordre cyclique, il existe un unique élément de $\PSL2\RR$ qui envoie $0,1,\infty$ sur respectivement $x,y,z$. En effet, par translation (qui fixe $\infty$), on peut envoyer tout point de $\widehat\RR$ sur $0$ et $z\mto -1/z$ échange~$0$ et~$\infty$, donc $\PSL2\RR$ agit transitivement sur les couples de points de~$\widehat\RR$. Les seules homographies qui fixent $0$ et $\infty$ sont les homothéties $z\mto \lambda z$ avec $\lambda>0$. Celles-ci agissent simplement transitivement sur les points de $]0,+\infty[$, ce qui montre le résultat.

\begin{figure}[htb]
\begin{center}
\includegraphics{fig_geodFD}\\[-12pt]
\smaller Géodésiques du demi-plan supérieur
\end{center}
\end{figure}

Une \emph{géodésique}\index{geode@géodésique} de $\HH$ est ou bien une demi-droite (ouverte) verticale d'origine dans $\RR$ contenue dans $\HH$ ou bien un demi-cercle (ouvert) euclidien contenu dans $\HH$ et perpendiculaire à $\RR$ en ses deux extrémités. Pour comprendre cette terminologie, il faut savoir que le demi-plan ouvert supérieur peut être muni d'une distance pour laquelle le plus court chemin joignant deux points $z$ et $z'$ de $\HH$ est précisément le segment euclidien d'extrémités ces deux points s'ils ont la même partie réelle ou sinon, l'arc d'extrémités $z$ et $z'$ porté dans le demi-cercle perpendiculaire à $\RR$ passant par ces deux points (\cite{Kat,Dal1}).

\skpt
\bexer[voir {\cite[\S2]{Pau}}, \emph{Action par homographies sur le demi-plan}]
Démontrer que l'action par homographies de $G$ sur~$\HH$ préserve l'ensemble des géodésiques et qu'elle est transitive sur cet ensemble.
\eexer

\begin{figure}[htb]
\begin{center}
\begin{picture}(0,0)%
\includegraphics{fig_domfondsldez}%
\end{picture}%
\setlength{\unitlength}{3158sp}%
%
\begingroup\makeatletter\ifx\SetFigFont\undefined%
\gdef\SetFigFont#1#2#3#4#5{%
 \reset@font\fontsize{#1}{#2pt}%
 \fontfamily{#3}\fontseries{#4}\fontshape{#5}%
 \selectfont}%
\fi\endgroup%
\begin{picture}(6777,3756)(4789,-3730)
\put(5551,-3286){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$-1$}%
}}}}
\put(6976,-3286){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$0$}%
}}}}
\put(8326,-3286){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$1$}%
}}}}
\put(6226,-3361){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$-\frac{1}{2}$}%
}}}}
\put(7651,-3361){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$\frac{1}{2}$}%
}}}}
\put(9001,-3361){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$\frac{3}{2}$}%
}}}}
\put(5379,-2018){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$T^{-1}SD$}%
}}}}
\put(4876,-3361){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$-\frac{3}{2}$}%
}}}}
\put(10876,-2461){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$\Ga\backslash \HH$}%
}}}}
\put(10456,-1793){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$\Ga i$}%
}}}}
\put(11551,-2086){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$\Ga \omega$}%
}}}}
\put(6451,-2611){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$^{STD}$}%
}}}}
\put(5701,-2611){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{ $^{STSD}$}%
}}}}
\put(7051,-2611){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{ $^{ST^{-1}D}$}%
}}}}
\put(7816,-2618){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$^{ST^{-1}SD}$}%
}}}}
\put(6901,-1636){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$i$}%
}}}}
\put(7126,-736){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$D$}%
}}}}
\put(7846,-1941){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$-\overline{\omega}$}%
}}}}
\put(6526,-1934){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$\omega$}%
}}}}
\put(5476,-3661){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{Domaine fondamental de $\Ga$ sur $\HH$}%
}}}}
\put(8176,-736){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$TD$}%
}}}}
\put(5401,-736){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$T^{-1}D$}%
}}}}
\put(6901,-2011){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$SD$}%
}}}}
\put(8326,-2018){\makebox(0,0)[lb]{\smash{{\SetFigFont{10}{12.0}{\rmdefault}{\mddefault}{\updefault}{$TSD$}%
}}}}
\end{picture}%
\end{center}
\end{figure}


Intéressons-nous à présent à l'action par homographies de $\Ga=\SL2\ZZ$ sur~$\HH$. Pour cela, introduisons le sous-ensemble $D$ de $\HH$ formé des points $z$ tels que $|z|\geq 1$ et $|\Re z|\leq 1/2$. Dans \cite{Pau}, on démontrera que cet ensemble est un \emph{domaine fondamental}\index{domaine fondamental} pour l'action de~$\Ga$ sur $\HH$, \ie $D$ est l'adhérence de son intérieur, $\HH=\bigcup_{\ga \in \Ga} \ga D$ (c'est-à-dire que $\HH$ est la réunion des images de $D$ par les éléments de $\Ga$), et ces images sont d'intérieurs deux à deux disjoints (\hbox{modulo} $\{\pm\id\}$). Donnons dans la proposition \ref{prop:domfonpartgenesldeFD} l'énoncé précis des propriétés de l'action de $\Ga$ sur $\HH$, qui seront démontrées dans \cite{Pau} (proposition~2.4).

\bprop\label{prop:domfonpartgenesldeFD}
\begin{enumerate}
\item
Pour tout $z$ dans $\HH$, il existe $g\in \Ga$ tel que $gz\in D$.

\item
Si deux points distincts $z,z'$ de $D$ sont dans la même orbite par~$\Ga$, alors ou bien $\Re z=\pm 1/2$, $|z|>1$ et $z=z'\pm 1$, ou bien $|z|=1$ et $z'=-1/z$.

\item
Posons $S=\begin{smallpmatrix} 0 & -1\\ 1 & 0\end{smallpmatrix}$, $T=\begin{smallpmatrix} 1 & 1\\ 0 & 1\end{smallpmatrix}$ et $\omega=e^{2i\pi/3}$.

Si $z\in D$, alors le stabilisateur $\Ga_z$ de $z$ dans $\Ga$ est $\{\pm\id\}$, sauf si $z=i$ où $\Ga_z=\{\pm\id,\pm \,S\}$, $z=\omega$ où $\Ga_z=\{\pm\id,\pm \,ST,\pm(ST)^2=\pm(ST)^{-1}\}$ et $z=-\overline{\omega}$ où $\Ga_z=\{\pm\id,\pm \,TS,\pm(TS)^2=\pm(TS)^{-1}\}$.

\item
Le groupe $\Ga$ est engendré par $S$ et $T$.\qed
\end{enumerate}
\eprop

\begin{rema}\label{Q}
L'action de $\Ga$ sur $\widehat\RR$ est transitive sur $\QQ\cup\{\infty\}$.
\end{rema}

\begin{proof}
Si $p/q$ est un élément de $\QQ$ avec $p,q$ des entiers premiers entre eux, alors par le théorème de Bézout, il existe des entiers~$r,s$ tels que \hbox{$ps-qr=1$}, et donc l'élément $g_{p,q}=\begin{smallpmatrix} p & r\\ q& s\end{smallpmatrix}$ de $G$ envoie~$\infty$ sur~$p/q$.
\end{proof}

L'espace topologique quotient $\Ga \backslash \HH$ est appelé la \emph{surface modulaire}. On peut la \og visualiser\fg à partir du domaine $D$. Pour cela, considérons la relation d'équivalence $\mathcal{R}$ sur $D$ définie par $z \; \mathcal{R} \; z'$ si et seulement s'il existe $\ga \in \Gamma$ tel que $z'= \ga z$.

L'application de l'espace topologique quotient $D / \mathcal{R}$ sur $\Ga \backslash \HH$, qui à la classe de $z$ modulo $\mathcal{R}$ associe sa classe modulo $\Gamma$, est un homéomorphisme (voir par exemple \cite{Kat,Dal1}). Donc $\Ga \backslash \HH$ est homéomorphe à l'espace obtenu en identifiant les deux côtés verticaux de $D$ par la translation $T$, et les arcs de cercles d'extrémités respectives $\omega$, $i$ d'une part, et $-\overline{\omega}$, $i$ d'autre part, par la transformation $S$. Cette surface est homéomorphe à une sphère privée d'un point (correspondant au point $\infty \in \overline {\HH}$), en particulier elle n'est pas compacte.

\smallskip

Les espaces topologiques quotients $\Ga \backslash G /\bKK$ et $\Ga \backslash \HH$ sont homéomorphes. En effet, l'homéomorphisme $G$-équivariant $\Theta_i$ de $G/\bKK$ dans~$\HH$, qui à $gK$ associe $gi$, induit, par passage au quotient par $\Ga$, un homéomorphisme $\Phi$ entre $\Ga \backslash G /\bKK$ et $\Ga \backslash \HH$ défini par
$$
\Phi(\Ga g \bKK)= \Ga \Theta_i(g\bKK).
$$

Cet homéomorphisme $\Phi$ nous permet de caractériser géométriquement les sous-ensem\-bles non bornés de $G/\Gamma$.

\bprop \label{borne}
Soient $A$ une partie de $G$ et $A^{-1}$ l'ensemble des inverses de~$A$. Les assertions suivantes sont équivalentes:
\begin{enumeratei}
\item\label{bornei}
L'ensemble $A\Gamma \subset G / \Gamma$ n' est pas borné.

\item\label{borneii}
L'ensemble $ \Phi(\Gamma A^{-1}\bKK) \subset \Ga \backslash \HH$ n'est pas borné.

\item\label{borneiii}
Il existe une suite $(a_n)_{n\geq0}$ de $A$ et une suite $(\gamma_n)_{n\geq0}$ de $\Gamma$ telles que les points $z_n\Theta_i(\gamma_n{a_n}^{-1}\bKK)$ vérifient $\lim_{n \to +\infty}\;\Im z {_n} = +\infty$.
\end{enumeratei}
\eprop

\begin{proof}
L'équivalence entre \eqref{bornei} et \eqref{borneii} repose sur le fait que l'application de $G$ dans $G$ qui à $g$ associe $g^{-1}$ induit un homéomorphisme entre les espaces $\Gamma \backslash G$ et $G / \Gamma$, et que $\bKK$ est compact (voir le lemme~2.1 de \cite{Pau}).

L'équivalence entre \eqref{borneii} et \eqref{borneiii} se démontre en utilisant l'application~$\Phi$, la proposition \ref{prop:domfonpartgenesldeFD} démontrée dans \cite{Pau}, et le fait que l'injection canonique de~$D$ dans $\HH$ est propre.
\end{proof}

Après cette introduction géométrique, revenons aux formes quadratiques binaires.

\Subsection*{Formes quadratiques binaires et trajectoires non bornées}
Posons $e_1=(1,0)$, $e_2=(0,1)$ et $Q_0=P_{(e_1,e_2)}$. On a
$$
Q_0(X,Y)=XY.
$$
Le groupe diagonal $H$, introduit au début de ce paragraphe, est la composante connexe de l'identité dans le groupe orthogonal $O(Q_0)$ de $Q_0$, défini par
$$
O(Q_0)=\{ g \in G\sep \forall w \in \RR^2, \; Q_0(gw)=Q_0(w) \}.
$$
Nous notons $\Q{^1}$ l'ensemble des éléments $P_{(u,v)}$ de $\Q$ tels que $\det(u,v)=1$. Pour tout $P_{(u,v)} \in \Q{^1}$, il existe un unique $g' \in G$ tel que
$$
{}^t\!g'(e_1)=u \quad \text{et} \quad {}^t\!g'(e_2)= v.
$$
On a donc, pour tout $w \in \RR^2$,
$$
P_{(u,v)}(w)=Q_0(g'w).
$$
Grâce à cette relation, on peut relier l'ensemble $P_{(u,v)}(\ZZ^2)$ à l'orbite de $ g' \Ga \in G / \Ga$ sous l'action par translations à gauche du groupe $H$ sur $G / \Ga$.

\begin{theo} \label{nonborne}
Soient $x<y$ deux irrationnels. Notons $P$ la forme quadratique $P(X,Y)=(X + xY)(X + yY)$, et $g \in G$ la matrice définie par
$$g= \frac{1}{\sqrt{y-x}}
\arraycolsep3pt\begin{pmatrix} 1 & x \\ 1 & y
\end{pmatrix}.
$$
Les propriétés suivantes sont équivalentes.
\begin{enumeratei}
\item\label{nonbornei}
Le sous-ensemble $Hg\Gamma$ de $G / \Ga$ n'est pas borné.

\item\label{nonborneii}
Le réel $0$ appartient à l'ensemble $\overline{ P(\ZZ^2)\moins\{0\}}$.

\item\label{nonborneiii}
Le réel $x$ ou $y$ est bien approché.
\end{enumeratei}
De plus, si l'une de ces conditions est vérifiée, alors il existe une suite non bornée $(h_n)_{n\geq0}$ dans $H$ pour laquelle la suite $(h_n g \Gamma)_{n\geq0}$ converge dans $G / \Ga$.
\end{theo}

\begin{proof}
L'équivalence entre les propriétés \eqref{nonborneii} et \eqref{nonborneiii} a été déjà démontrée (voir le théorème \ref{theoP}).

Remarquons que pour tout $w \in \RR^2$ on a
$$
P(w)= (y-x)Q_0(gw).
$$

Démontrons que \eqref{nonbornei} entraîne \eqref{nonborneii}. Supposons que la partie $Hg\Ga$ de $G / \Ga$ ne soit pas bornée. D'après la proposition \ref{borne}, il existe des suites $(h_n)_{n\geq0}$ dans $H$ et $(\ga_n)_{n\geq0}$ dans $\Ga$ telles que les points $z_n= \Theta_i(\gamma_n{(h_n g)}^{-1}\bKK)$ vérifient $\lim_{n \to +\infty}\;\Im z {_n} = +\infty$. Posons
$$
\gamma_n{(h_n g)}^{-1}=
\begin{pmatrix} A_n & B_n \\ C_n & D_n
\end{pmatrix}.
$$
On a $\Im z {_n}= \sfrac{1}{(C_n^2 + D_n^2)}$, donc $\lim_{n \to +\infty} C_n = \lim_{n \to +\infty} D_n = 0$. Par ailleurs, $h_n g {\ga_n}^{-1}$ est une matrice de la forme
$$
\begin{pmatrix} t_n(a_n+ xc_n)& t_n(b_n + xd_n) \\ \frac{1}{t_n}(a_n + yc_n) & \frac{1}{t_n}(b_n + yc_n)
\end{pmatrix},
$$
où $a_n, b_n,c_n,d_n$ sont des entiers vérifiant $a_nd_n-b_nc_n=1$, et $t_n$ est un réel strictement positif. On a
\[
D_n= t_n(a_n+ xc_n)\quand -C_n = \frac{1}{t_n}(a_n + yc_n),
\]
donc
$$
\lim_{n \to +\infty}t_n(a_n+ xc_n)=\lim_{n \to +\infty}\frac{1}{t_n}(a_n + yc_n)=0.
$$
Par ailleurs $D_n$ et $C_n$ ne sont pas nuls donc $(P(a_n,c_n))_{n\geq0}$ est une suite de $P(\ZZ^2)\moins\{0\}$ qui converge vers $0$, ce qui démontre \eqref{nonborneii}.

\smallskip
Démontrons que \eqref{nonborneiii} entraîne \eqref{nonbornei}. Supposons par exemple que $x$ soit bien approché. D'après la proposition \ref{borne}, démontrer \eqref{nonbornei} revient à démontrer que $\Phi (\Ga g^{-1}H)$ n'est pas borné dans $\Ga \backslash \HH$. Posons $g'=g^{-1}$. On a
$$
g'= \frac{1}{\sqrt{y-x}}
\begin{pmatrix} y & -x \\ -1 & 1
\end{pmatrix}.
$$

Raisonnons sur le demi-plan ouvert $\HH= \{z \in \CC\sep \Im z > 0\}$. L'ensemble $\Theta_i(g'H\bKK)$ est l'image par $g'$ du demi-axe imaginaire $\Theta_i(H\bKK)$, c'est donc le demi-cercle dont le diamètre est le segment d'extrémités $g'(\infty)= -y$ et $g'(0)= -x$. Soit $\ga $ un élément de $\Ga$ tel que $x'= \ga (-x)> 0$ et $y'=\ga (-y) < 0$ (l'existence d'un tel élément est garantie par le Fait $1$ démontré au cours de la démonstration de la proposition \ref{prop1}). Le réel $x'$ est également bien approché (voir la remarque \ref{h(x)}). Donc, d'après le théorème \ref{theoQ}, son développement en fractions continues $(n_i)_{i\geq0}$ n'est pas borné. Introduisons la translation $T(z)=z+1$ et l'homographie $F(z)=\sfrac{z}{(1+ z)}$. On a $F^{n}(z)= \frac{1}{n+\sfrac{1}{z}}$, donc
$$
x' = \lim_{k \to +\infty}T^{n_0}F^{n_1}T^{n_2} \cdots T^{n_{2k}}F^{n_{2k+1}}(x'_{2k+2}),
$$
où $x'_{2k+2}$ est un irrationnel strictement supérieur à $1$. Soit $(n_{k_p})_{p\geq0}$ une suite extraite strictement croissante. On peut supposer que les~$k_p$ sont tous pairs ou tous impairs.

Dans le premier cas, posons
$$
\ga_p=T^{n_0}F^{n_1}T^{n_2} \cdots T^{n_{k_p -2}}F^{n_{k_p -1}}.
$$
Par construction, ${\ga_p}^{-1}(x')>n_{k_p}$, donc
$$
\lim_{p \to +\infty}{\ga_p}^{-1}(x')= +\infty.
$$
Pour $p \geq 2$, les coefficients de $\ga_p$ sont des entiers naturels strictement positifs et le déterminant de $\ga_p$ est égal à $1$, donc la matrice associée à $\ga_p$, que nous notons encore $\ga_p$, appartient au groupe $\Ga$.

Le réel $y'$ est strictement négatif et les coefficients de $\ga_p$ sont strictement positifs donc ${\ga_p}^{-1}(y')$ est un réel négatif. Par conséquent, l'ensemble $\Theta_i({\ga_p}^{-1}\ga g'H\bKK)$ est un demi-cercle. Puisque l'une de ses extrémités est négative et l'autre est positive et tend vers $+\infty$, pour~$p$ grand, ce demi-cercle rencontre le domaine fondamental~$D$ de~$\Ga$ (intro\-duit avant la proposition \ref{prop:domfonpartgenesldeFD}) en des points $z_p$ qui vérifient
\begin{equation}\label{eq:C} \lim_{p \to +\infty}\;\Im z {_p} = +\infty.
\end{equation}
D'après la proposition \ref{borne}, l'ensemble $Hg\Ga$ n'est pas borné dans $G/\Ga$.

\smallskip

Si l'on suppose que les $k_p$ sont tous impairs, on pose alors
$$
\ga_p=T^{n_0}F^{n_1}T^{n_2} \cdots T^{n_{k_p -1}}S,
$$
avec $S(z)=-\sfrac{1}{z}$. Cet élément appartient à $\Ga$. Par construction, $ {\ga_p}^{-1}(x')$ est un irrationnel négatif strictement inférieur à $-n_{k_p}$, donc
$$
\lim_{p \to +\infty}{\ga_p}^{-1}(x')= -\infty.
$$
Pour tout $p$, le réel ${\ga_p}^{-1}(y')$ est strictement positif, donc l'ensemble $\Theta_i({\ga_p}^{-1}\ga g'H\bKK)$ est un demi-cercle qui, pour $p$ grand, rencontre le domaine~$D$ en des points $z_p$ qui vérifient également la condition \eqref{eq:C}.

\smallskip

Montrons à présent que sous l'hypothèse \eqref{nonborneiii}, il existe une suite non bornée $(h_n)_{n\geq0} \subset H$ telle que $(h_ng\Ga)_{n\geq 0}$ converge dans $G / \Ga$. Pour cela il suffit de revenir à la démonstration précédente. En effet, nous avons mis en évidence une suite de demi-cercles de la forme $\ga_ng^{-1}H(i)$, où $(\ga_n)_{n\geq0}$ est une suite non bornée de $\Ga$, qui rencontre le domaine $D$ en des points $z_n$ vérifiant $\lim_{n \to +\infty}\;\Im z {_n} = +\infty$. Pour~$n$ assez grand, chaque demi-cercle contient nécessairement un point~$z'_n$ tel que $\Im z'_n = 1$.

Pour chaque $z'_n$, il existe un entier $p_n$ tel que $T^{p_n}(z'_n) \in D$. Donc la suite $(T^{p_n}(z'_n))_{n\geq N}$ est incluse dans un compact de $\HH$. Soit~\hbox{$h_n\!\in\!H$} tel que $z'_n=\ga_ng^{-1}h_n(i)$, cette suite n'est pas bornée et la suite $(\Ga g^{-1}h_n)_{n\geq N}$ est incluse dans un compact de $\Ga \backslash \HH$, donc quitte à extraire une sous-suite, $(h_n^{-1}g\Ga)_{n\geq N}$ converge dans $G/\Ga$.
\end{proof}

Nous allons maintenant donner une caractérisation arithmétique des sous-ensembles fermés de la forme $Hg\Ga \subset G / \Ga$, en commençant par ceux qui sont compacts.

\Subsection*{Formes quadratiques binaires et trajectoires compactes}

\bprop \label{compacte}
Soit $g \in G$. Les assertions suivantes sont équivalentes.
\begin{enumeratei}
\item\label{compactei}
Il existe $h \in H$ différent de l'identité, tel que $g^{-1}hg \in \Ga$.

\item\label{compacteii}
Le sous-ensemble $Hg\Ga \subset G / \Ga$ est compact.
\end{enumeratei}
\eprop

\begin{proof}
Supposons \eqref{compactei}. Il existe donc $h \in H \moins\{\id\}$ et $\ga \in \Ga$ tels que $g^{-1}hg=\ga$. Cette hypothèse entraîne l'égalité suivante sur $G / \Ga$
$$
hg\Ga=g\Ga.
$$
Posons\vspace*{-3pt}
$$
h=
\begin{pmatrix} t_0 & 0 \\ 0 & 1 / t_0
\end{pmatrix}.
$$
Quitte à remplacer $h$ par $h^{-1}$, on peut supposer $t_0>1$. Soit $C$ le compact de $H$ défini par\vspace*{-3pt}
$$
C = \Big\{\begin{pmatrix} t & 0 \\ 0 & 1 / t
\end{pmatrix}\sep 1 \leq t \leq t_0 \Big\}.
$$
Pour tout $h' \in H$, il existe $k \in C$ et $n \in \ZZ$, tels que $h'= kh^n$. Donc\vspace*{-3pt}\enlargethispage{\baselineskip}
$$
Hg\Ga=Cg\Ga.
$$
L'application $\pi_g$ de $H$ dans $G / \Ga$ qui à $h'$ associe $h'g\Ga$ étant continue, l'ensemble $Cg\Ga$ est compact.

Réciproquement si l'ensemble $Hg\Ga$ est compact, alors l'application~$\pi_g$ n'est pas injective. Il existe donc $h \in H$ différent de l'identité tel que $hg\Ga=g\Ga$. Par conséquent, il existe $\ga \in \Ga$ tel que $g^{-1}hg=\ga$.
\end{proof}

Grâce à cette proposition, on obtient le lien suivant entre les ensembles compacts $Hg\Ga \subset G / \Ga$ et les formes quadratiques binaires.

\begin{coro}\label{corosansnom}
Soient $x<y$ deux irrationnels. Notons $P$ la forme quadratique définie par $P(X,Y)=(X + xY)(X + yY)$ et $g \in G$ la matrice définie par\vspace*{-3pt}
$$\arraycolsep3pt
g= \frac{1}{\sqrt{y-x}}
\begin{pmatrix} 1 & x \\ 1 & y
\end{pmatrix}.
$$
Les propriétés suivantes sont équivalentes.
\begin{enumeratei}
\item\label{corosansnomi}
Le sous-ensemble $Hg\Ga \subset G / \Ga$ est compact.

\item\label{corosansnomii}
Les irrationnels $x$ et $y$ sont solutions d'un même polynôme de degré $2$ à coefficients entiers.

\item\label{corosansnomiii}
La forme quadratique $P$ est rationnelle.
\end{enumeratei}
\end{coro}

\begin{proof}
L'équivalence entre \eqref{corosansnomii} et \eqref{corosansnomiii} est claire.

\smallskip
L'implication \eqref{corosansnomi} entraîne \eqref{corosansnomii} est une conséquence de la proposition~\ref{compacte}. En effet, si le sous-ensemble $Hg\Ga$ est compact, alors il existe $h \in H$ tel que $g^{-1}hg \in \Ga$. Donc il existe $t>0$ tel que les réels $yt-\sfrac{x}{t}$, $txy-\sfrac{xy}{t}$, $-t+\sfrac{1}{t}$ et $-tx+\sfrac{y}{t}$ soient des entiers. Ceci entraîne que les réels $xy$ et $x+y$ sont des rationnels, et donc que la condition \eqref{corosansnomii} est satisfaite.

Il reste à démontrer \eqref{corosansnomii} entraîne \eqref{corosansnomi}. Pour cela considérons la matrice $g^{-1}$. On a
$$
g^{-1}= \frac{1}{\sqrt{y-x}}
\begin{pmatrix} y & -x \\ -1 & 1
\end{pmatrix}.
$$

Posons, $U=(y,-1)$ et $V=(-x,1)$. Par hypothèse, les réels $-y$ et $-x$ sont solutions d'un polynôme de degré $2$ à coefficients entiers. D'après la remarque \ref{homo}, il existe une homographie différente de l'identité $h'(z)=\frac{nz+p}{mz+q}$, où $n, m, p, q$ sont des entiers vérifiant $nq-mp=1$, les fixant. Autrement dit, il existe $\ga \in \Ga$ différent de l'identité, et $\lambda \neq 0$ tels que $\ga(U)=\lambda U$ et $\ga (V)= \frac{1}{\lambda}V$. Par conséquent $g\ga g^{-1}(e_1)= \lambda e_1$ et $g\ga g^{-1}(e_2)\frac{1}{\lambda}e_2$. Il existe donc $h\in H$ différent de l'identité tel que $g\ga g^{-1}=h$, ce qui montre, d'après la proposition~\ref{compacte}, que l'ensemble $Hg\Ga$ est compact.
\end{proof}

\Subsection*{Formes quadratiques binaires et trajectoires fermées non bornées}

Intéressons-nous maintenant aux sous-ensembles fermés non bornés de la forme $Hg\Ga \subset G / \Ga$.

\bprop \label{fermenonborne}
Soit $g =\begin{smallpmatrix} a & b \\ c & d\end{smallpmatrix} \in G $. Les assertions suivantes sont équiva\-lentes.
\begin{enumeratei}
\item\label{fermenonbornei}
Les vecteurs $(a,b)$ et $(c,d)$ sont colinéaires à des vecteurs de~$\QQ^2$.

\item\label{fermenonborneii}
Le sous-ensemble $Hg\Ga$ est fermé et non borné dans $G / \Ga$.
\end{enumeratei}
\eprop

\begin{proof}
Démontrons que \eqref{fermenonbornei} entraîne \eqref{fermenonborneii}. Supposons que les vecteurs $(a,b)$ et $(c,d)$ soient colinéaires à des vecteurs de $\QQ^2$ et écrivons $g$ sous la forme $g=h_0g_0$, où $h_0$ est une matrice diagonale et $g_0$ est à coefficients entiers. En utilisant cette écriture et le fait qu'une suite d'entiers convergeant vers~$0$ est stationnaire, on montre que le sous-ensemble $Hg\Ga$ est fermé dans $G$. Par ailleurs il est invariant à droite par $\Gamma$, donc sa projection sur l'espace $ G/\Ga$ est fermée. Posons $g'=g^{-1}$. Pour montrer que $Hg\Ga$ n'est pas borné, nous allons montrer, en nous appuyant sur la proposition \ref{borne}, que l'ensemble $\Theta_i(\Ga g'H\bKK)$ n'est pas borné dans le quotient $\Ga \backslash \HH$. Par hypothèse, l'ensemble $\Theta_i(g'H\bKK)$ est une demi-droite ou un demi-cercle dont les extrémités sont rationnelles.

Dans le premier cas, il existe une translation entière \hbox{$T^m(z)\!=\!z\!+\! m$} telle que l'ensemble $\Theta_i(T^m g'H\bKK)$ soit une demi-droite verticale rencontrant le domaine fondamental $D$ de $\Ga$ en une demi-droite. Ceci entraîne, par la proposition \ref{borne}, que l'ensemble $Hg\Ga$ n'est pas borné dans $G / \Ga$.

Le deuxième cas se ramène au premier en utilisant la remarque \ref{Q}.

\smallskip

Démontrons \eqref{fermenonborneii} entraîne \eqref{fermenonbornei}. Supposons que l'ensemble $Hg\Ga$ soit fermé et non borné dans $G / \Ga$. Considérons l'action à droite de $\Ga$ sur le quotient $H \backslash G$, qui est un espace localement compact car $H$ est fermé (voir le paragraphe~2 de \cite{Pau}). L'ensemble $Hg\Ga$ est fermé dans $H \backslash G$, car il est fermé dans $G$ (par définition de la topologie quotient) et est invariant à droite par $H$.

Si $(a,b)$ et $(c,d)$ ne sont pas colinéaires à des vecteurs de $\QQ^2$, alors d'après le théorème \ref{nonborne}, dont l'hypothèse est vérifiée car $Hg\Gamma$ n'est pas borné, il existe une suite non stationnaire $(Hg\ga _n)_{n\geq0}$ qui converge vers $Hg$ dans $H \backslash G$. Chaque voisinage de $Hg$ dans l'espace topologique $Hg\Gamma$ rencontre donc la suite $(Hg\ga _n)_{n\geq0}$, ce qui montre que $\{Hg\}$ est un fermé d'intérieur vide de l'espace topologique $Hg\Gamma$. Par ailleurs, pour tout $\gamma \in \Gamma$, la suite $(Hg\ga _n \gamma)_{n\geq0}$ converge vers $Hg\gamma$, donc cet espace est une union dénombrable de fermés d'intérieur vide. Ceci est impossible car par le théorème de Baire, son intérieur serait vide.

Sinon, supposons par exemple que $(c,d)$ appartienne à $\QQ^2$. Posons $g'=g^{-1}$. Quitte à remplacer $g'$ par $\ga g'$, avec $\ga \in \Ga$, on peut supposer que $g'$ est de la forme
$$g'=
\begin{pmatrix} a' & b' \\ 0 & d'
\end{pmatrix},$$
avec $b'd'\!>\!0$. En effet, si $c\!=\!0$, il suffit de prendre un entier $n\!>\!\sfrac{b}{a}$ et de poser
$$\arraycolsep3pt
\gamma=
\begin{pmatrix} 1 & n \\ 0 & 1
\end{pmatrix}.
$$
Sinon, introduisons des entiers $p,q,u,v$ tels que $\sfrac{-d}{c}=\sfrac{p}{q}$ et $pu+qv=1$ et posons
$$\arraycolsep3pt
\gamma_1=
\begin{pmatrix} 1 & n \\ 0 & 1
\end{pmatrix}\quad \text{et}\quad \gamma_2=
\begin{pmatrix} u & v \\ -q & p
\end{pmatrix}.
$$
Pour un entier $n>0$ suffisamment grand, l'élément $\gamma= \gamma_1 \gamma_2$ convient.

\smallskip

Intéressons-nous à présent à la géodésique $\Theta_i(g'H\bKK)$. Par hypothèse, c'est une demi-droite verticale de $\HH$ d'extrémité $x=\sfrac{b'}{d'} >0$. Supposons que $x$ soit un irrationnel. Considérons la suite d'homographies $(g_k)_{k\geq0}$ intervenant dans son développement en fractions continues. On a $g_k^{-1}(x)=x_{k+1} >1$ et $g_k^{-1}(\infty)<0$, donc la droite horizontale d'équation $\Im z = \sfrac{1}{2}$ dans $\HH$ est rencontrée par tous les demi-cercles $\Theta_i(g_k^{-1}g'H\bKK)$. Notons $z_k$ un point d'intersection de ces deux courbes et $h_k \in H$ tel que $\Theta_i(g_k^{-1}g'h_k\bKK)=z_k$. Remarquons que la suite $(h_k)_{k\geq0}$ n'est pas bornée, car les $g_k^{-1}$ sont des éléments tous différents de $\Gamma$ et $\Im z_k = \sfrac{1}{2}$. Il existe une suite d'entiers naturels $p_k$ telle que la suite $(T^{p_k}(z_k))_{k\geq2}$ soit bornée. La sous-suite impaire extraite de $(T^{p_k}g_k^{-1}g'h_k)_{k\geq0}$ appartient à $G$, car $\det g_k =(-1)^{k-1}$. On~a $g_k^{-1}g'h_k(i)=z_k$. Posons $T^{p_k}g_k^{-1}g'h_k(i)=\sfrac{(a_ki+b_k)}{(c_ki+d_k)}$, avec $a_kd_k-b_kc_k=1$. Quitte à extraire une sous-suite, on peut supposer que la sous-suite impaire extraite de $\big(\sfrac{(a_ki+b_k)}{(c_ki+d_k)}\big)_{k\geq0}$ converge vers un point de $\HH$, ce qui entraîne que les sous-suites impaires extraites de $(a_k)_{k\geq0}$, $(b_k)_{k\geq0}$, $(c_k)_{k\geq0}$ et $(d_k)_{k\geq0}$ convergent. Autrement dit, on peut supposer que la sous-suite impaire extraite de $(T^{p_k}g_k^{-1}g'h_k)_{k\geq0}$ converge dans $G$, et donc, par passage à l'inverse, que celle extraite de $(h_k^{-1}gg_kT^{-p_k})_{k\geq0}$ converge aussi. On obtient ainsi une sous-suite non stationnaire de la suite $(Hgg_kT^{-p_k})_{k\geq0}$, qui est incluse dans $H \backslash G$ et qui converge vers un élément de $Hg\Gamma$, puisque cet ensemble est fermé. On en déduit que, pour tout $\gamma \in \Gamma$, le singleton $\{Hg\gamma\}$ est un fermé d'intérieur vide dans l'ensemble $Hg\Gamma \subset H\backslash G$ muni de la topologie induite. Par le théorème de Baire, l'intérieur de cet ensemble est vide, ce qui est impossible.

\smallskip

En conclusion, les vecteurs $(a,b)$ et $(c,d)$ appartiennent à $\QQ^2$.
\end{proof}


On déduit de ces résultats et de la proposition \ref{rationnelle} les équivalences suivantes

\begin{coro} \label{ratio}
Soient $P \in \Q{^1}$ et $g \in G$ tels que $P=Q_0\circ g$. Les assertions suivantes sont équivalentes.
\begin{enumeratei}
\item\label{ratioi}
Le sous-espace $Hg\Ga \subset G / \Ga$ est fermé.

\item\label{ratioii}
La forme $P$ est rationnelle.
\end{enumeratei}
De plus, $Hg\Ga$ est compact si et seulement si la forme $P$ est rationnelle et ne représente pas $0$.
\end{coro}

\begin{proof}
Posons
$$\arraycolsep3.5pt
g=\begin{pmatrix} a & b \\ c & d
\end{pmatrix}.
$$
On a $P(X,Y)=(aX+bY)(cX+dY)$.

Si $a$ (ou $c$) est nul, alors $P$ est rationnel si et seulement si $\sfrac{d}{c}$ (ou~$\sfrac{b}{a}$) est rationnel et donc, d'après la proposition \ref{fermenonborne}, si et seulement si $Hg\Ga$ est fermé et non borné. Supposons que $a$ et $c$ ne soient pas nuls.

Montrons que \eqref{ratioii} entraîne \eqref{ratioi}. Posons
\[
Q(X,Y)=(X+ \Psfrac{b}{a}Y)(X+\Psfrac{d}{c}Y).
\]
On a $P(X,Y)=acQ(X,Y)$. Si $P$ est rationnel, alors $Q$ l'est aussi et donc, d'après la proposition \ref{Prationnel}, ou bien les réels $\sfrac{b}{a}$ et $\sfrac{d}{c}$ sont ration\-nels, ou bien $u=(a,b)$ et $v=(c,d)$ sont des vecteurs propres d'un même élément hyperbolique $\gamma$ de $\Gamma$. Dans le premier cas, on obtient, en utilisant la proposition \ref{fermenonborne}, que l'ensemble $Hg\Ga$ est fermé et non borné. Dans le second cas, on a ${}^t\!g^{-1}\gamma{}^t\!g\!\in\! H$. Donc \hbox{$g^{-1}hg\!\in\! \Gamma$}, ce~qui, d'après la proposition \ref{compacte}, entraîne que le sous-ensemble $Hg\Ga \subset G / \Ga$ est compact.

Montrons que \eqref{ratioi} entraîne \eqref{ratioii}. Supposons que $Hg\Ga$ soit fermé. Si cet ensemble n'est pas borné, d'après la proposition \ref{fermenonborne}, $u=(a,b)$ et $v=(c,d)$ sont colinéaires à des vecteurs de $\QQ^2$, donc $P$ est rationnel. Sinon, d'après la proposition \ref{compacte}, il existe $h \in H$ non trivial tel que $g^{-1}hg$ appartienne à $\Gamma$. Cette propriété entraîne que le vecteur $(ac, ad+bc,bd)\in \RR^3$ est colinéaire à un vecteur de $\QQ^3$, et donc que~$P$ est rationnel.
\end{proof}

\Subsection*{Formes quadratiques binaires et trajectoires denses}

À l'opposé des sous-ensembles fermés $Hg\Ga \subset G / \Ga$ se trouvent les sous-ensembles denses. De tels sous-ensembles peuvent être cons\-truits en utilisant la théorie des approximations diophantiennes (voir \cite{Dal1,DN}). On peut en effet montrer que si $y$ est un ir\-ra\-tion\-nel positif et si $g$ est la matrice définie par
\enlargethispage{\baselineskip}%
$$\arraycolsep3pt
g = \frac{1}{\sqrt{y}}
\begin{pmatrix} 1 & 0 \\ 1 & y
\end{pmatrix},
$$
alors $Hg\Ga$ est dense dans $G / \Ga$ si et seulement si toute suite finie de~$\NN$ est une sous-suite du développement en fractions continues de~$y$ (\cite[Cor.\,4.5]{DN} ou \cite[Ch.\,II \& IV]{Dal1}).

Remarquons que s'il existe une suite $(h_n)_{n\geq0}$ de $H$ et une suite $(\ga{_n})_{n\geq0}$ dans $\Ga$ telles que $(h_n g \ga{_n})_{n\geq0}$ converge vers $g' \in G$, alors pour tout $w \in \RR^2$,
$$
\lim_{n \to +\infty}Q_0(g \ga{_n}(w))=Q_0(g'w).
$$
Donc
$$
Q_0(g'\ZZ^2) \subset \overline {Q_0(g \ZZ^2)}.
$$

Par conséquent, on peut énoncer la proposition suivante.

\bprop Soient $P \in \Q{^1}$ et $g \in G$ tels que $P =Q_0 \circ g$. Si~l'ensemble $Hg\Ga$ est dense dans $G / \Ga$, alors
$$
\overline {P(\ZZ^2)}= \RR.\eqno\qed
$$
\eprop

La réciproque de la proposition ci-dessus est fausse. Il suffit par exemple de considérer le réel $y$ dont le développement en fractions continues est la suite $(n_i)_{i\geq0}$ définie par $n_i=2^i$ et la matrice
$$\arraycolsep3pt
g = \frac{1}{\sqrt{y}}
\begin{pmatrix} 1 & 0 \\ 1 & y
\end{pmatrix}.
$$

D'après \cite[Cor.\,4.5]{DN} ou \cite[Ch.\,II \& IV]{Dal1}, l'ensemble $Hg\Ga$ n'est pas dense dans $G / \Ga$. Considérons maintenant la forme quadratique $P=Q_0 \circ g $, qui s'écrit encore $P(X,Y)= \frac{X}{y}(X + yY)$. Le réel~$y$ étant supérieurement et inférieurement bien approché, d'après le corol\-laire \ref{dense}, on a $\overline {P(\ZZ^2)}= \RR$.

\Subsection*{Formes quadratiques binaires et trajectoires bornées non fermées}

Avant de terminer ce texte, nous allons étudier un cas intermédiaire d'orbite sous $H$, c'est-à-dire un sous-ensemble $Hg\Ga$ borné et non fermé dans $G / \Ga$, en nous appuyant sur l'étude de la forme quadratique
$$
F_{\phi}(X,Y)=X^2-{\phi}^2 Y^2,
$$
avec $\phi= \sfrac{(1+\sqrt{5})}{2}$, faite dans le paragraphe précédent.

\bprop \label{prop:bornenonferme} Soit $g$ la matrice de $G$ définie par
$$
g =\frac{1}{\sqrt{2\phi}}
\begin{pmatrix} 1 & -\phi \\ 1 & \phi
\end{pmatrix}.
$$

L'ensemble $Hg\Ga$ n'est pas fermé et est borné dans $G / \Ga$. De plus $\overline{Hg\Ga}\moins Hg\Ga$ est la réunion d'un nombre fini d'orbites compactes.
\eprop

\begin{proof}
La matrice $g$ et la forme $F_{\phi}$ sont liées par la relation
$$F_{\phi}(w)=2\phi Q_0(gw),$$
pour tout $w\in \RR^2$.

Le fait que l'ensemble $Hg\Ga \subset G / \Ga$ ne soit pas fermé et soit borné est une conséquence directe du corollaire \ref{ratio}, car $F_{\phi}$ n'est pas rationnel, et du théorème \ref{nonborne}, car $\phi$ est un réel mal approché.

Intéressons-nous à l'adhérence de $Hg\Ga$. Soit $g' \in \overline{Hg\Ga}\moins Hg\Ga$, il existe une suite $(h_n)_{n\geq0}$ non bornée dans $H$ et $(\ga_n)_{n\geq0}$ dans~$\Ga$ telles que $\lim_{n \to +\infty}h_ng\ga_n=g'$. Pour tout $w\in \RR^2$, on a donc $\lim_{n \to +\infty}Q_0(h_ng\ga_n(w))=Q_0(g'(w))$, ce qui entraîne l'inclusion
$$
2\phi Q_0(g'(\ZZ^2)) \subset \overline{F_{\phi}(\ZZ^2)}.
$$
Rappelons que, d'après la proposition \ref{formephi}, l'ensemble $F_{\phi}(\ZZ^2)$ est discret (pour la topologie induite) et que
$$
\overline{F_{\phi}(\ZZ^2)}-F_{\phi}(\ZZ^2)=Q(\ZZ^2)\moins\{0\},
$$
où $Q$ désigne la forme quadratique rationnelle définie par
$$
Q(X,Y)= \frac{2{\phi}^2}{1+{\phi}^2} (X^2 - XY-Y^2).
$$
Soit $w \in \ZZ^2$. Posons $w_n=\ga_n(w)$. La suite $(F_{\phi}(w_n))_{n\geq 0}$ converge vers $2\phi Q_0(g'(w))$. Montrons que cette limite appartient à l'ensemble $Q(\ZZ^2)$. Si ce n'est pas le cas, puisque $F_{\phi}(\ZZ^2)$ est un ensemble discret, cette suite est stationnaire à partir d'un certain rang, autrement dit, si l'on pose $w_n=(x_n,y_n)$, alors la quantité ${x_n}^2-\phi^2{y_n}^2$ est constante à partir d'un rang $N$. Puisque $\phi^2$ est un irrationnel, quitte à extraire une sous-suite, on peut supposer que la suite $(w_n)_{n\geq 0}$ est constante et donc que l'on a $h_ng(w_n)=h_ng(w_0)$, ce qui est impossible car la suite $(h_ng(w_0))_{n\geq0}$ converge, et la suite $(h_n)_{n\geq0}$ n'est pas bornée. Par conséquent, on a l'inclusion
$$
2\phi Q_0(g'\ZZ^2)) \subset Q(\ZZ^2).
$$
Or
$$
Q(X,Y)= \frac{2{\phi}^2}{1+{\phi}^2} (X^2 - XY-Y^2),
$$
ce qui montre que la forme quadratique $Q_0 \circ g'$ est rationnelle. En appliquant le corollaire \ref{ratio}, on obtient que le sous-ensemble $Hg'\Ga \subset G/\Ga$ est fermé. Par ailleurs cet ensemble est borné, car il est inclus dans $\overline{Hg\Ga}$, donc $Hg'\Ga$ est compact.

En conclusion, si $Hg'\Ga$ est inclus dans $\overline{Hg\Ga}$, alors ou bien $Hg'\Ga = Hg\Ga$, ou bien $Hg'\Ga$ est compact dans $G/\Ga$.

\smallskip
Montrons à présent que l'ensemble $\overline{Hg\Ga}\subset G/\Ga$ ne contient qu'un nombre fini d'orbites compactes sous l'action de $H$. Nous allons nous appuyer sur deux résultats intermédiaires.

Plaçons-nous dans le demi-plan ouvert supérieur $\HH$ et considérons l'action de $\Ga$ par homographies. On rappelle (voir la proposition \ref {prop:domfonpartgenesldeFD}), que le sous-ensemble $D$ de $\HH$ formé des points $z$ tels que $|z|\geq 1$ et $|\Re z|\leq 1/2$ est un domaine fondamental pour cette action et que les homographies $T(z)=z+1$ et $S(z)=\sfrac{1}{-z}$ engendrent $\Ga$.

\begin{enonce*}{Fait 1}
Soit $C$ un demi-cercle inclus dans $\HH$, centré en un réel. Si l'une des extrémités de $C$ est irrationnelle, alors il existe un élément $\ga$ de~$\Ga$, tel que le demi-cercle $\ga C$ rencontre le domaine $D$ et le domaine $S(D)$.
\end{enonce*}

\begin{proof}
Quitte à remplacer $C$ par $\ga C$, avec $\ga \in \Ga$, on peut supposer que $C$ rencontre l'intérieur de $D$. Soient $z$ un point appartenant à l'intérieur de~$D$ et à~$C$, et $x$ une extrémité irrationnelle de~$C$. Le point $\infty$ est l'intersection de l'adhérence du domaine~$D$ dans $\overline{\HH}=\HH\cup\widehat\RR$ et de $\widehat\RR$. Par ailleurs, l'image de ce point par le groupe~$\Ga$ est égal à $\QQ\cup\{\infty\}$, donc, puisque $x$ est irrationnel, l'arc~$C'$ d'origine $z$, d'extrémité $x$ et porté par $C$, est recouvert par une infinité de domaines successifs de la forme $D, a_1D, a_1a_2D, a_1a_2a_3D,\dots$, avec $a_i \in \{T, T^{-1},S\}$ et ${a_i}^{-1} \neq a_{i+1}$. Puisque $C'$ n'est pas une demi-droite horizontale, l'un des $a_i$ est égal à $S$. Posons $g_i=\id$ si $i=1$, et $g_i=a_1 \cdots a_{i-1}$ si $i>1$. Le demi-cercle ${g_i}^{-1}C$ rencontre~$D$ et~$S(D)$.
\end{proof}

\begin{enonce*}{Fait 2}
Il existe un sous-ensemble fini $F \subset \RR^+$ tel que si $Hg'\Ga$ est un compact inclus dans $\overline{Hg\Ga}$ et si le demi-cercle $g'^{-1}H(i)$, d'extrémités $x=g'^{-1}(0)$ et $y= g'^{-1}(\infty)$, rencontre $D$, alors $|x-y|$ appartient à~$F$.
\end{enonce*}

\begin{proof}
Puisque $\overline{Hg\Ga}$ est un compact de $G/ \Ga$, l'ensemble $\overline{\Ga g^{-1}H(i)}$ est un compact de $\Ga \backslash \HH$. Donc d'après la proposition \ref{borne}, il existe $A>0$ tel que pour tout $\ga$ dans $\Ga$, le demi-cercle $\ga g^{-1}H(i)$ soit inclus dans l'ensemble $\{z\in\CC\sep 0<\Im z <A \}$. Remarquons que les extrémités du demi-cercle $\ga g^{-1}H(i)$ sont $\ga(-\phi)$ et $\ga(\phi)$. Donc il~existe $A'>0$ tel que si $\ga$ est dans $\Ga$, alors $ 0<|\ga(-\phi)-\ga(\phi)|\leq A'$.

Soit $Hg'\Ga$ une orbite compacte incluse dans $\overline{Hg\Ga}$. On suppose que le demi-cercle $g'^{-1}H(i)$, d'extrémités $x=g'^{-1}(0)$ et $y= g'^{-1}(\infty)$, rencontre $D$. Ces extrémités sont les limites de suites de la forme $(\ga_n(-\phi))_{n\geq0}$ et $(\ga_n(\phi))_{n\geq0}$, donc
$$
|x-y|\leq A'.
$$
Par ailleurs, il existe $B>0$ tel que si $x'$ et $y'$ sont les extrémités d'un demi-cercle centré en un réel rencontrant $D$, alors $B \leq |x'-y'|$. Puisque $g'^{-1}H(i)$ rencontre $D$, on a
$$
B \leq |x-y|.
$$

Par hypothèse, il existe des suites $(\ga_n)_{n\geq0}$ dans $\Ga$ et $(h_n)_{n\geq0}$, non bornée, dans $H$ telles que $(\ga_ng^{-1}h_n)_{n\geq0}$ converge vers $g'$.

Posons
$$
\ga_n =\begin{pmatrix} a_n & b_n \\ c_n & d_n
\end{pmatrix},
$$
où $a_n,b_n,c_n,d_n$ sont des entiers vérifiant $a_nd_n-c_nb_n=1$. On a
$$
(\ga_n(\phi)-\ga_n(-\phi))^2 =\frac{1}{(-c_n\phi+d_n)^2}\frac{1}{(c_n\phi+d_n)^2}(2\phi)^2.
$$
Donc
$$
(\ga_n(\phi)-\ga_n(-\phi))^2 \frac{1}{(F_{\phi}(d_n,c_n))^2}(2\phi)^2.
$$
La suite $(F_{\phi}(d_n,c_n))_{n\geq0}$ n'est pas stationnaire, car $(h_n)_{n\geq0}$ n'est pas bornée. Donc il existe des entiers $N$ et $M$ tels que
$$
(x-y)^2 = \frac{1}{(Q(N,M))^2}(2\phi)^2.
$$

L'ensemble $Q(\ZZ^2)$ est inclus dans un ensemble de la forme $\lambda \ZZ$ et \hbox{$B \leq |x-y|\leq A'$}, donc il existe $E>0$ et $E'>0$ tels que pour tout~$g'$ satisfaisant les conditions du Fait 2, le réel $|x-y|^2$ appartienne à l'ensemble fini $\{r>0 \sep r\in \sfrac{(2\phi)^2} {Q(\ZZ^2)} \; \text{et} \; E'<r<E \}$.
\end{proof}

Démontrons à présent que $\overline{Hg\Ga}\subset G / \Ga$ ne contient qu'un nombre fini d'ensembles compacts de la forme $Hg'\Ga$.

Soit $Hg'\Ga$ un tel ensemble. Les extrémités $x=g'^{-1}(0)$ et $y=g'^{-1}(\infty)$ du demi-cercle $g'^{-1}H(i)$ sont irrationnelles. En effet, $Hg'\Ga $ étant une orbite compacte, il existe $\ga \in \Ga$, non trivial, et $h \in H$ tels que $hg'=g'\ga$, ce qui entraîne que $x$ et $y$ sont fixés par l'homographie associée à $\ga$, donc que $x$ et $y$ sont des irrationnels (quadratiques). D'après le Fait 1, quitte à remplacer $g'$ par $g'\ga'$, avec $\ga'\in \Ga$, on peut supposer que $g'^{-1}H(i)$ rencontre les domaines $D$ et $S(D)$. En appliquant le Fait 2 à $g'$ et à $g'S$, on obtient que les réels $|x-y|$ et $|\frac{-1}{x}-\frac{-1}{y}|$ appartiennent à $F$. Par conséquent il existe un sous-ensemble fini $F' \subset \RR^+$, indépendant de $g'$, tel que $|x-y|$ et $|xy|$ appartiennent à $F'$. Ceci montre que l'ensemble des points $g'^{-1}(0)$ et $g'^{-1}(\infty)$ est fini. On conclut en remarquant que si deux éléments $g'$ et $g''$ de $G$ vérifient $g'^{-1}(0)= g''^{-1}(0)$ et $g'^{-1}(\infty)g''^{-1}(\infty)$, alors il existe $h\in H$ tel que $g''=hg'$.
\end{proof}


Une étude plus poussée, s'appuyant sur le développement en fractions continues de $\phi$ et de $-\phi$, et sur la dynamique de l'application de décalage sur des suites bilatères (voir \cite[Chap.\,II \& IV]{Dal1}), permet de montrer que $\overline{Hg\Ga}$ contient exactement deux ensembles compacts, $Hg_2\Ga$ et $Hg_1\Ga$, dont voici la description.

Introduisons les matrices suivantes de $G$.
$${\ga}_1=\begin{pmatrix} 2 & 1\\ 1 & 1
\end{pmatrix}, \ g_1 = \sqrt{ \frac{1}{10 \phi}}
\begin{pmatrix} \frac{1}{\phi}+\phi & -2-\phi \\ 2 \phi & 2
\end{pmatrix} \ \text{et} \ h_1=\begin{pmatrix} \frac{1}{1+\phi} & 0 \\ 0 & 1+\phi
\end{pmatrix}.
$$

La matrice $\ga_1$ appartient à $\Ga$ et elle est hyperbolique. Remarquons que les matrices $h_1$, $\ga_1$ et $g_1$ sont liées par une relation de conjugaison
$${g_1}^{-1}h_1g_1=\ga_1,
$$
donc d'après la proposition \ref{compacte}, l'ensemble $Hg_1\Ga$ est compact.

Par ailleurs, un simple calcul conduit à l'égalité suivante
$${h_1}^{-n}g{\ga_1}^n= {\lambda_n}^{-1}\begin{pmatrix} \frac{1}{\phi}+\phi& -2-\phi \\ 2\phi -\frac{1}{t^{2n}} & 2+\frac{\phi}{t^{2n}}
\end{pmatrix},$$
où $t=1+\phi$ et $\lambda_n = \det
\begin{pmatrix} \frac{1}{\phi}+\phi& -2-\phi \\ 2\phi -\frac{1}{t^{2n}} & 2+\frac{\phi}{t^{2n}}
\end{pmatrix}$.

Donc $\lim_{n \to +\infty}{h_1}^{-n}g{\ga_1}^n=g_1$, ce qui montre que $Hg_1\Ga$ est inclus dans $\overline{Hg\Ga}$.


En suivant la même démarche mais en remplaçant $\ga_1$, $g_1$, $h_1$ respectivement par
$${\ga}_2=\begin{pmatrix} 1 & 1\\ 1 & 2
\end{pmatrix},\ g_2 = \frac{1}{\sqrt{10\phi}}
\begin{pmatrix} 2\phi& -2\\ \frac{1}{\phi}+\phi & 1+{\phi}^2
\end{pmatrix} \ \text{et} \ h_2=\begin{pmatrix} \frac{1}{-\phi+2} & 0 \\ 0 & -\phi +2
\end{pmatrix},$$
on obtient que l'ensemble $Hg_2\Ga$ est compact et est inclus dans $\overline{Hg\Ga}$.


Comme nous le verrons dans \cite{Cou}, en dimension $n \geq 3$, il existe également un lien entre l'adhérence des ensembles $Q(\ZZ^n)$, où $Q$ est une forme quadratique sur $\RR^n$, et celle des orbites d'un sous-groupe de $\SL{n}{\RR}$, qui sera encore noté~$H$. Contrairement au cas $n=2$, ce groupe n'est plus diagonal et est engendré par des matrices dites \emph{unipotentes} dont les valeurs propres sont réelles et toutes égales à~$1$. Depuis les années $1970$, l'étude des adhérences des orbites d'un tel groupe dans l'espace des réseaux $\SL{n}{\RR} / \SL{n}{\ZZ}$ a fait l'objet de nombreux travaux, tous motivés par la conjecture de Raghunathan (voir l'introduction générale). Dans les années $1990$, M\ptbl Ratner a donné une caractérisation de ces adhérences (voir \cite{Rat2}). Cette propriété de régularité des orbites de $H$ qui, comme nous l'avons vu, est loin d'être vérifiée en dimension $n=2$, joue un rôle essentiel dans la démonstration de la conjecture d'Oppenheim.

\backmatter
\bibliographystyle{jepalpha+eid}
\bibliography{xups07-01}
\end{document}
