Primero de todo, necesitaremos descargar MinGW (Minimalist GNU For Windows), una colección de headers y librerías que permiten utilizar gcc y generar programas para Windows. Puedes descargarlo directamente de SourceForge.

Si descargas el instalador, él mismo se encarga de descargar e instalar una versión de MinGW, que puede ser una versión anterior, la versión actual o bien una versión candidate.

Una vez instalado, en la raiz de nuestro disco, encontraremos una carpeta mingw, que contiene, entre otros, los directorios include para los headers, lib para las librerías y la carpeta bin con el gcc y otros binarios. Será imprescindible agregar a la variable de entorno Path, el path del compilador, a menos que siempre compilemos desde el C:\MinGW\bin:

set Path=%Path%C:\MinGW\bin

Para finalizar, realizaremos un Hola Mundo:

C:\MinGW\bin>notepad holamundo.c

#include <stdio.h>

int main () {
    printf("Hola Mundo");

    return 0;
}

C:\MinGW\bin>gcc -o hola holamundo.c

C:\MinGW\bin>hola.exe
Hola Mundo