A temperatura média anual de São José dos Ausentes é de cerca de 14ºC.

Foi elevado à categoria de município com a denominação de São José dos Ausentes em 1992, desmembrado do município de Bom Jesus.

O município, juntamente com São Joaquim e Urupema (ambos no estado de vizinho de Santa Catarina), é considerado um dos mais frios do país.

O Pico da Rocinha, é o ponto mais alto do estado do Rio Grande do Sul, com 903 m de altitude em relação ao nível do mar.

Uma das origens do seu nome é porque poucas pessoas ficavam morando nesse local por muito tempo, devido às péssimas condições climáticas: o frio era tanto que a cidade frequentemente tinha seu povo ausente. A origem do nome do município “São José” foi porque esse era o padroeiro do lugar.