A Justiça Federal foi criada pelo decreto nº 848, de 11 de outubro de 1890. Sua instituição foi confirmada pela Constituição dos Estados Unidos do Brasil, de 1891. Foi mantida pela Carta de 1934. Com o Estado Novo, em 1937, o presidente Getúlio Vargas suprimiu diversas instituições, dentre as quais a Justiça Federal, a Eleitoral, os parlamentos e os partidos políticos. A Constituição de 1946 restabeleceu o Poder Judiciário Federal, por meio do Tribunal Federal de Recursos (2º Grau). Na época, não havia juízes federais de primeiro grau, uma vez que as atribuições de âmbito federal tinham como foro as Justiças Estaduais.

A Justiça Federal de primeira instância só seria reimplantada durante o regime militar, recriada pela lei n° 5.010, de 30 de maio de 1966. No período que mediou entre 1967 e a Constituição de 1988, a Justiça Federal permaneceu sem maiores alterações quanto à sua competência; na maior parte, resolver os casos em que a União e suas autarquias fossem partes interessadas, as causas internacionais e os crimes de interesse federal.

Com a promulgação da Constituição, ocorreram diversas mudanças, desde a crescente interiorização das varas federais até as modificações na segunda instância do Poder Judiciário Federal. Os constituintes extinguiram o Tribunal Federal de Recursos, que tinha sede em Brasília, e julgava todos os recursos originários da Justiça Federal no país, e criaram cinco Tribunais Regionais Federais, com grande autonomia em suas áreas de atuação.

Os primeiros magistrados federais, após a reimplantação, foram nomeados em 09 de maio de 1967. No Rio Grande do Sul, a Justiça foi instalada nos meses de maio e junho de 1967, ocupando algumas salas do "Palacinho da Avenida Cristóvão Colombo" emprestadas pelo Governo do Estado. Não havia móveis, nem outros materiais. Seis ou sete servidores trabalharam naquele prédio. Eles foram recrutados em outros órgãos, já que, para os primeiros cargos, poderiam ser aproveitados servidores estáveis da União. Quando foi reinstalada, a Justiça Federal recebeu mais de 3 mil ações, por redistribuição da Justiça Estadual.

A 1ª Vara Federal do Rio Grande do Sul teve como primeiro titular o então juiz federal José Neri da Silveira, hoje ministro aposentado do Supremo Tribunal Federal. Alguns meses depois, a Justiça Federal mudou-se para o edifício Protetora, em frente à praça Rui Barbosa, no centro de Porto Alegre. Nessa mesma época foram nomeados 18 servidores. Com o passar do tempo, a instituição foi se ampliando e interiorizando. As primeiras varas federais no interior foram implantadas em Rio Grande, Santa Maria e Passo Fundo, no ano de 1987.

Em 30 de março de 1989 foi instalado, em Porto Alegre, o Tribunal Regional Federal da 4ª Região, responsável pelo julgamento dos recursos originários dos estados do Rio Grande do Sul, Santa Catarina e Paraná.

Em maio de 1997, a sede da Seção Judiciária mudou-se para a Rua Otavio Francisco Caruso da Rocha, 600, no centro administrativo federal, junto ao Parque Maurício Sirotsky Sobrinho (Parque da Harmonia), em Porto Alegre, onde até hoje encontra-se fixada. O prédio-sede leva o nome do ministro Américo Godoy Ilha e abriga as varas da capital e a área administrativa da Justiça Federal.

Em 2002, por força da Lei nº 10.259/2001, foram implantados em todas as subseções da Justiça Federal da 4ª Região, os Juizados Especiais Federais (JEF). Fundados nos princípios da simplicidade, celeridade e da informalidade, e com menor quantidade de recursos aos tribunais, os Juizados Especiais Federais provocaram modificações substanciais na organização e no funcionamento da Justiça Federal, além de acolherem milhares de demandas, ampliando o acesso dos jurisdicionados à prestação jurisdicional. Com os Juizados foram instaladas as Turmas Recursais, órgãos formados por juízes de primeiro grau, responsáveis pela apreciação dos recursos contra as decisões proferidas no âmbito dos JEFs.

Atualmente a Justiça Federal no estado, está distribuída em 21 Subseções Judiciárias, que, em seus limites territoriais, dividem a competência para o exame dos processos originários de todos os municípios gaúchos, formando a Seção Judiciária do Rio Grande do Sul.