Prototipagem com modelos de IA

Se você deseja desenvolver um aplicativo de IA generativa, pode usar GitHub Models para encontrar e experimentar modelos de IA gratuitamente. Quando estiver pronto para colocar seu aplicativo em produção, você poderá alternar para um token de uma conta paga do Azure. Confira a documentação de IA do Azure.

Confira também Uso responsável do GitHub Models.

Encontrar modelos de IA

Para encontrar um modelo de IA:

1. Vá para github.com/marketplace/models.

2. Clique em Model: Select a Model no canto superior esquerdo da página.

3. Escolha um modelo no menu suspenso.

   Como alternativa, no menu suspenso, clique em View all models, clique em um modelo no Marketplace e, em seguida, clique em Playground.

O modelo é aberto no playground de modelos. Os detalhes do modelo são exibidos na barra lateral à direita. Se a barra lateral não for exibida, expanda-a clicando no ícone à direita do playground.

Experimentar modelos de IA no playground

O playground do modelos de IA é um recurso gratuito que permite ajustar parâmetros de modelo e enviar prompts para ver como um modelo responde.

Para ajustar os parâmetros do modelo, no playground, selecione a guia Parameters na barra lateral.

Para ver o código que corresponde aos parâmetros selecionados, alterne da guia Chat para a guia Código.

Comparando modelos

Você pode enviar um prompt para dois modelos ao mesmo tempo e comparar as respostas.

Com um modelo aberto no playground, clique em Compare e, no menu suspenso, selecione um modelo para comparação. O modelo selecionado é aberto em uma segunda janela de chat. Quando você digita um prompt em qualquer janela de chat, ele é espelhado para a outra janela. Os prompts são enviados simultaneamente para que você possa comparar as respostas de cada modelo.

Os parâmetros definidos são usados para ambos os modelos.

Experimentar modelos de IA usando a API

A GitHub oferece o uso gratuito da API para que você possa experimentar modelos de IA em seu próprio aplicativo.

As etapas para usar cada modelo são semelhantes. Em geral, você precisará:

1. Vá para github.com/marketplace/models.

2. Clique em Model: Select a Model no canto superior esquerdo da página.

3. Escolha um modelo no menu suspenso.

   Como alternativa, no menu suspenso, clique em View all models, clique em um modelo no Marketplace e, em seguida, clique em Playground.

   O modelo é aberto no playground de modelos.

4. Clique na guia Code.

5. Opcionalmente, use o menu suspenso de linguagem para selecionar a linguagem de programação.

6. Opcionalmente, use a lista suspensa SDK para selecionar qual SDK usar.

   Todos os modelos podem ser usados com o SDK de Inferência de IA do Azure e alguns modelos dão suporte a SDKs adicionais. Se você quiser alternar facilmente entre os modelos, selecione "SDK de Inferência de IA do Azure". Se você selecionou "REST" como linguagem, não usará um SDK. Em vez disso, você usará o ponto de extremidade de API diretamente.

7. Abra um codespace ou configure seu ambiente local:

   • Para executar em um codespace, clique em Executar codespace e clique em Criar novo codespace.
   • Para executar localmente:
     • Crie um GitHub personal access token. O token não deve ter nenhum escopo ou permissão. Confira Gerenciar seus tokens de acesso pessoal.
     • Salve seu token em uma variável de ambiente.
     • Instale as dependências para o SDK, se necessário.

8. Use o código de exemplo para fazer uma solicitação para o modelo.

O uso gratuito da API possui limitação de fluxo. Consulte os Limites de fluxo abaixo.

Como salvar e compartilhar seus experimentos de playground

Salve e compartilhe seu progresso no playground com predefinições. As predefinições salvam:

• Seu estado atual
• Seus parâmetros
• Seu histórico de chat (opcional)

Para criar uma predefinição para o contexto atual, selecione Preset: PRESET-NAME no canto superior direito do playground e clique em Create new preset. Você precisa nomear a predefinição e também pode optar por fornecer uma descrição predefinida, incluir o histórico de chat e permitir que a predefinição seja compartilhada.

Há duas maneiras de carregar uma predefinição:

• Escolha o menu suspenso Predefinição: PRESET-NAME e selecione a predefinição que deseja carregar.
• Abrir uma URL de predefinição compartilhada

Depois de carregar uma predefinição, você pode editar, compartilhar ou excluir a predefinição:

• Para editar a predefinição, altere os parâmetros e faça uma solicitação ao modelo. Quando estiver satisfeito com as alterações, escolha o menu suspenso Predefinição: PRESET-NAME e selecione Editar predefinição e salve as atualizações.
• Para compartilhar a predefinição, escolha o menu suspenso Predefinição: PRESET-NAME e selecione Compartilhar predefinição para obter uma URL compartilhável.
• Para excluir a predefinição, escolha o menu suspenso Predefinição: PRESET-NAME e selecione Excluir predefinição e confirme a exclusão.

Como fazer experimentos com modelos de IA no Visual Studio Code

Se preferir fazer experimentos com modelos de IA no seu IDE, instale a extensão do Kit de Ferramentas de IA para Visual Studio Code e teste os modelos com parâmetros e contexto ajustáveis.

1. No Visual Studio Code, instale a versão de pré-lançamento do Kit de Ferramentas de IA para Visual Studio Code.

2. Para abrir a extensão, selecione o ícone do Kit de Ferramentas de IA na barra de atividades.

3. Autorize o Kit de Ferramentas de IA a se conectar à sua conta do GitHub.

4. Na seção “Meus modelos” do painel do Kit de Ferramentas de IA, selecione Abrir Catálogo de Modelos e encontre um modelo para os experimentos.

   • Para usar um modelo hospedado remotamente por meio do GitHub Models, no card de modelo, selecione Experimentar no playground.
   • Para baixar e usar um modelo localmente, no card de modelo, selecione Baixar. Depois que o download for concluído, no mesmo card de modelo, selecione Carregar no playground.

5. Na barra lateral, forneça instruções de contexto e parâmetros de inferência para o modelo e envie uma solicitação.

Entrar em produção

Os limites de fluxo para o playground e o uso gratuito da API destinam-se a ajudá-lo a experimentar modelos e desenvolver seu aplicativo de IA. Quando estiver pronto para colocar seu aplicativo em produção, você poderá usar um token de uma conta paga do Azure em vez de GitHub personal access token. Você não precisa adicionar ou alterar nada mais em seu código.

Para obter mais informações, consulte a documentação de IA do Azure.

Limitações de fluxo

O playground e o uso gratuito da API são limitados por solicitações por minuto, solicitações por dia, tokens por solicitação e solicitações simultâneas. Se você tiver uma limitação de fluxo, precisará aguardar a redefinição do limite de fluxo atingido antes de fazer mais solicitações.

Os modelos baixo, alto e de incorporação têm limites de fluxo diferentes. Para ver qual tipo de modelo você está usando, consulte as informações do modelo em GitHub Marketplace.

Nível de limitação de fluxo	Limitações de fluxo	Gratuito e Copilot Individual	Copilot Business	Copilot Enterprise
Baixa	Solicitações por minuto	15	15	20
	Solicitações por dia	150	300	450
	Tokens por solicitação	8000 entradas, 4000 saídas	8000 entradas, 4000 saídas	8000 entradas, 8000 saídas
	Solicitações simultâneas	5	5	8
Alto	Solicitações por minuto	10	10	15
	Solicitações por dia	50	100	150
	Tokens por solicitação	8000 entradas, 4000 saídas	8000 entradas, 4000 saídas	16000 entradas, 8000 saídas
	Solicitações simultâneas	2	2	4
Inserção	Solicitações por minuto	15	15	20
	Solicitações por dia	150	300	450
	Tokens por solicitação	64000	64000	64000
	Solicitações simultâneas	5	5	8
Azure OpenAI o1-preview	Solicitações por minuto	1	2	2
	Solicitações por dia	8	10	12
	Tokens por solicitação	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas	4000 entradas, 8000 saídas
	Solicitações simultâneas	1	1	1
Azure OpenAI o1-mini	Solicitações por minuto	2	3	3
	Solicitações por dia	12	15	20
	Tokens por solicitação	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas	4000 entradas, 4000 saídas
	Solicitações simultâneas	1	1	1

Estes limites estão sujeitos a alterações sem aviso prévio.

Deixar feedback

Para deixar feedback sobre GitHub Models, inicie uma nova discussão ou comente em uma discussão existente na Comunidade do GitHub.