Update README.md

README.md

@@ -1,5 +1,5 @@
 ---
-library_name: transformers
+library_name: peft
 tags:
 - Gemma
 - Portuguese
@@ -54,6 +54,46 @@ O modelo GemBode-2b-it pode ser utilizado para uma variedade de tarefas de proce
 
 Abaixo, colocamos um exemplo simples de como carregar o modelo e gerar texto:
 
+```python
+!pip3 -q install -q -U bitsandbytes==0.42.0
+!pip3 -q install -q -U accelerate==0.27.1
+!pip3 -q install -q -U transformers==4.38.0
+
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+hf_auth = 'HF_ACCESS_KEY'
+
+model_id = "recogna-nlp/GemBode-2b-it"
+model = AutoModelForCausalLM.from_pretrained(model_id, device_map={"":0}, trust_remote_code=True, token=hf_auth)
+tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, token=hf_auth)
+tokenizer.pad_token = tokenizer.eos_token
+tokenizer.padding_side = "right"
+
+def get_completion(model, tokenizer, query : str, input : str = '', device = 'cuda:0', max_new_tokens=128) -> str:
+    if len(input) == 0:
+      prompt_template = """Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
+      ### Instrução: {query}
+      ### Resposta:"""
+      prompt = prompt_template.format(query=query)
+    else:
+      prompt_template = """Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
+      ### Instrução: {query}
+      ### Entrada: {input}
+      ### Resposta:"""
+      prompt = prompt_template.format(query=query, input=input)
+    encodeds = tokenizer(prompt, return_tensors="pt", add_special_tokens=True)
+    model_inputs = encodeds.to(device)
+    generated_ids = model.generate(**model_inputs,
+                                   max_new_tokens=max_new_tokens,
+                                   do_sample=True,
+                                   pad_token_id=tokenizer.eos_token_id)
+    decoded = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
+    return (decoded[len(prompt):])
+
+result = get_completion(model=model, tokenizer=tokenizer, query="Qual é a capital da França?")
+print(result)
+#Exemplo de resposta obtida: A capital da França é Paris. Paris é um das cidades mais populosas da França e é o lar do Parlamento francês, de grandes instituições educacionais e importantes museums. 
+```
 
 ## Contribuições
 Contribuições para a melhoria deste modelo são bem-vindas. Sinta-se à vontade para abrir problemas e solicitações pull.