Instructions to use AXCXEPT/EZO-Common-9B-gemma-2-it with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use AXCXEPT/EZO-Common-9B-gemma-2-it with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="AXCXEPT/EZO-Common-9B-gemma-2-it")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("AXCXEPT/EZO-Common-9B-gemma-2-it")
model = AutoModelForCausalLM.from_pretrained("AXCXEPT/EZO-Common-9B-gemma-2-it", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Inference
Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use AXCXEPT/EZO-Common-9B-gemma-2-it with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "AXCXEPT/EZO-Common-9B-gemma-2-it"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AXCXEPT/EZO-Common-9B-gemma-2-it",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/AXCXEPT/EZO-Common-9B-gemma-2-it

SGLang

How to use AXCXEPT/EZO-Common-9B-gemma-2-it with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "AXCXEPT/EZO-Common-9B-gemma-2-it" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AXCXEPT/EZO-Common-9B-gemma-2-it",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "AXCXEPT/EZO-Common-9B-gemma-2-it" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AXCXEPT/EZO-Common-9B-gemma-2-it",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use AXCXEPT/EZO-Common-9B-gemma-2-it with Docker Model Runner:
```
docker model run hf.co/AXCXEPT/EZO-Common-9B-gemma-2-it
```

READMEの「限定公開」という文言について

by kaisugi - opened Jul 31, 2024

Discussion

kaisugi

Jul 31, 2024

•

edited Jul 31, 2024

高性能なモデルを公開していただきありがとうございます！
READMEに「7/15までの限定公開となりますのでご了承ください。」と書かれていますが、こちらは HuggingFace Spaces のデモが 7/15 までという意味であり、モデル自体は特に期限を設けていないという意味で合っていますでしょうか？
（https://huggingface.co/HODACHI/EZO-Humanities-9B-gemma-2-it についても同様でしょうか？）

AXCXEPT

Owner Jul 31, 2024

はい、ご認識の通りでございます。
御幣を招くこと及び、既にDemo環境については終了しておりますため文言を削除いたしました。

なお、ご使用に際しましては、以下に記載の通り、推奨される使用ガイドラインやクレジット表記をいただけますと活動継続の糧となりますゆえ、
ぜひご検討くださいませ。（法的拘束力はございません）

＝＝
Recommended Usage Guidelines
商用利用: 本モデルを商用目的で使用する場合、info@axcxept.com へのメール連絡を強く推奨します。これにより、モデルの応用や改善についての協力の機会が生まれる可能性があります。

クレジット表記: 本モデルを使用または改変する際は、以下のようなクレジット表記を行うことを推奨します： "This project utilizes HODACHI/EZO-Common-9B-gemma-2-it, a model based on gemma-2 and fine-tuned by Axcxept co., ltd."

フィードバック: モデルの使用経験に関するフィードバックを歓迎します。info@axcxept.com までご連絡ください。

これらは推奨事項であり、法的要件ではありません。本モデルの使用は主に Gemma-2-9B-itをベースにしており、Gemmaの利用規約に準拠します。

Commercial Use: If you plan to use this model for commercial purposes, we strongly encourage you to inform us via email at info@axcxept.com. This allows for potential collaboration on model applications and improvements.

Attribution: When using or adapting this model, we recommend providing attribution as follows: "This project utilizes HODACHI/EZO-Common-9B-gemma-2-it, a model based on gemma-2 and fine-tuned by Axcxept co., ltd."

Feedback: We welcome any feedback on your experience with the model. Please feel free to email us at info@axcxept.com.

Please note that these are recommendations and not legal requirements. Your use of this model is primarily governed by the gemma License Agreement.

kaisugi

Jul 31, 2024

承知しました！補足もありがとうございます。

kaisugi changed discussion status to closed Jul 31, 2024

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment