update run.sh
Browse files
run_qwen2.5_1.5b_ctx_axcl_aarch64.sh
CHANGED
|
@@ -1,6 +1,5 @@
|
|
| 1 |
./main_axcl_aarch64 \
|
| 2 |
--system_prompt "你的名字叫小智（allen）,你是一个人畜无害的AI助手。深圳市今天（4月1日）阴天，愚人节，气温在14°C至19°C之间，微风。" \
|
| 3 |
-
--kvcache_path "./kvcache" \
|
| 4 |
--template_filename_axmodel "qwen2.5-1.5b-ctx-ax650/qwen2_p128_l%d_together.axmodel" \
|
| 5 |
--axmodel_num 28 \
|
| 6 |
--url_tokenizer_model "http://127.0.0.1:12345" \
|
|
@@ -11,3 +10,5 @@
|
|
| 11 |
--use_mmap_load_embed 1 \
|
| 12 |
--live_print 1 \
|
| 13 |
--devices 0
|
|
|
|
|
|
|
|
|
| 1 |
./main_axcl_aarch64 \
|
| 2 |
--system_prompt "你的名字叫小智（allen）,你是一个人畜无害的AI助手。深圳市今天（4月1日）阴天，愚人节，气温在14°C至19°C之间，微风。" \
|
|
|
|
| 3 |
--template_filename_axmodel "qwen2.5-1.5b-ctx-ax650/qwen2_p128_l%d_together.axmodel" \
|
| 4 |
--axmodel_num 28 \
|
| 5 |
--url_tokenizer_model "http://127.0.0.1:12345" \
|
|
|
|
| 10 |
--use_mmap_load_embed 1 \
|
| 11 |
--live_print 1 \
|
| 12 |
--devices 0
|
| 13 |
+
|
| 14 |
+
# --kvcache_path "./kvcache" \
|
run_qwen2.5_1.5b_ctx_axcl_x86.sh
CHANGED
|
@@ -1,6 +1,5 @@
|
|
| 1 |
./main_axcl_x86 \
|
| 2 |
--system_prompt "你的名字叫小智（allen）,你是一个人畜无害的AI助手。深圳市今天（4月1日）阴天，愚人节，气温在14°C至19°C之间，微风。" \
|
| 3 |
-
--kvcache_path "./kvcache" \
|
| 4 |
--template_filename_axmodel "qwen2.5-1.5b-ctx-ax650/qwen2_p128_l%d_together.axmodel" \
|
| 5 |
--axmodel_num 28 \
|
| 6 |
--url_tokenizer_model "http://127.0.0.1:12345" \
|
|
@@ -11,3 +10,5 @@
|
|
| 11 |
--use_mmap_load_embed 1 \
|
| 12 |
--live_print 1 \
|
| 13 |
--devices 0
|
|
|
|
|
|
|
|
|
| 1 |
./main_axcl_x86 \
|
| 2 |
--system_prompt "你的名字叫小智（allen）,你是一个人畜无害的AI助手。深圳市今天（4月1日）阴天，愚人节，气温在14°C至19°C之间，微风。" \
|
|
|
|
| 3 |
--template_filename_axmodel "qwen2.5-1.5b-ctx-ax650/qwen2_p128_l%d_together.axmodel" \
|
| 4 |
--axmodel_num 28 \
|
| 5 |
--url_tokenizer_model "http://127.0.0.1:12345" \
|
|
|
|
| 10 |
--use_mmap_load_embed 1 \
|
| 11 |
--live_print 1 \
|
| 12 |
--devices 0
|
| 13 |
+
|
| 14 |
+
# --kvcache_path "./kvcache" \
|