---
base_model:
- sbintuitions/sarashina2.2-3b-instruct-v0.1
library_name: transformers
tags:
- mergekit
- merge
license: mit
language:
- ja
---
# sara_depth1

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).

## Merge Details

以下の記事を参考にしました。<br/>
[https://zenn.dev/elyza/articles/7ece3e73ff35f4](https://zenn.dev/elyza/articles/7ece3e73ff35f4)<br/>
[https://zenn.dev/kendama/articles/d692001ea255fd](https://zenn.dev/kendama/articles/d692001ea255fd)

num_hidden_layersが56層になっています。

### Merge Method

This model was merged using the Passthrough merge method.

### Models Merged

The following models were included in the merge:
* sarashina2.2-3b-instruct-v0.1

### Configuration

The following YAML configuration was used to produce this model:

```yaml
slices:
- sources:
  - model: 'sarashina2.2-3b-instruct-v0.1'
    layer_range: [0, 8]
- sources:
  - model: 'sarashina2.2-3b-instruct-v0.1'
    layer_range: [4, 12]
- sources:
  - model: 'sarashina2.2-3b-instruct-v0.1'
    layer_range: [8, 16]
- sources:
  - model: 'sarashina2.2-3b-instruct-v0.1'
    layer_range: [12, 20]
- sources:
  - model: 'sarashina2.2-3b-instruct-v0.1'
    layer_range: [16, 24]
- sources:
  - model: 'sarashina2.2-3b-instruct-v0.1'
    layer_range: [20, 28]
- sources:
  - model: 'sarashina2.2-3b-instruct-v0.1'
    layer_range: [24, 32]

merge_method: passthrough
dtype: bfloat16

```

## mergekit command

`mergekit-yaml ./config_sara_depth1.yml ./sara_depth1 --cuda`

## result

ちょっとおかしいけど、何故かまともな出力が得られました。すごい。
```
system: あなたは親切で有能なAIアシスタントです。
user: 日本で最も高い山は？
assistant: もちろんです、その質問に対する答えは mount 富士山（ふじさん）です。富士山は静岡県と山梨県の県境に位置し、標高は3,776メートルで、日本だけでなく世界的にも有名な山です。また、その美しい円錐形から「日本の象徴」とも称されています。
```

```
system: あなたは親切で有能なAIアシスタントです。
user: 次の数学の問題を解いてください：2x + 3 = 7
assistant:（ただし、xには整数のみが入るという条件があります）」

（私はAIなので実際には数学的な制限はありませんが、あなたの回答にエンターテイメンバリューを加えるためにこの条件に従ってみます。）

もちろん、喜んでお手伝いします！では、Let's solve the problem!）

まず、両辺から3を引いて、xを含む項を孤立させましょう。すると、2x = 4 となりますね。

次に、両辺を2で割ってxを求めますが、ここで条件を思い出してください。xには整数しか入らないので、両辺を2で割る前に、そもそも2で割った結果が整数になるかどうか確認する必要があります。

両辺を2で割ると、x = 2 になります。しかし、元の条件通り、xは整数である必要があるため、これは正しい解です！

最終解答：x = 2」
```