sen_bigcode_starcoder2-7b_10_ft_clm_best / special_tokens_map.json
yanghuattt1's picture
Upload tokenizer
bcb6d94 verified
{
"additional_special_tokens": [
"<STR_LIT>",
"<NUM_LIT>",
"<CHAR_LIT>",
"<STR_LIT:U+0020>",
"<STR_LIT:\\n>",
"<STR_LIT:/>",
"<STR_LIT:unchecked>",
"<STR_LIT:U+002C>",
"<STR_LIT:.>",
"<STR_LIT:name>",
"<STR_LIT:)>",
"<STR_LIT:1>",
"<STR_LIT:U+002CU+0020>",
"<STR_LIT:id>",
"<STR_LIT:a>",
"<STR_LIT::>",
"<STR_LIT:foo>",
"<STR_LIT:test>",
"<STR_LIT:]>",
"<STR_LIT:}>",
"<STR_LIT:0>",
"<STR_LIT:true>",
"<STR_LIT:'>",
"<STR_LIT:\\\">",
"<STR_LIT:b>",
"<STR_LIT:value>",
"<STR_LIT:->",
"<STR_LIT:UTF-8>",
"<STR_LIT:type>",
"<STR_LIT::U+0020>",
"<STR_LIT:unused>",
"<STR_LIT:2>",
"<STR_LIT:null>",
"<STR_LIT:_>",
"<STR_LIT:false>",
"<STR_LIT:A>",
"<STR_LIT:(>",
"<STR_LIT:bar>",
"<STR_LIT:=>",
"<STR_LIT:[>",
"<STR_LIT:x>",
"<STR_LIT:c>",
"<STR_LIT:;>",
"<STR_LIT:*>",
"<STR_LIT:2.0>",
"<STR_LIT:\\t>",
"<STR_LIT:3>",
"<STR_LIT:Doppelganger>",
"<STR_LIT:rawtypes>",
"<STR_LIT:serial>",
"<STR_LIT:{>",
"<STR_LIT:key>",
"<STR_LIT:>>",
"<STR_LIT:B>",
"<STR_LIT:deprecation>",
"<STR_LIT:C>",
"<STR_LIT:msg=>",
"<STR_LIT:%>",
"<STR_LIT:%s>",
"<STR_LIT:#>",
"<STR_LIT:}\\n>",
"<STR_LIT:title>",
"<STR_LIT:NotU+0020supportedU+0020yet.>",
"<STR_LIT:U+0020(>",
"<STR_LIT:description>",
"<STR_LIT:all>",
"<STR_LIT:d>",
"<STR_LIT:U+0020U+0020>",
"<STR_LIT:abc>",
"<STR_LIT:password>",
"<STR_LIT:data>",
"<STR_LIT:string>",
"<STR_LIT:user>",
"<STR_LIT:4>",
"<STR_LIT:localhost>",
"<STR_LIT:message>",
"<STR_LIT:text>",
"<STR_LIT:hello>",
"<STR_LIT:status>",
"<STR_LIT:default>",
"<STR_LIT:GET>",
"<STR_LIT:application/json>",
"<STR_LIT:?>",
"<STR_LIT:{}>",
"<STR_LIT:class>",
"<STR_LIT:y>",
"<STR_LIT:\\r\\n>",
"<STR_LIT:int>",
"<STR_LIT:_cvp_Core.PatientShort>",
"<STR_LIT:<>",
"<STR_LIT:version>",
"<STR_LIT:s>",
"<STR_LIT:error>",
"<STR_LIT:5>",
"<STR_LIT:'{0}'>",
"<STR_LIT:|>",
"<STR_LIT:file>",
"<STR_LIT:one>",
"<STR_LIT:@>",
"<STR_LIT:url>",
"<STR_LIT:OK>",
"<STR_LIT:f>",
"<STR_LIT:U+0020U+0020U+0020U+0020>",
"<STR_LIT:en>",
"<STR_LIT:username>",
"<STR_LIT:U+0020-U+0020>",
"<STR_LIT:U+0020:U+0020>",
"<STR_LIT:POST>",
"<STR_LIT:&>",
"<STR_LIT:10>",
"<STR_LIT:none>",
"<STR_LIT:1.0>",
"<STR_LIT:D>",
"<STR_LIT:p>",
"<STR_LIT:e>",
"<STR_LIT:U+0020=U+0020>",
"<STR_LIT:Content-Type>",
"<STR_LIT:;U+0020>",
"<STR_LIT:content>",
"<STR_LIT:+>",
"<STR_LIT:m>",
"<STR_LIT:Test>",
"<STR_LIT:T>",
"<STR_LIT:http>",
"<STR_LIT:text/plain>",
"<STR_LIT:123>",
"<STR_LIT:127.0.0.1>",
"<STR_LIT:U+0020toU+0020>",
"<STR_LIT:path>",
"<STR_LIT:get>",
"<STR_LIT:ID>",
"<STR_LIT:Y>",
"<STR_LIT:code>",
"<STR_LIT:_cvp_Naes.Referral>",
"<STR_LIT:Name>",
"<STR_LIT:two>",
"<STR_LIT:U+0020U+0020}\\n>",
"<STR_LIT:count>",
"<STR_LIT:U+0020U+0020U+0020U+0020}\\n>",
"<STR_LIT:double>",
"<STR_LIT:...>",
"<STR_LIT:E>",
"<STR_LIT:X>",
"<STR_LIT:$>",
"<STR_LIT:long>",
"<STR_LIT:i>",
"<STR_LIT:list>",
"<STR_LIT:admin>",
"<STR_LIT:line.separator>",
"<STR_LIT:date>",
"<STR_LIT:!>",
"<STR_LIT:utf-8>",
"<STR_LIT:-1>",
"<STR_LIT:field>",
"<STR_LIT:boolean>",
"<STR_LIT:success>",
"<STR_LIT:unknown>",
"<STR_LIT:\\\\>",
"<STR_LIT:r>",
"<STR_LIT:Z>",
"<STR_LIT:6>",
"<STR_LIT:result>",
"<STR_LIT:index>",
"<STR_LIT:S>",
"<STR_LIT:label>",
"<STR_LIT:root>",
"<STR_LIT:F>",
"<STR_LIT:start>",
"<STR_LIT:number>",
"<STR_LIT:http://>",
"<STR_LIT:source>",
"<STR_LIT:I>",
"<STR_LIT:src>",
"<STR_LIT:.class>",
"<STR_LIT:state>",
"<STR_LIT:address>",
"<STR_LIT:target>",
"<STR_LIT:body>",
"<STR_LIT:\\\\.>",
"<STR_LIT:email>",
"<STR_LIT:U+0020andU+0020>",
"<STR_LIT:N>",
"<STR_LIT:t>",
"<STR_LIT:value1>",
"<STR_LIT:-->",
"<STR_LIT:String>",
"<STR_LIT:Hello>",
"<STR_LIT:yes>",
"<STR_LIT:baz>",
"<STR_LIT:text/html>",
"<STR_LIT:q>",
"<STR_LIT:size>",
"<STR_LIT:n>",
"<STR_LIT:U+0020U+0020}>",
"<STR_LIT:M>",
"<STR_LIT:key1>",
"<STR_LIT:userId>",
"<STR_LIT:cast>",
"<STR_LIT:test1>",
"<STR_LIT:[]>",
"<STR_LIT:float>",
"<STR_LIT:query>",
"<STR_LIT:GMT>",
"<NUM_LIT:0>",
"<NUM_LIT:1>",
"<NUM_LIT:2>",
"<NUM_LIT:3>",
"<NUM_LIT:4>",
"<NUM_LIT:5>",
"<NUM_LIT:10>",
"<NUM_LIT:8>",
"<NUM_LIT:6>",
"<NUM_LIT:7>",
"<NUM_LIT:16>",
"<NUM_LIT:100>",
"<NUM_LIT:9>",
"<NUM_LIT:1000>",
"<NUM_LIT:12>",
"<NUM_LIT:1L>",
"<NUM_LIT:20>",
"<NUM_LIT:0F>",
"<NUM_LIT:11>",
"<NUM_LIT:0.0>",
"<NUM_LIT:32>",
"<NUM_LIT:0.0f>",
"<NUM_LIT:15>",
"<NUM_LIT:255>",
"<NUM_LIT:0x00>",
"<NUM_LIT:1.0>",
"<NUM_LIT:30>",
"<NUM_LIT:31>",
"<NUM_LIT:24>",
"<NUM_LIT:1.0f>",
"<CHAR_LIT:U+0020>",
"<CHAR_LIT:.>",
"<CHAR_LIT:\\n>",
"<CHAR_LIT:/>",
"<CHAR_LIT:0>",
"<CHAR_LIT:\\'>",
"<CHAR_LIT:a>",
"<CHAR_LIT::>",
"<CHAR_LIT:}>",
"<CHAR_LIT:U+002C>",
"<CHAR_LIT:->",
"<CHAR_LIT:A>",
"<CHAR_LIT:\\\\>",
"<CHAR_LIT:\">",
"<CHAR_LIT:)>",
"<CHAR_LIT:=>",
"<CHAR_LIT:9>",
"<CHAR_LIT:\\r>",
"<CHAR_LIT:[>",
"<CHAR_LIT:]>",
"<CHAR_LIT:1>",
"<CHAR_LIT:(>",
"<CHAR_LIT:;>",
"<CHAR_LIT:_>",
"<CHAR_LIT:\\t>",
"<CHAR_LIT:e>",
"<CHAR_LIT:c>",
"<CHAR_LIT:>>",
"<CHAR_LIT:Z>",
"<CHAR_LIT:b>"
],
"bos_token": "<s>",
"eos_token": "</s>",
"pad_token": "<pad>",
"sep_token": "<EOL>",
"unk_token": "<|UNKNOWN|>"
}