import{s as ae,n as ie,o as re}from"../chunks/scheduler.5eb9d175.js";import{S as me,i as pe,g as i,s,r as m,A as ke,h as r,f as l,c as o,j as se,u as p,x as E,k as oe,y as de,a as n,v as k,d,t as f,w as c}from"../chunks/index.fcdcb606.js";import{C as N}from"../chunks/CodeBlock.a7036e06.js";import{H as V,E as fe}from"../chunks/EditOnGithub.98bf070f.js";function ce(S){let a,w,v,z,g,O,M,Y=`يتم دمج دعم ملفات نموذج tiktoken بسلاسة في 🤗 transformers عند تحميل النماذج
<code>from_pretrained</code> مع ملف <code>tokenizer.model</code> tiktoken على Hub، والذي يتم تحويله تلقائيًا إلى <a href="https://huggingface.co/docs/transformers/main/en/main_classes/tokenizer#transformers.PreTrainedTokenizerFast" rel="nofollow">المحلل اللغوي السريع</a>.`,H,$,C,u,K="<li>gpt2</li> <li>llama3</li>",G,R,L,D,ee=`من أجل تحميل ملفات <code>tiktoken</code> في <code>transformers</code>، تأكد من أن ملف <code>tokenizer.model</code> هو ملف tiktoken وسيتم تحميله تلقائيًا عند التحميل <code>from_pretrained</code>. إليك كيفية تحميل مجزىء لغوي ونموذج، والذي
يمكن تحميله من نفس الملف بالضبط:`,J,y,I,h,W,b,te="لا يحتوي ملف <code>tokenizer.model</code> على أي معلومات حول الرموز أو الأنماط الإضافية. إذا كانت هذه الأمور مهمة، قم بتحويل المحلل اللغوي إلى <code>tokenizer.json</code>، وهو التنسيق المناسب لـ <code>PreTrainedTokenizerFast</code>.",F,j,le='قم بتوليد ملف <code>tokenizer.model</code> باستخدام <a href="https://github.com/openai/tiktoken/blob/63527649963def8c759b0f91f2eb69a40934e468/tiktoken/registry.py#L63" rel="nofollow">tiktoken.get_encoding</a> ثم قم بتحويله إلى <code>tokenizer.json</code> باستخدام <code>convert_tiktoken_to_fast</code>.',P,U,A,T,ne="يتم حفظ ملف <code>tokenizer.json</code> الناتج في الدليل المحدد ويمكن تحميله باستخدام <code>PreTrainedTokenizerFast</code>.",X,_,B,Z,q,Q,x;return g=new V({props:{title:"Tiktoken والتفاعل مع Transformers",local:"tiktoken-والتفاعل-مع-transformers",headingTag:"h1"}}),$=new V({props:{title:"النماذج المعروفة التي تم إصدارها مع tiktoken.model :",local:"النماذج-المعروفة-التي-تم-إصدارها-مع-tiktokenmodel-",headingTag:"h3"}}),R=new V({props:{title:"مثال على الاستخدام",local:"مثال-على-الاستخدام",headingTag:"h2"}}),y=new N({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFtb2RlbF9pZCUyMCUzRCUyMCUyMm1ldGEtbGxhbWElMkZNZXRhLUxsYW1hLTMtOEItSW5zdHJ1Y3QlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChtb2RlbF9pZCUyQyUyMHN1YmZvbGRlciUzRCUyMm9yaWdpbmFsJTIyKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

model_id = <span class="hljs-string">&quot;meta-llama/Meta-Llama-3-8B-Instruct&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(model_id, subfolder=<span class="hljs-string">&quot;original&quot;</span>)`,wrap:!1}}),h=new V({props:{title:"إنشاء مجزىء لغوي tiktoken",local:"إنشاء-مجزىء-لغوي-tiktoken",headingTag:"h2"}}),U=new N({props:{code:"JTBBZnJvbSUyMHRyYW5zZm9ybWVycy5pbnRlZ3JhdGlvbnMudGlrdG9rZW4lMjBpbXBvcnQlMjBjb252ZXJ0X3Rpa3Rva2VuX3RvX2Zhc3QlMEFmcm9tJTIwdGlrdG9rZW4lMjBpbXBvcnQlMjBnZXRfZW5jb2RpbmclMEElMEElMjMlMjAlRDklOEElRDklODUlRDklODMlRDklODYlRDklODMlMjAlRDglQUElRDglQUQlRDklODUlRDklOEElRDklODQlMjAlRDglQUElRDglQjElRDklODUlRDklOEElRDglQjIlRDklODMlMjAlRDglQTclRDklODQlRDklODUlRDglQUUlRDglQjUlRDglQjUlMjAlRDglQTMlRDklODglMjAlRDglQTclRDklODQlRDglQUElRDglQjElRDklODUlRDklOEElRDglQjIlMjAlRDglQTclRDklODQlRDglQjAlRDklOEElMjAlRDglQUElRDklODglRDklODElRDglQjElRDklODclMjBPcGVuQUklMEFlbmNvZGluZyUyMCUzRCUyMGdldF9lbmNvZGluZyglMjJncHQyJTIyKSUwQWNvbnZlcnRfdGlrdG9rZW5fdG9fZmFzdChlbmNvZGluZyUyQyUyMCUyMmNvbmZpZyUyRnNhdmUlMkZkaXIlMjIp",highlighted:`
<span class="hljs-keyword">from</span> transformers.integrations.tiktoken <span class="hljs-keyword">import</span> convert_tiktoken_to_fast
<span class="hljs-keyword">from</span> tiktoken <span class="hljs-keyword">import</span> get_encoding

<span class="hljs-comment"># يمكنك تحميل ترميزك المخصص أو الترميز الذي توفره OpenAI</span>
encoding = get_encoding(<span class="hljs-string">&quot;gpt2&quot;</span>)
convert_tiktoken_to_fast(encoding, <span class="hljs-string">&quot;config/save/dir&quot;</span>)`,wrap:!1}}),_=new N({props:{code:"dG9rZW5pemVyJTIwJTNEJTIwUHJlVHJhaW5lZFRva2VuaXplckZhc3QuZnJvbV9wcmV0cmFpbmVkKCUyMmNvbmZpZyUyRnNhdmUlMkZkaXIlMjIp",highlighted:'tokenizer = PreTrainedTokenizerFast.from_pretrained(<span class="hljs-string">&quot;config/save/dir&quot;</span>)',wrap:!1}}),Z=new fe({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ar/tiktoken.md"}}),{c(){a=i("meta"),w=s(),v=i("p"),z=s(),m(g.$$.fragment),O=s(),M=i("p"),M.innerHTML=Y,H=s(),m($.$$.fragment),C=s(),u=i("ul"),u.innerHTML=K,G=s(),m(R.$$.fragment),L=s(),D=i("p"),D.innerHTML=ee,J=s(),m(y.$$.fragment),I=s(),m(h.$$.fragment),W=s(),b=i("p"),b.innerHTML=te,F=s(),j=i("p"),j.innerHTML=le,P=s(),m(U.$$.fragment),A=s(),T=i("p"),T.innerHTML=ne,X=s(),m(_.$$.fragment),B=s(),m(Z.$$.fragment),q=s(),Q=i("p"),this.h()},l(e){const t=ke("svelte-u9bgzb",document.head);a=r(t,"META",{name:!0,content:!0}),t.forEach(l),w=o(e),v=r(e,"P",{}),se(v).forEach(l),z=o(e),p(g.$$.fragment,e),O=o(e),M=r(e,"P",{"data-svelte-h":!0}),E(M)!=="svelte-642ne4"&&(M.innerHTML=Y),H=o(e),p($.$$.fragment,e),C=o(e),u=r(e,"UL",{"data-svelte-h":!0}),E(u)!=="svelte-tocjh9"&&(u.innerHTML=K),G=o(e),p(R.$$.fragment,e),L=o(e),D=r(e,"P",{"data-svelte-h":!0}),E(D)!=="svelte-15hnzdt"&&(D.innerHTML=ee),J=o(e),p(y.$$.fragment,e),I=o(e),p(h.$$.fragment,e),W=o(e),b=r(e,"P",{"data-svelte-h":!0}),E(b)!=="svelte-26usi4"&&(b.innerHTML=te),F=o(e),j=r(e,"P",{"data-svelte-h":!0}),E(j)!=="svelte-1quila2"&&(j.innerHTML=le),P=o(e),p(U.$$.fragment,e),A=o(e),T=r(e,"P",{"data-svelte-h":!0}),E(T)!=="svelte-1u5lg0f"&&(T.innerHTML=ne),X=o(e),p(_.$$.fragment,e),B=o(e),p(Z.$$.fragment,e),q=o(e),Q=r(e,"P",{}),se(Q).forEach(l),this.h()},h(){oe(a,"name","hf:doc:metadata"),oe(a,"content",ge)},m(e,t){de(document.head,a),n(e,w,t),n(e,v,t),n(e,z,t),k(g,e,t),n(e,O,t),n(e,M,t),n(e,H,t),k($,e,t),n(e,C,t),n(e,u,t),n(e,G,t),k(R,e,t),n(e,L,t),n(e,D,t),n(e,J,t),k(y,e,t),n(e,I,t),k(h,e,t),n(e,W,t),n(e,b,t),n(e,F,t),n(e,j,t),n(e,P,t),k(U,e,t),n(e,A,t),n(e,T,t),n(e,X,t),k(_,e,t),n(e,B,t),k(Z,e,t),n(e,q,t),n(e,Q,t),x=!0},p:ie,i(e){x||(d(g.$$.fragment,e),d($.$$.fragment,e),d(R.$$.fragment,e),d(y.$$.fragment,e),d(h.$$.fragment,e),d(U.$$.fragment,e),d(_.$$.fragment,e),d(Z.$$.fragment,e),x=!0)},o(e){f(g.$$.fragment,e),f($.$$.fragment,e),f(R.$$.fragment,e),f(y.$$.fragment,e),f(h.$$.fragment,e),f(U.$$.fragment,e),f(_.$$.fragment,e),f(Z.$$.fragment,e),x=!1},d(e){e&&(l(w),l(v),l(z),l(O),l(M),l(H),l(C),l(u),l(G),l(L),l(D),l(J),l(I),l(W),l(b),l(F),l(j),l(P),l(A),l(T),l(X),l(B),l(q),l(Q)),l(a),c(g,e),c($,e),c(R,e),c(y,e),c(h,e),c(U,e),c(_,e),c(Z,e)}}}const ge='{"title":"Tiktoken والتفاعل مع Transformers","local":"tiktoken-والتفاعل-مع-transformers","sections":[{"title":"النماذج المعروفة التي تم إصدارها مع tiktoken.model :","local":"النماذج-المعروفة-التي-تم-إصدارها-مع-tiktokenmodel-","sections":[],"depth":3},{"title":"مثال على الاستخدام","local":"مثال-على-الاستخدام","sections":[],"depth":2},{"title":"إنشاء مجزىء لغوي tiktoken","local":"إنشاء-مجزىء-لغوي-tiktoken","sections":[],"depth":2}],"depth":1}';function Me(S){return re(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class ye extends me{constructor(a){super(),pe(this,a,Me,ce,ae,{})}}export{ye as component};
