Ë
    BôjEä ã                   ó@  — d dl Z d dlZd dlZd dlZd dlZd dlZd dlZd dlZd dlm	Z	 d dl
mZmZ d dlZ	 d dlZd dlZd dlZd dlmZ d dlmZ d dlmZmZmZmZmZmZmZ d dlm Z m!Z! ejD                  jF                  ejD                  jH                  ejD                  jH                  ejD                  jF                  ejD                  jH                  ejD                  jJ                  ejD                  jL                  ejD                  jN                  ejD                  jN                  dœ	Z(ejR                  jT                  ejR                  jV                  ejR                  jX                  ejR                  jV                  d	œZ-ej\                  j^                  ej\                  j`                  d
œZ1i Z2d„ Z3 G d„ de«      Z4 G d„ de jj                  «      Z6 G d„ de6«      Z7 e3d«       G d„ de6«      «       Z8 e3d«       G d„ de8«      «       Z9 e3d«       G d„ de8«      «       Z: e3d«       G d„ de8«      «       Z; e3d«       G d„ d e8«      «       Z< e3d!«       G d"„ d#e8«      «       Z= e3d$«       G d%„ d&e6«      «       Z> e3d'«       G d(„ d)e6«      «       Z? e3d*«       G d+„ d,e6«      «       Z@ e3d-«       G d.„ d/e6«      «       ZA e3d0«       G d1„ d2e6«      «       ZB e3d3«       G d4„ d5e8«      «       ZC e3d6«       G d7„ d8e8«      «       ZD e3d9«       G d:„ d;e8«      «       ZE e3d<«       G d=„ d>e6«      «       ZF e3d?«       G d@„ dAeF«      «       ZG e3dB«       G dC„ dDeF«      «       ZH e3dE«       G dF„ dGe6«      «       ZI e3dH«       G dI„ dJe6«      «       ZJ e3dK«       G dL„ dMe6«      «       ZK e3dN«       G dO„ dPe6«      «       ZL e3dQ«       G dR„ dSe6«      «       ZM e3dT«       e3dU«       G dV„ dWe6«      «       «       ZN e3dX«       e3dY«       e3dZ«       e3d[«       G d\„ d]e6«      «       «       «       «       ZO e3d^«       G d_„ d`e6«      «       ZP e3da«       G db„ dce6«      «       ZQ e3dd«       G de„ dfe6«      «       ZR e3dg«       G dh„ die6«      «       ZS e3dj«       G dk„ dle6«      «       ZT e3dm«       G dn„ doe6«      «       ZU e3dp«       G dq„ dre6«      «       ZV e3ds«       G dt„ dueV«      «       ZW e3dv«       G dw„ dxe6«      «       ZX e3dy«       G dz„ d{e6«      «       ZY e3d|«       G d}„ d~e6«      «       ZZ e3d«       G d€„ d�e6«      «       Z[ e3d‚«       G dƒ„ d„e6«      «       Z\d…„ Z]e^d†k(  r e]«        g d‡¢g dˆ¢g d‰¢g dŠ¢g d‹¢g dŒ¢g d�¢g dŽ¢g d�¢g d�¢g d‘¢d’œZ_ e3d“«       G d”„ d•e6«      «       Z` e3d–«       G d—„ d˜e6«      «       Zay# e$ r Y �Œ\w xY w)™é    N)ÚPath)ÚListÚOptional)Úutils)Ú	Converter)Úattention_specÚcommon_specÚ
model_specÚtransformer_specÚwav2vec2_specÚwav2vec2bert_specÚwhisper_spec)ÚACCEPTED_MODEL_TYPESÚOPTIONAL)	ÚgeluÚ	gelu_fastÚgelu_newÚgelu_pythonÚgelu_pytorch_tanhÚ
quick_geluÚreluÚsiluÚswish)ÚlinearÚsuÚllama3Úlongrope)ÚgemmÚgemvc                 ó   ‡ — ˆ fd„}|S )z5Registers a model loader for this configuration name.c                 ó$   •—  | «       t         ‰<   | S ©N)Ú_MODEL_LOADERS)ÚclsÚconfig_names    €út/var/www/html/academy/tools/voices/clone/fw-venv/lib/python3.12/site-packages/ctranslate2/converters/transformers.pyÚ	decoratorz"register_loader.<locals>.decoratorA   s   ø€ Ù&)£eŒ�{Ñ#Øˆ
ó    © )r%   r'   s   ` r&   Úregister_loaderr*   >   s   ø€ ôð Ðr(   c                   óš   ‡ — e Zd ZdZ	 	 	 	 	 	 ddedee   deee      dedee   dedefd	„Zd
„ Z	dd„Z
dˆ fd„	Zd„ Zd„ Zd„ Zd„ Zd„ Zˆ xZS )ÚTransformersConverterz/Converts models from Hugging Face Transformers.Úmodel_name_or_pathÚactivation_scalesÚ
copy_filesÚload_as_float16ÚrevisionÚlow_cpu_mem_usageÚtrust_remote_codec                 óf   — || _         || _        || _        || _        || _        || _        || _        y)a  Initializes the converter.

        Arguments:
          model_name_or_path: Name of the pretrained model to download, or path to the
            directory containing the pretrained model.
          activation_scales: Path to the pre-computed activation scales. Models may
            use them to rescale some weights to smooth the intermediate activations
            and improve the quantization accuracy. See
            https://github.com/mit-han-lab/smoothquant.
          copy_files: List of filenames to copy from the Hugging Face model to the
            converted model directory.
          load_as_float16: Load the model weights as float16. More precisely, the model
            will be loaded with ``from_pretrained(..., dtype=torch.float16)``.
          revision: Revision of the model to download from the Hugging Face Hub.
          low_cpu_mem_usage: Enable the flag ``low_cpu_mem_usage`` when loading the model
            with ``from_pretrained``.
          trust_remote_code: Allow converting models using custom code.
        N)Ú_model_name_or_pathÚ_activation_scalesÚ_copy_filesÚ_load_as_float16Ú	_revisionÚ_low_cpu_mem_usageÚ_trust_remote_code)Úselfr-   r.   r/   r0   r1   r2   r3   s           r&   Ú__init__zTransformersConverter.__init__K   s;   € ð8 $6ˆÔ Ø"3ˆÔØ%ˆÔØ /ˆÔØ!ˆŒØ"3ˆÔØ"3ˆÕr(   c                 ót  — t        | j                  «      }|dz  }|j                  «       sy |j                  d¬«      5 }t	        j
                  |«      }d d d «       j                  d«      dk7  ry | j                  s$| j                  s| j                  s| j                  rt        d«      ‚|S # 1 sw Y   Œ[xY w)Núconfig.jsonúutf-8©ÚencodingÚ
model_typeÚ	fish_omniz]Drama 3 does not support activation_scales, copy_files, load_as_float16, or low_cpu_mem_usage)r   r5   Úis_fileÚopenÚjsonÚloadÚgetr6   r7   r8   r:   Ú
ValueError)r<   ÚpathÚconfig_pathÚconfig_fileÚconfigs        r&   Ú_get_drama3_pathz&TransformersConverter._get_drama3_patho   s´   € ô �D×,Ñ,Ó-ˆØ˜]Ñ*ˆØ×"Ñ"Ô$ØØ×Ñ wÐÓ/ð 	,°;Ü—Y‘Y˜{Ó+ˆF÷	,à�:‰:�lÓ# {Ò2Øà×#Ò#Ø×ÒØ×$Ò$Ø×&Ò&äð8óð ð ˆ÷	,ð 	,ús   ¾B.Â.B7c                 ó’   — | j                  «       }|€t        d«      ‚t        j                  ||¬«      d   | _        | j                  S )zAAudit a local Drama 3 checkpoint without loading weight payloads.zBDry-run inspection is only supported for local Drama 3 checkpoints©Úquantizationéÿÿÿÿ)rO   rJ   ÚDrama3LoaderÚinspect_checkpointÚconversion_report)r<   rR   rK   s      r&   ÚinspectzTransformersConverter.inspect†   s^   € à×$Ñ$Ó&ˆØˆ<ÜØTóð ô ".×!@Ñ!@ØØ%ð "Aó "
ð ñ"ˆÔð ×%Ñ%Ð%r(   c                 óZ  •— | j                  «       }d | _        |�Št        |«      }|�t        d«      ‚|xs d}t        j                  t        j                  |«       || _        |j                  «       j                  t        |«      j                  «       «      rt        d«      ‚t        ‰| �1  ||||¬«      }| j                  �g| j                  j                  t        |«      t        |«      dz  j                  «       j                  ¬«       | j!                  t        |«      dz  «       |S )Nú+Drama 3 does not support vocabulary mappingÚfloat32z7output directory must not contain the source checkpoint)ÚvmaprR   Úforcez	model.bin)ÚoutputÚoutput_byteszconversion.json)rO   rV   ÚstrrJ   rT   Úresolve_quantizationÚ
FP8_POLICYÚ_drama3_quantizationÚresolveÚis_relative_tor   ÚsuperÚconvertÚupdateÚstatÚst_sizeÚwrite_report)r<   Ú
output_dirr[   rR   r\   rK   Ú	__class__s         €r&   rf   zTransformersConverter.convert“   s  ø€ Ø×$Ñ$Ó&ˆØ!%ˆÔØÐÜ˜Z›ˆJØÐÜ Ð!NÓOÐOØ'Ò4¨9ˆLÜ×-Ñ-¬l×.EÑ.EÀ|ÔTØ(4ˆDÔ%Ø�|‰|‹~×,Ñ,¬T°*Ó-=×-EÑ-EÓ-GÔHÜ ØMóð ô ‘W‘_Ø˜T°ÀEð %ó 
ˆ
ð ×!Ñ!Ð-Ø×"Ñ"×)Ñ)Ü˜:“Ü" :Ó.°Ñ<×BÑBÓD×LÑLð *ô ð ×Ñœd :Ó.Ð1BÑBÔCØÐr(   c                 ó|   — t        |«      j                  t        j                  | j                  d¬«      dz   «       y)z:Write the current inspection or conversion report as JSON.é   ©Úindentú
N)r   Ú
write_textrG   ÚdumpsrV   )r<   rK   s     r&   rj   z"TransformersConverter.write_report¬   s*   € äˆT‹
×ÑœdŸj™j¨×)?Ñ)?ÈÔJÈTÑQÕRr(   c                 óæ  — | j                  «       }|�3t        t        | dd «      ¬«      } ||d «      }|j                  | _        |S t	        j
                  «       5  t        j                  j                  | j                  | j                  ¬«      }|j                  j                  }t        j                  |«      }|€<t        d|›ddj!                  t#        t        j%                  «       «      «      ›d�«      ‚t        t        |j&                  «      }t)        |d«      r|j+                  ||«      }t        j,                  }d	|i}t)        |d
«      r |j/                  |j1                  |«      «       d| j2                  rt        j4                  nt        |dd «      xs t        |dd «      i}	| j6                  r| j6                  |	d<   | j8                  r| j8                  |	d<   | j                  r| j                  |	d<    | j:                  || j                  fi |	¤|¤Ž}
i }| j                  r| j                  |d<    | j<                  || j                  fi |¤Ž} ||
|«      }| j>                  r3t	        j@                  | j>                  d¬«      }|jC                  ||«       | jD                  r1| jD                  D ]"  }|jG                  | jI                  |«      «       Œ$ |cd d d «       S # 1 sw Y   y xY w)Nrb   rQ   )r3   z8No conversion is registered for the model configuration z  (supported configurations are: ú, ú)Úget_model_classrN   Úget_model_kwargsÚdtypeÚtorch_dtyper1   r2   r3   Úcpu)Úmap_location)%rO   rT   ÚgetattrrV   ÚtorchÚno_gradÚtransformersÚ
AutoConfigÚfrom_pretrainedr5   r;   rl   Ú__name__r#   rI   rJ   ÚjoinÚsortedÚkeysÚarchitecture_nameÚhasattrrw   ÚAutoTokenizerrg   rx   r8   Úfloat16r9   r:   Ú
load_modelÚload_tokenizerr6   rH   Úsmooth_activationr7   Úregister_fileÚget_model_file)r<   rK   ÚloaderÚspecrN   r%   Úmodel_classÚtokenizer_classÚextra_kwargsÚkwargsÚmodelÚtokenizer_kwargsÚ	tokenizerr.   Úfilenames                  r&   Ú_loadzTransformersConverter._load°   sÛ  € Ø×$Ñ$Ó&ˆØÐÜ!Ü$ TÐ+AÀ4ÓHôˆFñ ˜$ Ó%ˆDØ%+×%=Ñ%=ˆDÔ"ØˆKÜ�]‰]‹_ñ @	Ü!×,Ñ,×<Ñ<Ø×(Ñ(¸D×<SÑ<Sð =ó ˆFð !×*Ñ*×3Ñ3ˆKÜ#×'Ñ'¨Ó4ˆFàˆ~Ý ò # D§I¡I¬f´^×5HÑ5HÓ5JÓ.KÕ$LðNóð ô "¤,°×0HÑ0HÓIˆKÜ�vÐ0Ô1Ø$×4Ñ4°V¸[ÓI�Ü*×8Ñ8ˆOà$ fÐ-ˆLÜ�vÐ1Ô2Ø×#Ñ# F×$;Ñ$;¸FÓ$CÔDð à×,Ò,ô —M’Mä  ¨°$Ó7ò <Ü˜v }°dÓ;ðˆFð �~Š~Ø%)§^¡^��zÑ"Ø×&Ò&Ø.2×.EÑ.E�Ð*Ñ+Ø×&Ò&Ø.2×.EÑ.E�Ð*Ñ+à#�D—O‘OØ˜T×5Ñ5ñØ9?ðØCOñˆEð  "ÐØ×&Ò&Ø8<×8OÑ8OÐ Ð!4Ñ5à+˜×+Ñ+Ø ×!9Ñ!9ñØ=MñˆIñ ˜% Ó+ˆDà×&Ò&Ü$)§J¡JØ×+Ñ+¸%ô%Ð!ð ×(Ñ(¨Ð/@ÔAà×ÒØ $× 0Ñ 0ò F�HØ×&Ñ& t×':Ñ':¸8Ó'DÕEðFð ÷A@	÷ @	ò @	ús   ÁJK'Ë'K0c                 ó(   —  |j                   |fi |¤ŽS r"   ©r‚   )r<   r’   r-   r•   s       r&   r‹   z TransformersConverter.load_modelû   s   € Ø*ˆ{×*Ñ*Ð+=ÑHÀÑHÐHr(   c                 ó(   —  |j                   |fi |¤ŽS r"   rœ   )r<   r“   r-   r•   s       r&   rŒ   z$TransformersConverter.load_tokenizerþ   s   € Ø.ˆ×.Ñ.Ð/AÑLÀVÑLÐLr(   c                 ó´  — t         j                  j                  | j                  «      r+t         j                  j	                  | j                  |«      }n"	 t        j                  | j                  |¬«      }|�t         j                  j                  |«      st        d|›d| j                  ›�«      ‚|S # t
        j                  j                  $ r d }Y Œ_w xY w)N)Úrepo_idr™   zFile z does not exist in model )ÚosrK   Úisdirr5   r„   Úhuggingface_hubÚhf_hub_downloadr   ÚEntryNotFoundErrorÚisfilerJ   )r<   r™   rK   s      r&   r�   z$TransformersConverter.get_model_file  s®   € Ü�7‰7�=‰=˜×1Ñ1Ô2Ü—7‘7—<‘< × 8Ñ 8¸(ÓC‰DðÜ&×6Ñ6Ø ×4Ñ4¸xô�ð ˆ<œrŸw™wŸ~™~¨dÔ3Ýâ˜T×5Ò5ð7óð ð
 ˆøô #×(Ñ(×;Ñ;ò Ø’ðús   Á!B5 Â5CÃC)NNFNFFr"   )NNF)rƒ   Ú
__module__Ú__qualname__Ú__doc__r_   r   r   Úboolr=   rO   rW   rf   rj   rš   r‹   rŒ   r�   Ú__classcell__©rl   s   @r&   r,   r,   H   s¢   ø„ Ù9ð
 ,0Ø*.Ø %Ø"&Ø"'Ø"'ñ"4àð"4ð $ C™=ð"4ð ˜T #™YÑ'ð	"4ð
 ð"4ð ˜3‘-ð"4ð  ð"4ð  ó"4òHó.&õò2SòIòVIòMör(   r,   c                   ó¬   — e Zd ZdZed„ «       Zej                  d„ «       Zd„ Z	d„ Z
d„ Zd„ Zd„ Zej                  j                   fd	„Zd
„ Zd„ Zd„ Zd„ Zy)ÚModelLoaderzRBase class for loading Transformers models into a CTranslate2 model specification.c                  ó   — y r"   r)   ©r<   s    r&   r‡   zModelLoader.architecture_name  s   € àr(   c                 ó   — t        «       ‚r"   ©ÚNotImplementedError©r<   r–   s     r&   Úget_model_speczModelLoader.get_model_spec  s   € ä!Ó#Ð#r(   c                 óª   — | j                  |«      }| j                  |j                  ||«       | j                  ||«      }| j	                  ||«       |S r"   )r´   Ú
set_configrN   Úget_vocabularyÚset_vocabulary)r<   r–   r˜   r‘   Útokenss        r&   Ú__call__zModelLoader.__call__   sM   € Ø×"Ñ" 5Ó)ˆØ�‰˜Ÿ™ U¨IÔ6à×$Ñ$ U¨IÓ6ˆØ×Ñ˜D &Ô)àˆr(   c                 óˆ   — t        |j                  «       j                  «       d„ ¬«      D ��cg c]  \  }}|‘Œ	 c}}S c c}}w )Nc                 ó   — | d   S ©Né   r)   )Úitems    r&   ú<lambda>z,ModelLoader.get_vocabulary.<locals>.<lambda>-  s
   € ÀÀQÁ€ r(   )Úkey)r…   Ú	get_vocabÚitems)r<   r–   r˜   ÚtokenÚ_s        r&   r·   zModelLoader.get_vocabulary)  sE   € ô #Ø×#Ñ#Ó%×+Ñ+Ó-Ñ3Gô÷
á��qò ó
ð 	
ùó 
s   ®>c                  ó   — y r"   r)   ©r<   r‘   r¹   s      r&   r¸   zModelLoader.set_vocabulary1  ó   € Ør(   c                  ó   — y r"   r)   ©r<   rN   r–   r˜   s       r&   r¶   zModelLoader.set_config4  rÈ   r(   c                 óH   — |j                   |_        |j                  |_        y r"   ©ÚweightÚgammaÚbiasÚbeta©r<   r‘   Úmodules      r&   Úset_layer_normzModelLoader.set_layer_norm7  s   € Ø—]‘]ˆŒ
Ø—K‘Kˆ�	r(   c                 ó”  — |t         j                  j                  k(  r|j                  |_        n3|j                  |_        |j
                  |_        |j                  |_        t        |t        j                  «      r!|j                  j                  dd«      |_        t        |d«      r|j                  �|j                  |_        y y y )Nr   r¾   rÏ   )r	   ÚQuantizationÚCT2rÍ   ÚqweightÚscalesÚweight_scaleÚqzerosÚweight_zeroÚ
isinstancer€   ÚConv1DÚ	transposerˆ   rÏ   )r<   r‘   rÒ   Ú
quant_types       r&   Ú
set_linearzModelLoader.set_linear;  s’   € Øœ×1Ñ1×5Ñ5Ò5Ø Ÿ-™-ˆD�Kà Ÿ.™.ˆDŒKØ &§¡ˆDÔØ%Ÿ}™}ˆDÔä�fœl×1Ñ1Ô2ØŸ+™+×/Ñ/°°1Ó5ˆDŒKÜ�6˜6Ô" v§{¡{Ð'>ØŸ™ˆD�Ið (?Ð"r(   c                 ó&   — |j                   |_         y r"   )rÍ   rÑ   s      r&   Úset_embeddingszModelLoader.set_embeddingsH  s   € Ø—m‘mˆ�r(   c                 ót   — |j                   |_        t        |dd«      }|dkD  r|j                  |d  |_        y y )NÚoffsetr   ©rÍ   Ú	encodingsr}   ©r<   r‘   rÒ   rä   s       r&   Úset_position_encodingsz"ModelLoader.set_position_encodingsK  s9   € ØŸ™ˆŒÜ˜ ¨1Ó-ˆØ�AŠ:Ø!Ÿ^™^¨F¨GÐ4ˆD�Nð r(   c                 ó   — t        d«      ‚)Nz7No activation smoothing logic is defined for this modelr±   )r<   r‘   r.   s      r&   r�   zModelLoader.smooth_activationQ  s   € Ü!ØEó
ð 	
r(   c           	      ó€  — t        |dd «      }|rš|j                  d«      xs |j                  d«      }|dk(  rd }nIt        j                  |«      }|€2t        d|›ddj	                  t        j                  «       «      ›�«      ‚|j                  dd	«      }|j                  d
|«      }nd }d	}t        |d
|«      }|||fS )NÚrope_scalingÚtypeÚ	rope_typeÚdefaultúRoPE scaling type 'úT' is not yet implemented. The following RoPE scaling types are currently supported: ru   Úfactorr¾   Ú
rope_theta)r}   rI   Ú_SUPPORTED_ROPE_SCALINGr²   r„   r†   )r<   rN   Údefault_rope_thetarë   rí   Úrotary_scaling_typeÚrotary_scaling_factorrò   s           r&   Úget_rotary_paramszModelLoader.get_rotary_paramsV  sÖ   € Ü˜v ~°tÓ<ˆÙØ$×(Ñ(¨Ó0ÒQ°L×4DÑ4DÀ[Ó4QˆIà˜IÒ%Ø&*Ñ#ä&=×&AÑ&AÀ)Ó&LÐ#Ø&Ð.Ý-ò % d§i¡iÔ0G×0LÑ0LÓ0NÔ&OðQóð ð
 %1×$4Ñ$4°X¸qÓ$AÐ!Ø%×)Ñ)¨,Ð8JÓK‰Jà"&ÐØ$%Ð!Ü  ¨Ð7IÓJˆJà"Ð$9¸:ÐEÐEr(   N)rƒ   r¦   r§   r¨   Úpropertyr‡   ÚabcÚabstractmethodr´   rº   r·   r¸   r¶   rÓ   r	   rÕ   rÖ   rà   râ   rè   r�   r÷   r)   r(   r&   r­   r­     su   „ Ù\àñó ðð 	×Ññ$ó ð$òò
òòò ð 3>×2JÑ2J×2NÑ2Nó $ò$ò5ò
ó
Fr(   r­   c                   ó  — e Zd ZdZdZdZdZdZdd„Zd„ Z	d	„ Z
ed
„ «       Zed„ «       Zed„ «       Zed„ «       Zedd„«       Zed„ «       Zeefd„«       Zedd„«       Zed„ «       Zedd„«       Zedeedfd„«       Zeddeefd„«       Zy)rT   zéLoad Fish Speech checkpoints directly into a Drama3 model specification.

    The checkpoint has no Transformers AutoModel implementation. Reuse the
    ModelLoader specification and vocabulary flow with a local checkpoint path.
    Ú(dd64a85cd82e9521f7202610ede97b367fc83946Úexperts_fp8_sensitive_float32Ústandard)ztokenizer.jsonztokenizer_config.jsonzspecial_tokens_map.jsonzchat_template.jinjaÚLICENSEz	README.mdNc                 ó    — || _         d | _        y r"   )rR   rV   )r<   rR   s     r&   r=   zDrama3Loader.__init__‚  s   € Ø(ˆÔØ!%ˆÕr(   c                 óP   — | j                  || j                  ¬«      \  }| _        |S )NrQ   )Ú	load_specrR   rV   ©r<   r–   r‘   s      r&   r´   zDrama3Loader.get_model_spec†  s/   € Ø'+§~¡~Ø × 1Ñ 1ð (6ó (
Ñ$ˆˆdÔ$ð ˆr(   c                 ó   — g S r"   r)   ©r<   r–   r˜   s      r&   r·   zDrama3Loader.get_vocabularyŒ  s   € àˆ	r(   c                 ó‚   — ddl m} t        j                  t	        | «      j                  d¬«      |j                  ¬«      S )Nr   ©Údrama3_weightsr@   rA   )Úobject_pairs_hook)Úctranslate2.convertersr  rG   Úloadsr   Ú	read_textÚ_unique_object)rK   ÚREADERSs     r&   Úunique_jsonzDrama3Loader.unique_json�  s4   € åDä�z‰zÜ�‹J× Ñ ¨'Ð Ó2Ø%×4Ñ4ô
ð 	
r(   c                 ó8  — t        |t        «      r t        |«      j                  |k7  sd|v s|dv rt	        d«      ‚| |z  }|j                  «       j                  | j                  «       k7  s |j                  «       r|j                  «       rt	        d|z   «      ‚|S )Nú\)Ú ú.z..z)checkpoint asset must be a plain filenamez$missing or unsafe checkpoint asset: )	rÜ   r_   r   ÚnamerJ   rc   ÚparentrE   Ú
is_symlink)Úrootr  rK   s      r&   Úsource_filezDrama3Loader.source_file™  s…   € ô ˜4¤Ô%Ü�D‹z�‰ $Ò&Ø�t‰|Ø�Ñ&äÐHÓIÐIØ�d‰{ˆà�L‰L‹N×!Ñ! T§\¡\£^Ò3Ø—<‘<”>Ø�‰Ô äÐCÀdÑJÓKÐKØˆr(   c                 ó|  — ddl m} t        |«      }| j                  | j	                  |d«      «      }|j                  d«      }t        |t        «      r|st        d«      ‚i i }}|j                  «       D ]o  \  }}t        |t        «      r&t        |t        «      rt        j                  d|«      st        d«      ‚||vsŒL|j                  | j	                  ||«      «      ||<   Œq |j                  d«      D �	ch c]  }	|	j                  ’Œ }
}	|
t!        |«      k7  rt        d	«      ‚|j                  «       D ]X  \  }}|j"                  j                  «       D ]6  \  }}||v s|j                  |«      |k7  rt        d
|z   «      ‚i |¥d|i¥||<   Œ8 ŒZ t!        |«      t!        |«      k7  rt        d«      ‚||fS c c}	w )Nr   r  zmodel.safetensors.index.jsonÚ
weight_mapz,checkpoint index needs a nonempty weight_mapzmodel-\d+-of-\d+\.safetensorsz#invalid checkpoint index name/shardz*.safetensorsz,checkpoint index and actual shard set differz*duplicate tensor or shard/index mismatch: Úshardz0checkpoint index names absent from shard headers)r
  r  r   r  r  rI   rÜ   ÚdictrJ   rÃ   r_   ÚreÚ	fullmatchÚSafeTensorMatrixReaderÚglobr  ÚsetÚtensors)r$   r  r  ÚindexÚmappingÚreadersr"  r  r  ÚpÚactual_shardsÚreaderÚtensors                r&   Úinspect_shardszDrama3Loader.inspect_shards«  s®  € åDä�D‹zˆØ—‘ §¡°Ð6TÓ UÓVˆØ—)‘)˜LÓ)ˆÜ˜'¤4Ô(±ÜÐKÓLÐLØ˜r�ˆØ"Ÿ=™=›?ò 
	‰KˆD�%ä˜t¤SÔ)Ü! %¬Ô-Ü—|‘|Ð$DÀeÔLä Ð!FÓGÐGØ˜GÒ#Ø!(×!?Ñ!?Ø—O‘O D¨%Ó0ó"�˜’ð
	ð *.¯©°?Ó)CÖD A˜Ÿ›ÐDˆÐDØœC ›LÒ(ÜÐKÓLÐLØ$Ÿ]™]›_ò 	;‰MˆE�6Ø &§¡× 4Ñ 4Ó 6ò ;‘��fØ˜7‘? g§k¡k°$Ó&7¸5Ò&@Ü$ØDÀtÑKóð ð !; 6Ð :¨7°EÑ :�˜’ñ;ð	;ô ˆw‹<œ3˜w›<Ò'ÜÐOÓPÐPØ˜ÐÐùò Es   Ã:F9c                 ó|  — | dk(  ry| dk(  ry| dk(  ryt        j                  d| «      }|rOt        j                  dd	|d
   «      }t        j                  dd|«      }d|d   z   dz   |j                  dd«      z   S | dk(  ryt        j                  d| «      }|ru|d   j                  dd«      }|j                  dd«      }|j                  dd«      }|j                  dd«      }|d   rdnd}d|z   |d
   z   dz   |j                  dd«      z   S t        j                  d | «      }|rd!|d   z   d"z   S t	        d#| z   «      ‚)$Nz(model.language_model.embed_tokens.weightzbackbone/embeddings/weightz model.language_model.norm.weightzbackbone/norm/weightzlm_head.weightzbackbone/lm_head/weightz*model\.language_model\.layers\.(\d+)\.(.+)z^mlp\.gate\.zmlp.router.rn   z\.experts\.(\d+)\.z.experts_\1.zbackbone/layers_r¾   ú/r  z(audio_decoder.codebook_embeddings.weightz tower/codebook_embeddings/weightz0audio_decoder_mtp(_shared)?\.layers\.(\d+)\.(.+)é   zattention.wo.zattention.o_proj.zfeed_forward.w1.zfeed_forward.gate_proj.zfeed_forward.w3.zfeed_forward.up_proj.zfeed_forward.w2.zfeed_forward.down_proj.Úshared_layers_Úresidual_layers_ztower/z'audio_decoder_mtp\.heads\.(\d+)\.weightztower/heads_ú/weightz%unmapped official checkpoint tensor: )r  r  ÚsubÚreplacerJ   )ÚsourceÚmatchÚtailÚkinds       r&   Úcanonical_namezDrama3Loader.canonical_nameÎ  sh  € àÐ?Ò?Ø/ØÐ7Ò7Ø)ØÐ%Ò%Ø,Ü—‘ÐJÈFÓSˆÙÜ—6‘6˜/¨=¸%À¹(ÓCˆDÜ—6‘6Ð/°À$ÓGˆDØ%¨¨a©Ñ0°3Ñ6¸¿¹ÀcÈ3Ó9OÑOÐOØÐ?Ò?Ø5Ü—‘Ø?Àó
ˆñ Ø˜‘8×#Ñ# OÐ5HÓIˆDØ—<‘<Ð 2Ð4MÓNˆDØ—<‘<Ð 2Ð4KÓLˆDØ—<‘<Ð 2Ð4MÓNˆDØ',¨Q¢xÑ#Ð5GˆDØ˜d‘? U¨1¡XÑ-°Ñ3°d·l±lÀ3ÈÓ6LÑLÐLÜ—‘ÐGÈÓPˆÙØ! E¨!¡HÑ,¨yÑ8Ð8ÜÐ@À6ÑIÓJÐJr(   c                 ó²   — || j                   | j                  fvrt        dt        |«      z   «      ‚|xs d}|t        vrt        dt        |«      z   «      ‚|S )Nz$unknown Drama3 quantization policy: rZ   zInvalid Drama3 quantization: )ra   ÚSTANDARD_POLICYrJ   Úreprr   )r$   ÚpolicyrR   s      r&   r`   z!Drama3Loader.resolve_quantizationì  s]   € à˜#Ÿ.™.¨#×*=Ñ*=Ð>Ñ>ÜÐCÄdÈ6ÃlÑRÓSÐSØ#Ò0 yˆØÔ3Ñ3ÜÐ<¼tÀLÓ?QÑQÓRÐRØÐr(   c                 ó2   — t        j                  d| «      d uS )NzNbackbone/layers_[0-9]+/mlp/experts_[0-9]+/(gate_proj|up_proj|down_proj)/weight)r  r  )Útargets    r&   Úrouted_expert_matrixz!Drama3Loader.routed_expert_matrixõ  s%   € ô �L‰LØaØóð ð	ð	
r(   c                 ó®  — | j                  |«       |d   }|d   |d   |d   }}}t        d„ |||fD «       «      s||z  rt        d«      ‚|d   d   }t        |t        «      r t        |«      d	k7  st        d
„ |D «       «      rt        d«      ‚|ddgk7  s|d   j                  d«      dvrt        d«      ‚g t        «       t        «       }}
}	t        |j                  «       «      D �]²  \  }}|j                  d«      rŒ|d   |d   }}|rt        d„ |D «       «      rt        d«      ‚| j                  |«      }|d t        |«      fg}|j                  d«      r†|j                  d«      rut        |«      d	k7  s|d   d	||z   z  |z  k7  rt        d«      ‚|dvrt        d«      ‚|d t        d«        }dD �cg c]"  }||z   dz   ||dk(  rd	|z  |z  n||z  |d   ff‘Œ$ }}d }|j                  d «      r‰t        |«      d	k7  rt        d!«      ‚|d"z   }||vrt        d#|z   «      ‚||   }t        d$„ t        ||«      D «       «      }|d   d%vst        |d   «      |k7  rt        d&|z   «      ‚|j                  |«       n|d"z   |v rt        d'«      ‚|D �]  \  }}}t        |«      d	k(  }|r|j                  d«      st        d(«      ‚|s)t        |«      d)vs|j                  d «      rt        d*«      ‚|| j                   k(  xr | j#                  |«      }|r|d+vsd   d,k7  rt        d-«      ‚|r||d"z   gn|g}|
j%                  |«      rt        d.«      ‚|
j'                  |«       |	j)                  ||d/   |t	        |«      |rd0nd1||r||   d/   nd |d2œ«       �Œ	 �Œµ |D �ch c]  }|j                  d«      sŒ|’Œ c}|k7  rt        d3«      ‚|	S c c}w c c}w )4NÚaudio_decoder_configÚn_headÚn_local_headsÚhead_dimc              3   óL   K  — | ]  }t        |«      t        uxs |d k  –— Œ y­w©r   N©rì   Úint©Ú.0Úds     r&   ú	<genexpr>z*Drama3Loader.build_plan.<locals>.<genexpr>	  s%   è ø€ ÒR°”�Q“œsÐ"Ò, a¨1¡fÓ,ÑRùó   ‚"$z"invalid tower attention dimensionsÚquantization_configÚweight_block_sizern   c              3   óL   K  — | ]  }t        |«      t        uxs |d k  –— Œ y­wrE  rF  rH  s     r&   rK  z*Drama3Loader.build_plan.<locals>.<genexpr>  s%   è ø€ ÒD°A”4˜“7¤#Ð%Ò/¨¨a©Ó/ÑDùrL  z%invalid explicit FP8 block dimensionsé€   Úquant_method)Úfp8z
bsgemm-moezAlossless FP8 requires a supported quant_method and 128x128 blocksz.weight_scale_invÚshapery   c              3   ó&   K  — | ]	  }|d k  –— Œ y­wrE  r)   rH  s     r&   rK  z*Drama3Loader.build_plan.<locals>.<genexpr>  s   è ø€ Ò6¨1  Q¥Ñ6ùs   ‚z+model tensors must have positive dimensionsz.attention.wqkv.weightÚaudio_decoder_mtpr   z%tower fused projection shape mismatch)ÚBF16ÚF16ÚF32z-FP8 fused tower source slicing is unsupportedzwqkv/weight)Úq_projÚk_projÚv_projr0  rY  r¾   ÚF8_z.FP8 source must be an explicitly scaled matrixÚ
_scale_invz*FP8 matrix has no explicit inverse scale: c              3   ó8   K  — | ]  \  }}||z   d z
  |z  –— Œ y­w)r¾   Nr)   )rI  ÚsizeÚblocks      r&   rK  z*Drama3Loader.build_plan.<locals>.<genexpr>D  s*   è ø€ ò !á#˜˜eð ˜E‘\ AÑ%¨%Õ/ñ!ùs   ‚)rX  rW  rV  z-invalid source FP8 inverse-scale shape/type: z*inverse scale accompanies a non-FP8 matrixz/matrix target must use canonical /weight naming)r¾   r-  z#unsupported non-matrix model tensor)ÚF8_E4M3Ú	F8_E4M3FNrX  zBlossless FP8 experts require E4M3FN weights and F32 inverse scalesz!duplicate converted tensor targetr  rR  rZ   )r3  r  r=  rS  ry   Úinverse_scaleÚscale_shardÚtower_slicez#orphan source inverse-scale tensors)r`   ÚanyrJ   rÜ   ÚlistÚlenrI   r!  r…   rÃ   Úendswithr7  ÚtupleÚ
startswithÚzipÚaddra   r>  Úintersectionrg   Úappend)r$   r"  rN   Úquantization_policyÚaudioÚheadsÚkv_headsrC  Ú
block_sizeÚresultÚdestinationsÚconsumed_scalesr3  r)  rS  ry   r=  ÚvariantsÚprefixr6  rc  ÚscaleÚexpectedÚoutput_shapeÚmatrixrR  Úemittedr  s                               r&   Ú
build_planzDrama3Loader.build_planÿ  s®  € à× Ñ Ð!4Ô5ØÐ-Ñ.ˆà�(‰OØ�/Ñ"Ø�*Ñð "ˆxˆô ÑR°u¸hÈÐ6QÔRÔRØ�xÒäÐAÓBÐBØÐ1Ñ2Ð3FÑGˆ
ä˜:¤tÔ,Ü�:‹ !Ò#ÜÑD¸ÔDÔDäÐDÓEÐEØ˜#˜s˜Ò# vÐ.CÑ'D×'HÑ'HØó(
à&ñ('ô ØSóð ð 13´C³E¼3»5˜o�ˆÜ$ W§]¡]£_Ó5ó Z	‰NˆF�FØ�‰Ð2Ô3ØØ! '™?¨F°7©O�5ˆEÙœCÑ6°Ô6Ô6Ü Ð!NÓOÐOØ×'Ñ'¨Ó/ˆFØ ¤u¨U£|Ð4Ð5ˆHØ�‰Ð7Ô8¸V×=NÑ=NØ#ô>ô �u“: ’? e¨A¡h°!°u¸xÑ7GÑ2HÈ8Ñ2SÒ&SÜ$Ð%LÓMÐMØÐ 6Ñ6Ü$Ð%TÓUÐUØÐ 5¤3 }Ó#5Ð"5Ð6�ð !?öð ð  ™¨	Ñ1Øð $(¨8Ò#3ð !" E¡	¨HÒ 4à%-°Ñ%8à! !™Hðòð�ð ð !ˆMØ×Ñ Ô&Ü�u“: ’?Ü$Ð%UÓVÐVØ &¨Ñ 5�Ø ¨Ñ/Ü$ØDÀvÑMóð ð   Ñ.�Ü ñ !ä'*¨5°*Ó'=ô!ó �ð
 ˜'‘NÐ*@Ñ@Ü˜U 7™^Ó,°Ò8ä$ØGÈ&ÑPóð ð  ×#Ñ# MÕ2Ø˜,Ñ&¨'Ñ1Ü Ð!MÓNÐNØ.6ó #Ñ*�˜˜lÜ˜\Ó*¨aÑ/�Ù &§/¡/°)Ô"<Ü$Ð%VÓWÐWÙÜ˜Ó%¨VÑ3°u×7GÑ7GÈÔ7Nä$Ð%JÓKÐKà'¨3¯>©>Ñ9ò 9Ø×0Ñ0°Ó8ð ñ ØÐ!9Ñ9¸UÀ7¹^ÈuÒ=Tä$Ø\óð ñ >A˜6 6¨LÑ#8Ñ9ÀvÀh�Ø×,Ñ,¨WÔ5Ü$Ð%HÓIÐIØ×#Ñ# GÔ,Ø—‘à"(Ø!'¨¡Ø"(Ü!% lÓ!3Ù*-¡°9Ø)6á?L˜G MÑ2°7Ò;ÐRVà'+ñöò-#ðoZ	ðx %ö
Ø¨¯©Ð6IÕ(JŠDò
àòô ÐBÓCÐCØˆùò_ùòV
s   Æ5'OÎOÎ6Oc              #   ó  K  — ddl m} t        |«      t        us|dk  rt	        d«      ‚| j
                  |   }|d   j                  d«      rt	        d«      ‚| j                  |«      j                  d«      }t        dt        |«      |«      D ]r  }|j                  ||||z    |d   «      }t        j                  |«      j                  «       st	        d«      ‚t        j                  |t        j                   ¬	«      –— Œt y ­w)
Nr   r  zchunk_elements must be positivery   r\  z/unscaled FP8 raw tensor conversion is forbiddenrS   z#nonfinite source vector/convolution©ry   )r
  r  rì   rG  rJ   r"  rk  Ú_mapÚreshapeÚrangerh  Ú_float32ÚnpÚisfiniteÚallÚascontiguousarrayrZ   )r(  r  Úchunk_elementsr  r)  ÚrawÚstartÚvaluess           r&   Úfloat_chunkszDrama3Loader.float_chunks|  së   è ø€ åDä�Ó¤sÑ*¨nÀÒ.AÜÐ>Ó?Ð?Ø—‘ Ñ%ˆØ�'‰?×%Ñ% eÔ,ÜÐNÓOÐOØ�k‰k˜$Ó×'Ñ'¨Ó+ˆÜ˜1œc #›h¨Ó7ò 	AˆEØ×%Ñ%Ø�E˜E NÑ2Ð3°V¸G±_óˆFô —;‘;˜vÓ&×*Ñ*Ô,Ü Ð!FÓGÐGÜ×&Ñ& v´R·Z±ZÔ@Ó@ñ	Aùs   ‚DDc           	   #   óÞ  K  — ddl m} | j                  |d   «      }|d   }|d   |z  |d   |z  }}t        d|d   d   |«      D ]¤  }	t	        j
                  |	t        |	|z   |d   d   «      «      }
|d   }|d	k(  r#|
d
|z  z  }|
d
|z  z  |z  ||z  z   ||k\  |z  z   }
n"|dv r|
d
|z  |dk(  r|ndz   z  }
nt        d«      ‚|j                  ||
   | j                  |d      d   «      –— Œ¦ y­w)zDRead a planned Q/G/K/V slice without decoding the full fused matrix.r   r  r3  rC  rA  rB  rS  re  rY  rn   )rZ  r[  r[  z"invalid tower attention projectionry   N)
r
  r  r‚  r„  r†  ÚarangeÚminrJ   r…  r"  )r(  r¿   rq  Ú
chunk_rowsÚweightsr‹  ÚdimÚwidthÚkv_widthrŒ  Úrowsr6  Úwithins                r&   Útower_matrix_chunksz Drama3Loader.tower_matrix_chunksŽ  s1  è ø€ õ 	Eà�k‰k˜$˜x™.Ó)ˆØ�JÑˆØ ™/¨CÑ/°°Ñ1GÈ#Ñ1MˆxˆÜ˜1˜d 7™m¨AÑ.°
Ó;ò 
	WˆEÜ—9‘9˜U¤C¨°
Ñ(:¸DÀ¹MÈ!Ñ<LÓ$MÓNˆDØ˜Ñ&ˆDØ�xÒØ  S¡Ñ)�Ø  C¡Ñ(¨3Ñ.°¸#±Ñ=ÀÈ3ÁÐRWÑ@WÑW‘ØÐ-Ñ-Ø˜˜E™	°¸Ò1A¡XÀqÑIÑI‘ä Ð!EÓFÐFØ×"Ñ" 3 t¡9¨f¯n©n¸TÀ(¹^Ñ.LÈWÑ.UÓVÓVñ
	Wùs   ‚C+C-rP  c           	      óà  — |d   }i }t        |«      D �]W  \  }}||d      }	|d   dk(  rü|	j                  |d   «      }
t        j                  |
dz  dk(  «      rt	        d|d   z   «      ‚t        j
                  ||d      j                  |d	   «      d
¬«      }t        j                  |«      j                  «       rt        j                  |dk  «      rt	        d«      ‚t        j
                  |
d
¬«      j                  t        j                  «      ||d   <   |||d   dz   <   �Œ|d   r| j                  |	|||«      }nVt        |d   «      dk(  r0|	j                  |d   ||d	   |d   r||d      nd|d   d   ¬«      }n| j                  |	|d   «      }t        j                  |d   t        j                  ¬«      }|j!                  d«      }d}|D ]`  }t        j                  |«      j                  «       st	        d«      ‚|j!                  d«      ||||j"                  z    ||j"                  z  }Œb |||d   <   |dz   dz  dk(  s�Œ8t%        d|dz   › dt        |«      › d�d
¬«       �ŒZ |S ) z>Preserve source FP8 experts and load other weights as float32.r@  r  ry   rR  r3  é   z nonfinite E4M3FN source weight: rd  rc  T)Úcopyr   z.FP8 inverse scales must be finite and positiver=  r]  re  rS  rn   NrM  rN  )r’  rc  Úscale_readerrt  r�  rS   znonfinite source matrixr¾   iè  zLoaded r,  z model tensors)Úflush)Ú	enumerater‚  r†  rf  rJ   Úarrayr‡  rˆ  ÚviewÚint8r™  rh  Úiter_matrix_rowsrŽ  ÚemptyrZ   rƒ  r_  Úprint)r$   Úplanr%  rN   r’  rq  Ú	variablesr#  r¿   r3  r‹  rz  ÚchunksÚvalueÚflaträ   Úchunks                    r&   Úload_model_tensorszDrama3Loader.load_model_tensors¢  sŽ  € ð Ð-Ñ.ˆØˆ	Ü$ T›?ó (	S‰KˆE�4Ø˜T '™]Ñ+ˆFØ�G‰} Ò%Ø—k‘k $ x¡.Ó1�Ü—6‘6˜3 ™:¨$Ñ.Ô/Ü$Ø:¸TÀ(¹^ÑKóð ô Ÿ™Ø˜D Ñ/Ñ0×5Ñ5°d¸?Ñ6KÓLÐSWô�ô —{‘{ 5Ó)×-Ñ-Ô/´2·6±6¸%À1¹*Ô3EÜ$Ð%UÓVÐVÜ,.¯H©H°S¸tÔ,D×,IÑ,IÌ"Ï'É'Ó,R�	˜$˜x™.Ñ)Ø;@�	˜$˜x™.¨<Ñ7Ñ8ÙØ�MÒ"Ø×0Ñ0°¸¸uÀjÓQ‘Ü�T˜'‘]Ó# qÒ(Ø×0Ñ0Ø˜‘NØ)Ø"& Ñ"7à8<¸]Ò8K˜  ]Ñ 3Ò4ÐQUà%Ð&;Ñ<Ð=PÑQð 1ó ‘ð ×)Ñ)¨&°$°x±.ÓA�Ü—H‘H˜T '™]´"·*±*Ô=ˆEØ—=‘= Ó$ˆDØˆFØò %�Ü—{‘{ 5Ó)×-Ñ-Ô/Ü$Ð%>Ó?Ð?Ø5:·]±]À2Ó5F��V˜f u§z¡zÑ1Ð2Ø˜%Ÿ*™*Ñ$‘ð	%ð
 ).ˆI�d˜8‘nÑ%Ø˜‘	˜TÑ! QÔ&Ü˜ ¨¡	˜{¨!¬C°«I¨;°nÐEÈT×RðQ(	SðR Ðr(   c           
      óN  ‡— ddl m} | j                  ||«      }|dk7  r| j                  }t	        |«      t
        us|dk  rt        d«      ‚t        |«      }| j                  | j                  |d«      «      }|j                  d«      dk7  rt        d	«      ‚| j                  D ]  }| j                  ||«       Œ | j                  |d
«       | j                  |«      \  }	}
| j                  |
||«      }|j                  |j                  |j!                  |d
z  «      «      «      }t#        |«      }t%        d„ |D «       «      }|}|x}x}}|D ]É  }t'        j(                  |d   «      }||dz  z  }|dz  }|d   dk(  r*|dt'        j(                  |
|d      d   «      z  z   }|dz  }nYt#        |d   «      dk7  s|dk(  r|dz  }n=|j+                  d«      r||d   d   dz  z   }|dz  }n|dk(  r|dz  dz   }|dz  }n|dz  }||z  }||d   dk(  r|n|dz  z  }ŒË i d|“d|“d|“dd“dd“d|“dt#        |	«      “dt#        |
«      “dt#        |«      “d|“d|“d |“d!d"“d#|“d$|“d%d&D �‡ci c]  Š‰t%        ˆfd'„|D «       «      “Œ c}“}|| j,                  k(  rd(|d)<   ||	|||fS c c}w )*Nr   ©Údrama3_codecrZ   r¾   zchunk_rows must be positiver?   rC   rD   z&expected official Fish Omni checkpointú	codec.pthc              3   óR   K  — | ]  }t        j                  |d    «      dz  –— Œ! y­w)rS  é   N)ÚmathÚprod)rI  Úts     r&   rK  z2Drama3Loader.inspect_checkpoint.<locals>.<genexpr>ï  s"   è ø€ ÒH¸œ$Ÿ)™) A g¡JÓ/°!Õ3ÑHùs   ‚%'rS  r²  ry   rR  rc  rn   r¢  Úint16Úestimated_float32_loading_bytesÚestimated_loading_bytesrR   Ú
model_nameÚ
Drama3SpecÚct2_layout_versionÚsource_revisionÚsource_shardsÚsource_tensor_countÚmodel_mapping_countÚcodec_parameter_countÚvariable_countÚestimated_payload_bytesÚdry_runTÚmappingsrp  Úmatrix_counts)rR  rZ   c              3   óT   •K  — | ]  }t        |d    «      dk(  xr |d   ‰k(  –— Œ! y­w)rS  rn   ry   N)rh  )rI  r¿   ry   s     €r&   rK  z2Drama3Loader.inspect_checkpoint.<locals>.<genexpr>  s5   øè ø€ ò ØKO”C˜˜W™Ó&¨!Ñ+ÒF°°W±ÀÑ0FÓFñùs   ƒ%(Úe4m3fn_block128Ú
fp8_format)r
  r¯  r`   r9  rì   rG  rJ   r   r  r  rI   ÚASSETSr*  r  Úconversion_planÚstate_schemaÚload_checkpointrh  Úsumr³  r´  rk  ra   )r$   r3  r’  r¼  rp  rR   ÚcodecrN   r  r%  r"  r¦  Ú
codec_planÚcodec_countÚcodec_bytesÚcountÚpayload_bytesÚloading_bytesÚfloat32_bytesr¿   Úelementsr_  ry   ru  s                         ` r&   rU   zDrama3Loader.inspect_checkpointÒ  s„  ø€ õ 	Aà×/Ñ/Ð0CÀ\ÓRˆØ˜9Ò$Ø"%×"5Ñ"5ÐÜ�
Ó¤3Ñ&¨*°qª.ÜÐ:Ó;Ð;Ü�f“ˆØ—‘ §¡°¸Ó!GÓHˆØ�:‰:�lÓ# {Ò2ÜÐEÓFÐFØ—J‘Jò 	*ˆDØ�O‰O˜F DÕ)ð	*à�‰˜ Ô,Ø×-Ñ-¨fÓ5Ñˆ�Ø�~‰~˜g vÐ/BÓCˆØ×*Ñ*Ø×Ñ˜u×4Ñ4°V¸kÑ5IÓJÓKó
ˆ
ô ˜*“oˆÜÑH¸ZÔHÓHˆØˆØ8CÐCˆÐC˜¨Øò 	NˆDÜ—y‘y  g¡Ó/ˆHØ˜X¨™\Ñ)ˆMØ�Q‰JˆEØ�G‰} Ò%Ø !¤d§i¡i°¸¸_Ñ8MÑ0NÈwÑ0WÓ&XÑ"XÑX�Ø˜‘
‘Ü�T˜'‘]Ó# qÒ(¨L¸IÒ,EØ !‘|‘Ø×(Ñ(¨Ô0Ø $ w¡-°Ñ"2°QÑ"6Ñ6�Ø˜‘
‘Ø Ò(Ø !‘| aÑ'�Ø˜‘
‘à !‘|�Ø˜TÑ!ˆMØ T¨'¡]°eÒ%;™TÀÈAÁÑM‰Mð%	Nð&
Ø-¨}ð
à% }ð
ð ˜Lð
ð ˜,ð	
ð
 ! !ð
ð ˜ð
ð œS ›\ð
ð "¤3 w£<ð
ð "¤3 t£9ð
ð $ [ð
ð ˜eð
ð & }ð
ð �tð
ð ˜ð
ð "Ð#6ð
ð  ð 0÷	ð ð ”só ØSWôó ñ òð!
ˆð.  #§.¡.Ò0Ø#4ˆF�<Ñ Ø�w  j°&Ð8Ð8ùòs   É'J"c                 ó¦  — ddl m} ddlm} t	        |«      }| j                  |||||«      \  }}	}
}}|d   }|j                  |dz  «      }|j                  ||t        |d«      ¬«      }| j                  |
|	||«      }|j                  |«       |d   }|
D ],  }t        |d	   «      d
k(  sŒ|d   dk7  sŒt        ||d   dz   <   Œ. dd||d|| j                  k(  rdn||dœ}|| j                  k(  rd|d<    |||«      }|j                  |dz  d«       | j                  D ]#  }|j                  | j!                  ||«      «       Œ% |t#        |d¬«      fS )z:Load Drama3 weights into the standard model specification.r   r®  )rº  rR   r°  é    )r¦  r’  rp  rS  rn   ry   rR  r=  Ú_scaleÚdrama3r¾   rZ   Úfp8_float32)rC   r»  Úsource_configr¼  Úactivation_dtypeÚmatrix_dtyperp  rÇ  rÈ  r?   zsource_config.jsonF)rÃ  )r
  r¯  Úctranslate2.specs.drama3_specrº  r   rU   rÌ  Úload_codec_tensorsr‘  r¬  rg   rh  r   ra   rŽ   rÉ  r  r  )r$   Ú
model_pathrR   r’  r¼  rp  rÎ  rº  rN   r%  r¦  rÏ  ru  ÚstateÚcodec_variablesr§  r¿   Úpackage_configr‘   r  s                       r&   r  zDrama3Loader.load_spec   s›  € õ 	AÝ<ä˜*Ó%ˆ
Ø47×4JÑ4JØ˜
 OÐ5HÈ,ó5
Ñ1ˆ�˜˜z¨6ð ˜nÑ-ˆØ×%Ñ% j°;Ñ&>Ó?ˆØ×2Ñ2Ø˜
¬s°:¸rÓ/Bð 3ó 
ˆð ×*Ñ*¨4°¸&À*ÓMˆ	Ø×Ñ˜Ô)Ø$Ð%:Ñ;ÐØò 	@ˆDÜ�4˜‘=Ó! QÓ&¨4°©=¸EÓ+AÜ7?�	˜$˜x™.¨8Ñ3Ò4ð	@ð #Ø"#Ø#Ø.Ø )à" c§n¡nÒ4ñ *àØ#6ñ

ˆð  #§.¡.Ò0Ø+<ˆN˜<Ñ(Ù˜) ^Ó4ˆØ×Ñ˜:¨Ñ5Ð7KÔLØ—J‘Jò 	BˆDØ×Ñ˜sŸ™¨z¸4Ó@ÕAð	Bà”T˜&¨%Ô0Ð0Ð0r(   r"   )i   )rP  )rƒ   r¦   r§   r¨   ÚSOURCE_REVISIONra   r9  rÉ  r=   r´   r·   Ústaticmethodr  r  Úclassmethodr*  r7  r`   r>  r  rŽ  r™  r¬  rU   r  r)   r(   r&   rT   rT   o  sL  „ ñð A€OØ0€JØ €Oð€Fó&òòð ñ
ó ð
ð ñó ðð" ñ  ó ð  ðD ñKó ðKð: òó ðð ñ
ó ð
ð Ø=Gò zó ðzðx òAó ðAð" ñWó ðWð& ò-ó ð-ð^ ð Ø'Ø&ØòK9ó ðK9ðZ ð ØØ'Ø&ò,1ó ñ,1r(   rT   Ú
BartConfigc                   óZ   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	d„ Z
d
d„Zd	„ Zˆ xZS )Ú
BartLoaderc                  ó   — y)NÚBartForConditionalGenerationr)   r¯   s    r&   r‡   zBartLoader.architecture_nameR  ó   € à-r(   c                 ó$  — t         j                  j                  |j                  j                  |j                  j
                  f|j                  j                  |j                  j                  t        |j                  j                     t        |j                  dd«      ¬«      }| j                  |j                  |j                  j                  «       | j                  |j                  |j                  j                  «       | j!                  |j                  j"                  |j$                  «       t        |dd «      }|�J|j'                  «       j)                  «       dk7  r)|j+                  «       |j                  j"                  _        |S )NÚnormalize_embeddingT©Úpre_normÚ
activationÚlayernorm_embeddingÚfinal_logits_biasr   )r   ÚTransformerSpecÚfrom_configrN   Úencoder_layersÚdecoder_layersÚencoder_attention_headsÚnormalize_beforeÚ_SUPPORTED_ACTIVATIONSÚactivation_functionr}   Úset_encoderÚencoderr–   Úset_decoderÚdecoderrà   Ú
projectionÚlm_headÚnonzeroÚnumelÚsqueezerÏ   )r<   r–   r‘   rô  s       r&   r´   zBartLoader.get_model_specV  s!  € Ü×/Ñ/×;Ñ;Ø�\‰\×(Ñ(¨%¯,©,×*EÑ*EÐFØ�L‰L×0Ñ0Ø—\‘\×2Ñ2Ü-¨e¯l©l×.NÑ.NÑOÜ '¨¯©Ð6KÈTÓ Rð <ó 
ˆð 	×Ñ˜Ÿ™ u§{¡{×':Ñ':Ô;Ø×Ñ˜Ÿ™ u§{¡{×':Ñ':Ô;Ø�‰˜Ÿ™×/Ñ/°·±Ô?ä# EÐ+>ÀÓEÐØÐ(Ð->×-FÑ-FÓ-H×-NÑ-NÓ-PÐTUÒ-UØ+<×+DÑ+DÓ+FˆD�L‰L×#Ñ#Ô(àˆr(   c                 óž   •— t         ‰| �  ||«      }|j                  j                  t	        |«      k  r|d |j                  j                   }|S r"   )re   r·   rN   Ú
vocab_sizerh  ©r<   r–   r˜   r¹   rl   s       €r&   r·   zBartLoader.get_vocabularyi  sF   ø€ Ü‘Ñ'¨¨yÓ9ˆØ�<‰<×"Ñ"¤S¨£[Ò0ØÐ5˜eŸl™l×5Ñ5Ð6ˆFØˆr(   c                 óH   — |j                  |«       |j                  |«       y r"   ©Úregister_source_vocabularyÚregister_target_vocabularyrÇ   s      r&   r¸   zBartLoader.set_vocabularyo  ó   € Ø×'Ñ'¨Ô/Ø×'Ñ'¨Õ/r(   c                 ó¾   — |j                   |_         |j                  |_        |j                  |_        |j                  |j                  j
                  «      |_        y r"   )Ú	bos_tokenÚ	eos_tokenÚ	unk_tokenÚconvert_ids_to_tokensrN   Údecoder_start_token_idÚdecoder_start_tokenrÊ   s       r&   r¶   zBartLoader.set_configs  sL   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ%.×%DÑ%DØ�L‰L×/Ñ/ó&
ˆÕ"r(   c                 óH  — | j                  ||«       t        |j                  |j                  «      D ]í  \  }}| j	                  |j
                  |j                  d¬«       | j                  |j
                  j                  |j                  «       | j                  |j                  j                  |j                  «       | j                  |j                  j                  |j                  «       | j                  |j                  j                  |j                   «       Œï y ©NT©Úself_attention)Úset_common_layersrl  ÚlayerÚlayersÚset_attentionr  Ú	self_attnrÓ   Ú
layer_normÚself_attn_layer_normrà   ÚffnÚlinear_0Úfc1Úlinear_1Úfc2Úfinal_layer_norm)r<   r‘   rþ  Ú
layer_specr  s        r&   rý  zBartLoader.set_encoder{  sß   € Ø×Ñ˜t WÔ-ä!$ T§Z¡Z°·±Ó!@ò 	SÑˆJ˜Ø×ÑØ×)Ñ)Ø—‘Ø#ð ô ð
 ×ÑØ×)Ñ)×4Ñ4Ø×*Ñ*ôð
 �O‰O˜JŸN™N×3Ñ3°U·Y±YÔ?Ø�O‰O˜JŸN™N×3Ñ3°U·Y±YÔ?Ø×Ñ 
§¡× 9Ñ 9¸5×;QÑ;QÕRñ	Sr(   c                 ó  — | j                  ||«       t        |j                  |j                  «      D �]R  \  }}| j	                  |j
                  |j                  d¬«       | j                  |j
                  j                  |j                  «       t        |d«      rX| j	                  |j                  |j                  d¬«       | j                  |j                  j                  |j                  «       | j                  |j                  j                   |j"                  «       | j                  |j                  j$                  |j&                  «       | j                  |j                  j                  |j(                  «       �ŒU y )NTr  Úencoder_attnF)r  rl  r  r  r  r  r  rÓ   r  r  rˆ   Ú	attentionr(  Úencoder_attn_layer_normrà   r   r!  r"  r#  r$  r%  )r<   r‘   r   r&  r  s        r&   rÿ  zBartLoader.set_decoder�  s;  € Ø×Ñ˜t WÔ-ä!$ T§Z¡Z°·±Ó!@ó 	SÑˆJ˜Ø×ÑØ×)Ñ)Ø—‘Ø#ð ô ð
 ×ÑØ×)Ñ)×4Ñ4Ø×*Ñ*ôô
 �u˜nÔ-Ø×"Ñ"Ø×(Ñ(Ø×&Ñ&Ø#(ð #ô ð
 ×#Ñ#Ø×(Ñ(×3Ñ3Ø×1Ñ1ôð
 �O‰O˜JŸN™N×3Ñ3°U·Y±YÔ?Ø�O‰O˜JŸN™N×3Ñ3°U·Y±YÔ?Ø×Ñ 
§¡× 9Ñ 9¸5×;QÑ;QÖRñ1	Sr(   c                 óR  — t        d«      D �cg c]  }t        j                  «       ‘Œ }}| j                  |d   |j                  «       | j                  |d   |j
                  «       | j                  |d   |j                  «       |r$t        j                  |j                  d   |«       nLt        j                  |j                  d   |d d «       t        j                  |j                  d   |dd  «       | j                  |j                  d   |j                  «       y c c}w )Nr-  r   r¾   rn   rS   )r„  r	   Ú
LinearSpecrà   rY  rZ  r[  r   Úfuse_linearr   Úout_proj©r<   r‘   r)  r  rÅ   Úsplit_layerss         r&   r  zBartLoader.set_attentionª  så   € Ü:?À»(ÖC°Qœ×.Ñ.Õ0ÐCˆÐCØ�‰˜ Q™¨×)9Ñ)9Ô:Ø�‰˜ Q™¨×)9Ñ)9Ô:Ø�‰˜ Q™¨×)9Ñ)9Ô:áÜ×Ñ˜dŸk™k¨!™n¨lÕ;ä×Ñ˜dŸk™k¨!™n¨l¸2¸AÐ.>Ô?Ü×Ñ˜dŸk™k¨!™n¨l¸1¸2Ð.>Ô?à�‰˜Ÿ™ B™¨×);Ñ);Õ<ùò Ds   ŽD$c                 ó|  — dd l }t        |d«      s?|j                  j                  r& |j                  |j                  j
                  «      nd}n|j                  }||_        | j                  |j                  |j                  «       | j                  t        |j                  t        «      r|j                  d   n|j                  |j                  «       t        |d«      r&| j!                  |j"                  |j"                  «       t        |d«      r'| j!                  |j$                  |j$                  «       y y )Nr   Úembed_scaleç      ð?r  ró  )r³  rˆ   rN   Úscale_embeddingÚsqrtÚd_modelr2  Úscale_embeddingsrè   Úposition_encodingsÚembed_positionsrâ   rÜ   Ú
embeddingsrg  Úembed_tokensrÓ   r  ró  )r<   r‘   rÒ   r³  r2  s        r&   r  zBartLoader.set_common_layers¸  sÿ   € Ûä�v˜}Ô-ð —=‘=×0Ò0ð �—	‘	˜&Ÿ-™-×/Ñ/Ô0àñ ð !×,Ñ,ˆKØ +ˆÔØ×#Ñ# D×$;Ñ$;¸V×=SÑ=SÔTØ×Ñô ˜dŸo™o¬tÔ4ð —‘ Ò"à—_‘_à×Ñô	
ô �6˜<Ô(Ø×Ñ §¡°×1BÑ1BÔCÜ�6Ð0Ô1Ø×Ñ × 8Ñ 8¸&×:TÑ:TÕUð 2r(   ©F)rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rý  rÿ  r  r  rª   r«   s   @r&   rê  rê  P  s@   ø„ àñ.ó ð.òô&ò0ò
òSò$Só:=öVr(   rê  ÚMarianConfigc                   óN   ‡ — e Zd Zed„ «       Zˆ fd„Zd„ Zˆ fd„Zˆ fd„Zd„ Z	ˆ xZ
S )ÚMarianMTLoaderc                  ó   — y)NÚMarianMTModelr)   r¯   s    r&   r‡   z MarianMTLoader.architecture_nameÖ  s   € àr(   c                 óŒ   •— d|j                   _        d|j                   _        t        ‰| �  |«      }| j                  |«       |S ©NF)rN   rú  rï  re   r´   Ú_remove_pad_weights)r<   r–   r‘   rl   s      €r&   r´   zMarianMTLoader.get_model_specÚ  s=   ø€ Ø(-ˆ�‰Ô%Ø+0ˆ�‰Ô(Ü‰wÑ% eÓ,ˆØ× Ñ  Ô&Øˆr(   c                 ój   — |j                   |_         |j                  |_        |j                   |_        y r"   )r  r  r  rÊ   s       r&   r¶   zMarianMTLoader.set_configá  s.   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔð &/×%8Ñ%8ˆÕ"r(   c                 ó4   •— d|_         t        ‰| �	  ||«       y ©NT)Ústart_from_zero_embeddingre   rÿ  ©r<   r‘   r   rl   s      €r&   rÿ  zMarianMTLoader.set_decoderé  s   ø€ Ø)-ˆÔ&Ü‰Ñ˜D 'Õ*r(   c                 óX   •— t         ‰| �  ||«      }|d   dk(  r|j                  «        |S )NrS   z<pad>)re   r·   Úpopr  s       €r&   r·   zMarianMTLoader.get_vocabularyí  s0   ø€ ô ‘Ñ'¨¨yÓ9ˆØ�"‰:˜Ò Ø�J‰JŒLØˆr(   c                 óþ  — |j                   j                  d   |j                  j                  |j                  j                  g}|d   j                  j
                  d   dz
  }|D ]•  }|j                  j
                  d   |dz   k(  r|j                  d d |_        t        |t        j                  «      sŒQ|j                  «       sŒb|j                  j
                  d   |dz   k(  sŒ‚|j                  d d |_
        Œ— y )Nr   r¾   rS   )rþ  r:  r   r  rÍ   rS  rÜ   r	   r,  Úhas_biasrÏ   )r<   r‘   Úvocab_specsÚnew_vocab_sizeÚ
vocab_specs        r&   rD  z"MarianMTLoader._remove_pad_weightsö  sâ   € à�L‰L×#Ñ# AÑ&Ø�L‰L×#Ñ#Ø�L‰L×#Ñ#ð
ˆð % Q™×.Ñ.×4Ñ4°QÑ7¸!Ñ;ˆà%ò 	7ˆJØ× Ñ ×&Ñ& qÑ)¨^¸aÑ-?Ò?Ø$.×$5Ñ$5°c°rÐ$:�
Ô!ä˜:¤{×'=Ñ'=Õ>Ø×'Ñ'Õ)Ø—O‘O×)Ñ)¨!Ñ,°ÀÑ0BÓBà",§/¡/°#°2Ð"6�
•ñ	7r(   )rƒ   r¦   r§   rø   r‡   r´   r¶   rÿ  r·   rD  rª   r«   s   @r&   r?  r?  Ô  s.   ø„ àñó ðôò9ô+ôö7r(   r?  ÚM2M100Configc                   ó>   ‡ — e Zd Zed„ «       Zˆ fd„Zd„ Zˆ fd„Zˆ xZS )ÚM2M100Loaderc                  ó   — y)NÚM2M100ForConditionalGenerationr)   r¯   s    r&   r‡   zM2M100Loader.architecture_name  s   € à/r(   c                 óf   •— d|j                   _        d|j                   _        t        ‰| �  |«      S )NTF)rN   rú  rï  re   r´   )r<   r–   rl   s     €r&   r´   zM2M100Loader.get_model_spec  s+   ø€ Ø(,ˆ�‰Ô%Ø+0ˆ�‰Ô(Ü‰wÑ% eÓ,Ð,r(   c                 ó@   — |j                   |j                  d  |_        y r"   )r“  rä   ræ   rÑ   s      r&   rè   z#M2M100Loader.set_position_encodings  s   € ØŸ™¨¯©¨Ð8ˆ�r(   c                 óº  •— t         ‰| �  ||«      }|d   |j                  k(  r*|j                  |j                  |j                  «       «       |j                  j                  dg «      D ]  }||vsŒ|j                  |«       Œ t        |d|j                  j                  t        |«      z
  «      }|dkD  r|t        |«      D �cg c]  }d|z  ‘Œ	 c}z  }|S c c}w )NrS   Úadditional_special_tokensÚnum_madeup_wordsr   zmadeupword%d)re   r·   r  ÚinsertÚunk_token_idrK  Úspecial_tokens_maprI   ro  r}   rN   r  rh  r„  )r<   r–   r˜   r¹   rÄ   rZ  Úirl   s          €r&   r·   zM2M100Loader.get_vocabulary  s×   ø€ Ü‘Ñ'¨¨yÓ9ˆð �"‰:˜×,Ñ,Ò,Ø�M‰M˜)×0Ñ0°&·*±*³,Ô?à×1Ñ1×5Ñ5Ð6QÐSUÓVò 	%ˆEØ˜FÒ"Ø—‘˜eÕ$ð	%ô #ØÐ)¨5¯<©<×+BÑ+BÄSÈÃ[Ñ+Pó
Ðð ˜aÒØ´5Ð9IÓ3JÖK¨a�~¨Ó)ÒKÑKˆFàˆùò Ls   ÃC)	rƒ   r¦   r§   rø   r‡   r´   rè   r·   rª   r«   s   @r&   rS  rS    s)   ø„ àñ0ó ð0ô-ò
9÷ð r(   rS  ÚMBartConfigc                   ó"   — e Zd Zed„ «       Zd„ Zy)ÚMBartLoaderc                  ó   — y)NÚMBartForConditionalGenerationr)   r¯   s    r&   r‡   zMBartLoader.architecture_name0  s   € à.r(   c                 óÎ   — |j                   |_         |j                  |_        |j                  |_        t        |j                  dd «      dv rd |_        y |j                  |_        y )Nr“   )ÚMBartTokenizerN)r  r  r  r}   rN   r  rÊ   s       r&   r¶   zMBartLoader.set_config4  s[   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$×.Ñ.ˆÔô �5—<‘<Ð!2°DÓ9Ð=UÑUØ)-ˆFÕ&à)2×)<Ñ)<ˆFÕ&r(   N©rƒ   r¦   r§   rø   r‡   r¶   r)   r(   r&   ra  ra  .  s   „ àñ/ó ð/ó	=r(   ra  ÚPegasusConfigc                   ó"   — e Zd Zed„ «       Zd„ Zy)ÚPegasusLoaderc                  ó   — y)NÚPegasusForConditionalGenerationr)   r¯   s    r&   r‡   zPegasusLoader.architecture_nameB  ó   € à0r(   c                 óŒ   — |j                   |_        |j                  |_        |j                  |_        |j                   |_        y r"   )Ú	pad_tokenr  r  r  r  rÊ   s       r&   r¶   zPegasusLoader.set_configF  s:   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ%.×%8Ñ%8ˆÕ"r(   Nrf  r)   r(   r&   ri  ri  @  s   „ àñ1ó ð1ó9r(   ri  Ú	OPTConfigc                   óV   ‡ — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zˆ fd„Z	d„ Z
ˆ fd„Zˆ xZS )	Ú	OPTLoaderc                  ó   — y)NÚOPTForCausalLMr)   r¯   s    r&   r‡   zOPTLoader.architecture_nameO  ó   € àr(   c                 ó  — t         j                  j                  |j                  j                  |j                  j
                  |j                  j                  t        |j                  j                     |j                  j                  |j                  j                  k7  ¬«      }| j                  |j                  |j                  j                  «       | j                  |j                  j                  |j                   «       |S )N)rñ  rò  Úproject_in_out)r   ÚTransformerDecoderModelSpecrö  rN   Únum_hidden_layersÚnum_attention_headsÚdo_layer_norm_beforerû  rü  Úword_embed_proj_dimÚhidden_sizerÿ  r   r–   rà   r  r  r  s      r&   r´   zOPTLoader.get_model_specS  s´   € Ü×;Ñ;×GÑGØ�L‰L×*Ñ*Ø�L‰L×,Ñ,Ø—\‘\×6Ñ6Ü-¨e¯l©l×.NÑ.NÑOØ Ÿ<™<×;Ñ;¸u¿|¹|×?WÑ?WÑWð Hó 
ˆð 	×Ñ˜Ÿ™ u§{¡{×':Ñ':Ô;Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 óv  — t        |j                  j                  «      D ]—  \  }}d|z  }t        j                  |j
                  j                  |j
                  j                  d   |d|z     «       t        j                  |j                  j                  |j                  j                  |d|z     «       Œ™ y )Nzmodel.decoder.layers.%dr   z%s.self_attn.q_projz%s.fc1)
rŸ  r   r  r   r�   r  r  r   r   r!  )r<   r‘   r.   r^  r  Úlayer_scopes         r&   r�   zOPTLoader.smooth_activation`  s¤   € Ü! $§,¡,×"4Ñ"4Ó5ò 	‰HˆAˆuØ3°aÑ7ˆKä×#Ñ#Ø×$Ñ$×/Ñ/Ø×$Ñ$×+Ñ+¨AÑ.Ø!Ð"7¸+Ñ"EÑFôô ×#Ñ#Ø—	‘	×$Ñ$Ø—	‘	×"Ñ"Ø! (¨[Ñ"8Ñ9õñ	r(   c                 ó&   — |j                  |«       y r"   ©Úregister_vocabularyrÇ   s      r&   r¸   zOPTLoader.set_vocabularyp  ó   € Ø× Ñ  Õ(r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   ©r  r  r  rÊ   s       r&   r¶   zOPTLoader.set_configs  ó,   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$×.Ñ.ˆÕr(   c                 óT  •— t         ‰| �  ||«       |j                  �&| j                  |j                  |j                  «       |j                  �&| j                  |j                  |j                  «       |j
                  �'| j                  |j                  |j
                  «       y y r"   )re   rÿ  Ú
project_inrà   Úproject_outr%  rÓ   r  rI  s      €r&   rÿ  zOPTLoader.set_decoderx  s‡   ø€ Ü‰Ñ˜D 'Ô*à×ÑÐ)Ø�O‰O˜DŸO™O¨W×-?Ñ-?Ô@Ø×ÑÐ*Ø�O‰O˜D×,Ñ,¨g×.AÑ.AÔBØ×#Ñ#Ð/Ø×Ñ §¡°×1IÑ1IÕJð 0r(   c                 óª   — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       y rC  )r7  rè   r8  r9  râ   r:  r;  rÑ   s      r&   r  zOPTLoader.set_common_layers‚  s@   € Ø %ˆÔØ×#Ñ# D×$;Ñ$;¸V×=SÑ=SÔTØ×Ñ˜DŸO™O¨V×-@Ñ-@ÕAr(   c                 óÈ   •— t         ‰| �  ||«      }d}t        |«      dz  dk7  r=dj                  |«      }||vr|j	                  |«       |dz  }t        |«      dz  dk7  rŒ=|S )Nr   é   zmadeupword{:04d}r¾   )re   r·   rh  Úformatro  )r<   r–   r˜   r¹   r^  Úsymbolrl   s         €r&   r·   zOPTLoader.get_vocabulary‡  so   ø€ Ü‘Ñ'¨¨yÓ9ˆàˆÜ�&‹k˜A‰o Ò"Ø'×.Ñ.¨qÓ1ˆFØ˜VÑ#Ø—‘˜fÔ%Ø�‰FˆAô	 �&‹k˜A‰o Ó"ð ˆr(   )rƒ   r¦   r§   rø   r‡   r´   r�   r¸   r¶   rÿ  r  r·   rª   r«   s   @r&   rq  rq  M  s?   ø„ àñ ó ð òòò )ò/ô
KòB÷

ð 
r(   rq  ÚGPTBigCodeConfigc                   óF   ‡ — e Zd Zed„ «       Zd„ Zd„ Zˆ fd„Zd„ Zd„ Z	ˆ xZ
S )ÚGPTBigCodeMHALoaderc                  ó   — y)NÚGPTBigCodeForCausalLMr)   r¯   s    r&   r‡   z%GPTBigCodeMHALoader.architecture_name–  s   € à&r(   c                 ó€  — t         j                  j                  |j                  j                  |j                  j
                  dt        |j                  j                     d¬«      }| j                  |j                  |j                  «       | j                  |j                  j                  |j                  «       |S )NT)rñ  rò  Úmulti_query_attention©r   rw  rö  rN   Ún_layerrA  rû  rü  rÿ  r   Útransformerrà   r  r  r  s      r&   r´   z"GPTBigCodeMHALoader.get_model_specš  s�   € Ü×;Ñ;×GÑGØ�L‰L× Ñ Ø�L‰L×ÑØÜ-¨e¯l©l×.NÑ.NÑOØ"&ð Hó 
ˆð 	×Ñ˜Ÿ™ u×'8Ñ'8Ô9Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   z"GPTBigCodeMHALoader.set_vocabulary§  r‚  r(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S ©Nú<extra_id_%d>©re   r·   rN   r  rh  r„  ro  ©r<   r–   r˜   r¹   Ú	extra_idsr^  rl   s         €r&   r·   z"GPTBigCodeMHALoader.get_vocabularyª  óX   ø€ Ü‘Ñ'¨¨yÓ9ˆà—L‘L×+Ñ+¬c°&«kÑ9ˆ	Ü�yÓ!ò 	/ˆAØ�M‰M˜/¨AÑ-Õ.ð	/ð ˆr(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zGPTBigCodeMHALoader.set_config³  r…  r(   c                 óæ  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       | j                  |j                  |j                  «       t        |j                  |j                  «      D �]T  \  }}| j                  |j                  j                  |j                  «       | j                  |j                  j                   d   |j"                  j$                  «       | j                  |j                  j                   d   |j"                  j&                  «       | j                  |j(                  j                  |j*                  «       | j                  |j(                  j,                  |j.                  j0                  «       | j                  |j(                  j2                  |j.                  j&                  «       �ŒW y ©NFr   r¾   ©r7  râ   r:  Úwterè   r8  ÚwperÓ   r  Úln_frl  r  Úhr  Úln_1rà   r   ÚattnÚc_attnÚc_projr   Úln_2r!  ÚmlpÚc_fcr#  ©r<   r‘   rÒ   r&  r  s        r&   rÿ  zGPTBigCodeMHALoader.set_decoder¸  óK  € Ø %ˆÔØ×Ñ˜DŸO™O¨V¯Z©ZÔ8Ø×#Ñ# D×$;Ñ$;¸V¿Z¹ZÔHØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!:ó 	GÑˆJ˜Ø×Ñ 
× 9Ñ 9× DÑ DÀeÇjÁjÔQØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×ARÑARÔSØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×ARÑARÔSØ×Ñ 
§¡× 9Ñ 9¸5¿:¹:ÔFØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y·^±^ÔDØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5EÑ5EÖFñ	Gr(   )rƒ   r¦   r§   rø   r‡   r´   r¸   r·   r¶   rÿ  rª   r«   s   @r&   r�  r�  ”  s/   ø„ àñ'ó ð'òò)ôò/ö
Gr(   r�  Ú
GPT2Configc                   ó4   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zy)Ú
GPT2Loaderc                  ó   — y)NÚGPT2LMHeadModelr)   r¯   s    r&   r‡   zGPT2Loader.architecture_nameÉ  ó   € à r(   c                 ó~  — t         j                  j                  |j                  j                  |j                  j
                  dt        |j                  j                     ¬«      }| j                  |j                  |j                  «       | j                  |j                  j                  |j                  «       |S )NT)rñ  rò  r•  r  s      r&   r´   zGPT2Loader.get_model_specÍ  sŠ   € Ü×;Ñ;×GÑGØ�L‰L× Ñ Ø�L‰L×ÑØÜ-¨e¯l©l×.NÑ.NÑOð	 Hó 
ˆð 	×Ñ˜Ÿ™ u×'8Ñ'8Ô9Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zGPT2Loader.set_vocabularyÙ  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zGPT2Loader.set_configÜ  r…  r(   c                 óæ  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       | j                  |j                  |j                  «       t        |j                  |j                  «      D �]T  \  }}| j                  |j                  j                  |j                  «       | j                  |j                  j                   d   |j"                  j$                  «       | j                  |j                  j                   d   |j"                  j&                  «       | j                  |j(                  j                  |j*                  «       | j                  |j(                  j,                  |j.                  j0                  «       | j                  |j(                  j2                  |j.                  j&                  «       �ŒW y r¢  r£  r¯  s        r&   rÿ  zGPT2Loader.set_decoderá  r°  r(   N©	rƒ   r¦   r§   rø   r‡   r´   r¸   r¶   rÿ  r)   r(   r&   r³  r³  Ç  s)   „ àñ!ó ð!ò
ò)ò/ó
Gr(   r³  Ú
GPTJConfigc                   ó4   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zy)Ú
GPTJLoaderc                  ó   — y)NÚGPTJForCausalLMr)   r¯   s    r&   r‡   zGPTJLoader.architecture_nameò  r¶  r(   c           
      ó  — t         j                  j                  |j                  j                  |j                  j
                  dt        |j                  j                     |j                  j                  ddd¬«      }| j                  |j                  |j                  |j                  j                  |j                  j
                  «       | j                  |j                  j                  |j                  «       |S ©NTF©rñ  rò  Ú
rotary_dimÚrotary_interleaveÚparallel_residualÚshared_layer_norm)r   rw  rö  rN   r–  rA  rû  rü  rÄ  rÿ  r   r—  rà   r  r  r  s      r&   r´   zGPTJLoader.get_model_specö  sÀ   € Ü×;Ñ;×GÑGØ�L‰L× Ñ Ø�L‰L×ÑØÜ-¨e¯l©l×.NÑ.NÑOØ—|‘|×.Ñ.Ø#Ø"Ø"ð Hó 	
ˆð 	×ÑØ�L‰LØ×ÑØ�L‰L×#Ñ#Ø�L‰L×Ñô		
ð 	�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zGPTJLoader.set_vocabulary  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zGPTJLoader.set_config  r…  r(   c                 ó0  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        |j                  |j                  «      D �]Ÿ  \  }}| j	                  |j                  |j                  «       |j                  j                  j                  }|j                  j                  j                  }|j                  j                   j                  }	t#        j$                  |||«      }t#        j$                  |||«      }t'        j(                  |||	f«      |j*                  j,                  d   _        | j/                  |j*                  j,                  d   |j                  j0                  «       | j/                  |j2                  j4                  |j6                  j8                  «       | j/                  |j2                  j:                  |j6                  j<                  «       �Œ¢ y r¢  )r7  râ   r:  r¤  rÓ   r  r¦  rl  r  r§  rÇ  r¨  r©  rY  rÍ   rZ  r[  r   Úpermute_for_sliced_rotaryr~   Úcatr  r   rà   r.  r   r!  r­  Úfc_inr#  Úfc_out)
r<   r‘   rÒ   rÄ  Ú	num_headsr&  r  ÚqwÚkwÚvws
             r&   rÿ  zGPTJLoader.set_decoder  ss  € Ø %ˆÔØ×Ñ˜DŸO™O¨V¯Z©ZÔ8Ø×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!:ó 	GÑˆJ˜Ø×Ñ 
× <Ñ <¸e¿j¹jÔIà—‘×"Ñ"×)Ñ)ˆBØ—‘×"Ñ"×)Ñ)ˆBØ—‘×"Ñ"×)Ñ)ˆBä×0Ñ0°°YÀ
ÓKˆBÜ×0Ñ0°°YÀ
ÓKˆBä9>¿¹ÀBÈÈBÀ<Ó9PˆJ×%Ñ%×,Ñ,¨QÑ/Ô6Ø�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×ATÑATÔUà�O‰O˜JŸN™N×3Ñ3°U·Y±Y·_±_ÔEØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5EÑ5EÖFñ	Gr(   Nr»  r)   r(   r&   r¾  r¾  ð  s)   „ àñ!ó ð!òò*)ò/ó
Gr(   r¾  ÚCodeGenConfigc                   óF   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	ˆ xZ
S )ÚCodeGenLoaderc                  ó   — y)NÚCodeGenForCausalLMr)   r¯   s    r&   r‡   zCodeGenLoader.architecture_name+  ó   € à#r(   c           
      ó”  — t         j                  j                  |j                  j                  |j                  j
                  dt        |j                  j                     |j                  j                  ddd¬«      }d}t        |j                  d«      r|j                  j                  dv rd}| j                  |j                  |j                  |j                  j                  |j                  j
                  |j                  j                  |¬«       | j                  |j                  j                   |j"                  «       |S )	NTFrÃ  r²  rC  )rP  é   r‹  )Úmp_num)r   rw  rö  rN   r–  rA  rû  rü  rÄ  rˆ   rC  rÿ  r   r—  Ún_embdrà   r  r  )r<   r–   r‘   rÛ  s       r&   r´   zCodeGenLoader.get_model_spec/  s   € Ü×;Ñ;×GÑGØ�L‰L× Ñ Ø�L‰L×ÑØÜ-¨e¯l©l×.NÑ.NÑOØ—|‘|×.Ñ.Ø#Ø"Ø"ð Hó 	
ˆð ˆÜ�5—<‘< Ô,°·±×1FÑ1FÈ*Ñ1Tð ˆFà×ÑØ�L‰LØ×ÑØ�L‰L×#Ñ#Ø�L‰L×ÑØ�L‰L×ÑØð 	ô 	
ð 	�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zCodeGenLoader.get_vocabularyM  sX   ø€ Ü‘Ñ'¨¨yÓ9ˆà—L‘L×+Ñ+¬c°&«kÑ9ˆ	Ü�yÓ!ò 	/ˆAà�M‰M˜/¨AÑ-Õ.ð	/ð ˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zCodeGenLoader.set_vocabularyW  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zCodeGenLoader.set_configZ  r…  r(   c           
      ó"  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        j                  d|dz  «      j                  dd«      j                  j                  «       j                  «       }||z  }t        j                  |D �	cg c]!  }	t        j                  |	|z  |	dz   |z  «      ‘Œ# c}	«      }
t        |j                   |j"                  «      D �]  \  }}| j	                  |j$                  |j&                  «       |j(                  j*                  j,                  }||
d d …f   }|j/                  dd¬«      \  }}}t1        j2                  |||«      }t1        j2                  |||«      }t        j                  |||f«      |j4                  j6                  d   _        | j9                  |j4                  j6                  d   |j(                  j:                  «       | j9                  |j<                  j>                  |j@                  jB                  «       | j9                  |j<                  jD                  |j@                  jF                  «       �Œ‚ y c c}	w )NFr   r-  rS   r¾   ©r”  )$r7  râ   r:  r¤  rÓ   r  r¦  r†  r�  rƒ  ÚTÚflattenÚtolistr~   rÌ  rl  r  r§  rÇ  r¨  r©  Úqkv_projrÍ   r«  r   rË  r  r   rà   r.  r   r!  r­  rÍ  r#  rÎ  )r<   r‘   rÒ   rÄ  rÏ  Ú	embed_dimrÛ  Úbase_permutationÚ	local_dimr^  Úpermutationr&  r  rå  Únew_qkv_projrÐ  rÒ  rÑ  s                     r&   rÿ  zCodeGenLoader.set_decoder_  sø  € Ø %ˆÔØ×Ñ˜DŸO™O¨V¯Z©ZÔ8Ø×Ñ˜DŸO™O¨V¯[©[Ô9äŸ9™9 Q¨°©
Ó3×;Ñ;¸BÀÓB×DÑD×LÑLÓN×UÑUÓWÐØ Ñ'ˆ	Ü—i‘iØGWÖXÀ!ŒU�\‰\˜!˜i™-¨!¨a©%°9Ñ)<Õ=ÒXó
ˆô "% T§Z¡Z°·±Ó!:ó 	GÑˆJ˜Ø×Ñ 
× <Ñ <¸e¿j¹jÔIð —z‘z×*Ñ*×1Ñ1ˆHð $ K² NÑ3ˆLà%×+Ñ+¨A°1Ð+Ó5‰JˆB��Bô ×0Ñ0°°YÀ
ÓKˆBÜ×0Ñ0°°YÀ
ÓKˆBä9>¿¹ÀBÈÈBÀ<Ó9PˆJ×%Ñ%×,Ñ,¨QÑ/Ô6Ø�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×ATÑATÔUà�O‰O˜JŸN™N×3Ñ3°U·Y±Y·_±_ÔEØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5EÑ5EÖFñ-	Gùò Ys   Â;&J©rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rÿ  rª   r«   s   @r&   rÕ  rÕ  )  s/   ø„ àñ$ó ð$òô<ò)ò/ö
!Gr(   rÕ  ÚGPTNeoXConfigc                   óF   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	ˆ xZ
S )ÚGPTNeoXLoaderc                  ó   — y)NÚGPTNeoXForCausalLMr)   r¯   s    r&   r‡   zGPTNeoXLoader.architecture_name…  rØ  r(   c                 ón  — t         j                  j                  |j                  j                  |j                  j
                  dt        |j                  j                     t        |j                  j                  |j                  j                  |j                  j
                  z  z  «      d|j                  j                  d¬«      }| j                  |j                  |j                  |j                  j
                  «       | j                  |j                  j                   |j"                  «       |S rÂ  )r   rw  rö  rN   rx  ry  rû  Ú
hidden_actrG  Ú
rotary_pctr|  Úuse_parallel_residualrÿ  r   Úgpt_neoxrà   r  Ú	embed_outr  s      r&   r´   zGPTNeoXLoader.get_model_spec‰  sà   € Ü×;Ñ;×GÑGØ�L‰L×*Ñ*Ø�L‰L×,Ñ,ØÜ-¨e¯l©l×.EÑ.EÑFÜØ—‘×'Ñ'Ø—<‘<×+Ñ+¨u¯|©|×/OÑ/OÑOñQóð $Ø#Ÿl™l×@Ñ@Ø#ð Hó 
ˆð 	×Ñ˜Ÿ™ u§~¡~°u·|±|×7WÑ7WÔXØ�‰˜Ÿ™×/Ñ/°·±ÔAØˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zGPTNeoXLoader.get_vocabularyœ  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zGPTNeoXLoader.set_vocabulary¥  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zGPTNeoXLoader.set_config¨  r…  r(   c                 óÊ  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        |j                  |j                  «      D �]l  \  }}t        |d«      rM| j	                  |j                  |j                  «       | j	                  |j                  |j                  «       n`| j	                  |j                  j
                  |j                  «       | j	                  |j                   j
                  |j                  «       |j"                  j$                  j&                  }|j"                  j$                  j(                  }|j+                  |dd|j,                  d   «      j/                  dd«      j+                  d|j,                  d   «      }|j+                  |dd«      j/                  dd«      j+                  d«      }||j                  j0                  d   _        ||j                  j0                  d   _        | j3                  |j                  j0                  d   |j"                  j4                  «       | j3                  |j                   j6                  |j8                  j:                  «       | j3                  |j                   j<                  |j8                  j>                  «       �Œo y )NFÚinput_layer_normr-  rS   r   r¾   ) r7  râ   r:  Úembed_inrÓ   r  r%  rl  r  r  rˆ   rû  Úinput_layernormÚpost_attention_layer_normÚpost_attention_layernormr  r   r)  Úquery_key_valuerÍ   rÏ   rƒ  rS  Úswapaxesr   rà   Údenser!  r­  Údense_h_to_4hr#  Údense_4h_to_h)r<   r‘   rÒ   rÏ  r&  r  Úqkv_wÚqkv_bs           r&   rÿ  zGPTNeoXLoader.set_decoder­  s*  € Ø %ˆÔØ×Ñ˜DŸO™O¨V¯_©_Ô=Ø×Ñ˜DŸO™O¨V×-DÑ-DÔEä!$ T§Z¡Z°·±Ó!?ó 	NÑˆJ˜Ü�zÐ#5Ô6Ø×#Ñ# J×$?Ñ$?À×AVÑAVÔWØ×#Ñ#Ø×8Ñ8¸%×:XÑ:Xõð ×#Ñ#Ø×-Ñ-×8Ñ8¸%×:OÑ:Oôð ×#Ñ#Ø—N‘N×-Ñ-¨u×/MÑ/Môð —O‘O×3Ñ3×:Ñ:ˆEØ—O‘O×3Ñ3×8Ñ8ˆEð —‘˜i¨¨B°·±¸B±Ó@ß‘˜!˜Q“ß‘˜˜UŸ[™[¨™_Ó-ð ð
 —M‘M )¨Q°Ó3×<Ñ<¸QÀÓB×JÑJÈ2ÓNˆEà9>ˆJ×%Ñ%×,Ñ,¨QÑ/Ô6Ø7<ˆJ×%Ñ%×,Ñ,¨QÑ/Ô4à�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×AVÑAVÔWà�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5LÑ5LÔMØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5LÑ5LÖMñ=	Nr(   rë  r«   s   @r&   rî  rî  ƒ  s/   ø„ àñ$ó ð$òô&ò)ò/ö
#Nr(   rî  ÚWhisperConfigc                   óf   ‡ — e Zd Zed„ «       Zd„ Zd„ Zd„ Zˆ fd„Zd„ Z	ˆ fd„Z
ˆ fd„Zd	„ Zd
„ Zˆ xZS )ÚWhisperLoaderc                  ó   — y)NÚWhisperForConditionalGenerationr)   r¯   s    r&   r‡   zWhisperLoader.architecture_nameÕ  rl  r(   c                 óö  — t        j                  |j                  j                  |j                  j                  |j                  j
                  |j                  j                  «      }| j                  |j                  |j                  j                  «       | j                  |j                  |j                  j                  «       | j                  |j                  j                  |j                  «       |S r"   )r   ÚWhisperSpecrN   r÷  rù  rø  Údecoder_attention_headsrý  rþ  r–   rÿ  r   rà   r  Úproj_outr  s      r&   r´   zWhisperLoader.get_model_specÙ  s¥   € Ü×'Ñ'Ø�L‰L×'Ñ'Ø�L‰L×0Ñ0Ø�L‰L×'Ñ'Ø�L‰L×0Ñ0ó	
ˆð 	×Ñ˜Ÿ™ u§{¡{×':Ñ':Ô;Ø×Ñ˜Ÿ™ u§{¡{×':Ñ':Ô;Ø�‰˜Ÿ™×/Ñ/°·±Ô@àˆr(   c                 ó|   — g d¢}t        |dg «      }|sg S |D �cg c]  }||vr|j                  |«      ‘Œ c}S c c}w )N)z<|endoftext|>z<|startoftranscript|>z<|translate|>z<|transcribe|>z<|startoflm|>z<|startofprev|>z<|nocaptions|>z<|notimestamps|>rY  )r}   Úconvert_tokens_to_ids)r<   r˜   Únon_lang_special_tokensÚadditional_tokensrÄ   s        r&   Ú_get_lang_ids_from_tokenizerz*WhisperLoader._get_lang_ids_from_tokenizerç  sZ   € ò	#
Ðô $ IÐ/JÈBÓOÐÙ ØˆIð +ö
àØÐ3Ñ3ð ×+Ñ+¨EÕ2ò
ð 	
ùò 
s   š9c                 óê  — t        |dd «      }|�t|j                  |_        |j                  |_        t        |d«      r|j                  |_        t        |d«      rƒt        |j                  j                  «       «      |_
        nZ|j                  j                  |_        |j                  j                  |_        t        j                  |j                  «      |_        t        |dd «      €| j                  |«      |_
        |j                  €g|j                  j                   }|j                  j"                  }t%        t'        j(                  t+        |dz  |«      t+        |«      «      «      |_        y y )NÚgeneration_configÚalignment_headsÚ
lang_to_idÚlang_idsrn   )r}   Úsuppress_tokensÚsuppress_idsÚbegin_suppress_tokensÚsuppress_ids_beginrˆ   r  r…   r  r�  r  rN   Ú_WHISPER_ALIGNMENT_HEADSrI   Úname_or_pathr  rø  r  rg  Ú	itertoolsÚproductr„  )r<   rN   r–   r˜   Ú
gen_configÚ
num_layersrÏ  s          r&   r¶   zWhisperLoader.set_configý  s/  € Ü˜UÐ$7¸Ó>ˆ
àÐ!Ø",×"<Ñ"<ˆFÔØ(2×(HÑ(HˆFÔ%Ü�zÐ#4Ô5Ø)3×)CÑ)C�Ô&Ü�z <Ô0Ü"(¨×)>Ñ)>×)EÑ)EÓ)GÓ"H�•à"'§,¡,×">Ñ">ˆFÔØ(-¯©×(JÑ(JˆFÔ%Ü%=×%AÑ%AÀ%×BTÑBTÓ%UˆFÔ"ä�6˜: tÓ,Ð4Ø"×?Ñ?À	ÓJˆFŒOà×!Ñ!Ð)àŸ™×4Ñ4ˆJØŸ™×<Ñ<ˆIÜ%)Ü×!Ñ!Ü˜*¨™/¨:Ó6Ü˜)Ó$óó&ˆFÕ"ð	 *r(   c           	      óª   •— t         ‰| �  ||«      }|j                  d„ t        |j                  j
                  t        |«      z
  «      D «       «       |S )Nc              3   ó,   K  — | ]  }d |dz  z  –— Œ y­w)z<|%.2f|>g{®Gáz”?Nr)   )rI  r^  s     r&   rK  z/WhisperLoader.get_vocabulary.<locals>.<genexpr>  s!   è ø€ ò 
àð ˜!˜d™(Õ#ñ
ùs   ‚)re   r·   Úextendr„  rN   r  rh  r  s       €r&   r·   zWhisperLoader.get_vocabulary  sN   ø€ Ü‘Ñ'¨¨yÓ9ˆð 	�‰ñ 
ä˜5Ÿ<™<×2Ñ2´S¸³[Ñ@ÓAô
ô 	
ð
 ˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zWhisperLoader.set_vocabulary%  r‚  r(   c                 ó¾   •— | j                  |j                  |j                  «       | j                  |j                  |j                  «       t        ‰| �  ||«       y r"   )Ú
set_conv1dÚconv1Úconv2re   rý  )r<   r‘   rþ  rl   s      €r&   rý  zWhisperLoader.set_encoder(  s>   ø€ Ø�‰˜Ÿ
™
 G§M¡MÔ2Ø�‰˜Ÿ
™
 G§M¡MÔ2Ü‰Ñ˜D 'Õ*r(   c                 ór   •— | j                  |j                  |j                  «       t        ‰| �  ||«       y r"   )râ   r:  r;  re   rÿ  rI  s      €r&   rÿ  zWhisperLoader.set_decoder-  s,   ø€ Ø×Ñ˜DŸO™O¨W×-AÑ-AÔBÜ‰Ñ˜D 'Õ*r(   c                 óœ   — | j                  |j                  |j                  «       | j                  |j                  |j                  «       y r"   )rè   r8  r9  rÓ   r  rÑ   s      r&   r  zWhisperLoader.set_common_layers1  s8   € Ø×#Ñ# D×$;Ñ$;¸V×=SÑ=SÔTØ×Ñ˜DŸO™O¨V×->Ñ->Õ?r(   c                 óH   — |j                   |_         |j                  |_        y r"   ©rÍ   rÏ   rÑ   s      r&   r)  zWhisperLoader.set_conv1d5  s   € Ø—m‘mˆŒØ—K‘Kˆ�	r(   )rƒ   r¦   r§   rø   r‡   r´   r  r¶   r·   r¸   rý  rÿ  r  r)  rª   r«   s   @r&   r	  r	  Ó  sC   ø„ àñ1ó ð1òò
ò,ô:	ò)ô+ô
+ò@ö r(   r	  ÚWav2Vec2Configc                   ó^   ‡ — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zd„ Z	d„ Z
d„ Zˆ fd	„Zd
„ Zˆ xZS )ÚWav2Vec2Loaderc                  ó   — y)NÚWav2Vec2ForCTCr)   r¯   s    r&   r‡   z Wav2Vec2Loader.architecture_name<  rt  r(   c                 ó*  — t        |j                  j                  dd«      }t        j                  |j                  j                  j
                  |j                  j                  j                  j                  |j                  j                  j                  j                  |j                  j                  j                  d   |«      }|j                  j                  j                  D ]u  }|j                  |_        |j                  |_        |j"                  j$                  |_        |j"                  j(                  |_        |j"                  j,                  |_        Œw | j1                  |j                  ||j                  j                  «       |S ©NÚreturn_hiddenFr   )r}   Úwav2vec2rN   r   ÚWav2Vec2SpecÚnum_feat_extract_layersrþ  rx  ry  r  rÍ   rS  r  r)  r  r  r  Úfeed_forwardÚintermediate_act_fnÚactivation_fnÚintermediate_denser"  Úoutput_denser$  rý  )r<   r–   r7  r‘   r  s        r&   r´   zWav2Vec2Loader.get_model_spec@  s%  € Ü §¡× 5Ñ 5°ÈÓNˆÜ×)Ñ)Ø�N‰N×!Ñ!×9Ñ9Ø�N‰N×"Ñ"×)Ñ)×;Ñ;Ø�N‰N×"Ñ"×)Ñ)×=Ñ=Ø�M‰M× Ñ ×&Ñ& qÑ)Øó
ˆð —^‘^×+Ñ+×2Ñ2ò 	8ˆEØ#Ÿo™oˆEŒOØ).×)9Ñ)9ˆEÔ&Ø"'×"4Ñ"4×"HÑ"HˆEÔØ×*Ñ*×=Ñ=ˆEŒIØ×*Ñ*×7Ñ7ˆE�Ið	8ð 	×Ñ˜Ÿ™ u¨e¯n©n×.CÑ.CÔDØˆr(   c                  ó   — y r"   r)   rÊ   s       r&   r¶   zWav2Vec2Loader.set_configU  ó   € Ør(   c                 ó"   — |j                  «       S r"   ©rÂ   r  s      r&   r·   zWav2Vec2Loader.get_vocabularyX  ó   € Ø×"Ñ"Ó$Ð$r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zWav2Vec2Loader.set_vocabulary[  r‚  r(   c                 ó¤  — |j                   d   j                  j                  |j                  j                  _        |j                   d   j                  j                  |j                  j                  _        | j                  |j                  j                  |j                   d   j                  «       t        |j                  |j                   dd  «      D ]u  \  }}|j                  j                  |j                  _        |j                  j                  |j                  _        | j                  |j                  |j                  «       Œw y )Nr   r¾   )	Úconv_layersÚconvrÍ   Úfeat_layer0rÏ   rÓ   r  rl  Ú
feat_layer)r<   r‘   Úfeature_extractorÚ
spec_layerÚmodule_layers        r&   Úset_feature_extractorz$Wav2Vec2Loader.set_feature_extractor^  s  € Ø'8×'DÑ'DÀQÑ'G×'LÑ'L×'SÑ'Sˆ×Ñ×ÑÔ$Ø%6×%BÑ%BÀ1Ñ%E×%JÑ%J×%OÑ%Oˆ×Ñ×ÑÔ"Ø×ÑØ×Ñ×'Ñ'Ð):×)FÑ)FÀqÑ)I×)TÑ)Tô	
ô ),Ø�O‰OÐ.×:Ñ:¸1¸2Ð>ó)
ò 	PÑ$ˆJ˜ð &2×%6Ñ%6×%=Ñ%=ˆJ�O‰OÔ"Ø#/×#4Ñ#4×#9Ñ#9ˆJ�O‰OÔ Ø×Ñ 
× 5Ñ 5°|×7NÑ7NÕOñ	Pr(   c                 óœ   — | j                  |j                  |j                  «       | j                  |j                  |j
                  «       y r"   ©rÓ   Úfp_layer_normr  rà   Úfp_projectionr  ©r<   r‘   Úfeature_projections      r&   Úset_feature_projectionz%Wav2Vec2Loader.set_feature_projectionk  ó:   € Ø×Ñ˜D×.Ñ.Ð0B×0MÑ0MÔNØ�‰˜×*Ñ*Ð,>×,IÑ,IÕJr(   c                 ó  — |j                   j                  j                  j                  j	                  «       |j                   j                  j                  _        |j                   j                  j
                  j	                  «       |j                   j                  j
                  _        |j                   j                  «       D ]!  }|j                  j	                  «       |_        Œ# |j                  t        j                  dd|j                  f«      «       |j                   j                  j                  |j                   j                  _        |j                   j                  j
                  |j                   j                  _        y r½   )
Úpos_conv_embedrH  rÍ   ÚdataÚfloatrÏ   Ú
parametersr~   Úrandnr|  )r<   r‘   rþ  rN   Úparams        r&   Úset_pos_conv_embedz!Wav2Vec2Loader.set_pos_conv_embedo  s  € ð ×"Ñ"×'Ñ'×.Ñ.×3Ñ3×9Ñ9Ó;ð 	×Ñ×#Ñ#×*Ñ*Ô/ð 18×0FÑ0F×0KÑ0K×0PÑ0P×0VÑ0VÓ0Xˆ×Ñ×#Ñ#×(Ñ(Ô-Ø×+Ñ+×6Ñ6Ó8ò 	,ˆEØŸ™×)Ñ)Ó+ˆE�Jð	,à×ÑœuŸ{™{¨A¨q°&×2DÑ2DÐ+EÓFÔGØ*1×*@Ñ*@×*EÑ*E×*LÑ*Lˆ×Ñ× Ñ Ô'Ø(/×(>Ñ(>×(CÑ(C×(HÑ(Hˆ×Ñ× Ñ Õ%r(   c                 óÈ  •— | j                  ||j                  j                  «       | j                  ||j                  j                  «       | j                  ||j                  j                  |«       t        ‰| �!  ||j                  j                  «       t        |j                  j                  dd«      }|s'| j                  |j                  |j                  «       y y ©Nr7  F)rN  r8  rK  rU  rT  r^  rþ  re   rý  r}   rN   rà   r  )r<   r‘   r–   rN   r7  rl   s        €r&   rý  zWav2Vec2Loader.set_encoder|  s¢   ø€ Ø×"Ñ" 4¨¯©×)IÑ)IÔJØ×#Ñ# D¨%¯.©.×*KÑ*KÔLØ×Ñ  e§n¡n×&<Ñ&<¸fÔEÜ‰Ñ˜D %§.¡.×"8Ñ"8Ô9Ü §¡× 5Ñ 5°ÈÓNˆÙØ�O‰O˜DŸL™L¨%¯-©-Õ8ð r(   c                 óP   — | j                  |j                  |j                  «       y r"   )rÓ   r  rÑ   s      r&   r  z Wav2Vec2Loader.set_common_layers…  s   € Ø×Ñ˜DŸO™O¨V×->Ñ->Õ?r(   )rƒ   r¦   r§   rø   r‡   r´   r¶   r·   r¸   rN  rU  r^  rý  r  rª   r«   s   @r&   r2  r2  :  sF   ø„ àñ ó ð òò*ò%ò)òPòKòIô9ö@r(   r2  ÚWav2Vec2BertConfigc                   ób   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zd„ Z		 dd„Z
d	„ Zd
„ Zd„ Zd„ Zd„ Zy)ÚWav2Vec2BertLoaderc                  ó   — y)NÚWav2Vec2BertForCTCr)   r¯   s    r&   r‡   z$Wav2Vec2BertLoader.architecture_name‹  rØ  r(   c                 ój  — t        |j                  j                  dd«      }t        j                  |j                  j                  j
                  |j                  j                  j                  |j                  j                  j                  d   |«      }| j                  |j                  |«       |S r6  )r}   Úwav2vec2_bertrN   r   ÚWav2Vec2BertSpecÚnum_adapter_layersrx  r  rÍ   rS  rý  rþ  )r<   r–   r7  r‘   s       r&   r´   z!Wav2Vec2BertLoader.get_model_spec�  sŒ   € Ü × 3Ñ 3× :Ñ :¸OÈUÓSˆÜ ×1Ñ1Ø×Ñ×&Ñ&×9Ñ9Ø×Ñ×&Ñ&×8Ñ8Ø�M‰M× Ñ ×&Ñ& qÑ)Øó	
ˆð 	×Ñ˜Ÿ™ uÔ-Øˆr(   c                  ó   — y r"   r)   rÊ   s       r&   r¶   zWav2Vec2BertLoader.set_configš  rA  r(   c                 ó"   — |j                  «       S r"   rC  r  s      r&   r·   z!Wav2Vec2BertLoader.get_vocabulary�  rD  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   z!Wav2Vec2BertLoader.set_vocabulary   r‚  r(   c                 óœ   — | j                  |j                  |j                  «       | j                  |j                  |j
                  «       y r"   rP  rS  s      r&   rU  z)Wav2Vec2BertLoader.set_feature_projection£  rV  r(   Nc                 ó˜  — t        d«      D �cg c]  }t        j                  «       ‘Œ }}| j                  |d   |j                  «       | j                  |d   |j
                  «       | j                  |d   |j                  «       t        j                  |j                  d   |«       | j                  |j                  d   |j                  «       |s|rn|j                  j                  |_        t        j                  d«      j!                  |«      |_        t        j                  d«      j!                  |«      |_        y y c c}w )Nr-  r   r¾   rn   rS   Úint32)r„  r	   r,  rà   Úlinear_qÚlinear_kÚlinear_vr   r-  r   Ú
linear_outÚdistance_embeddingrÍ   Ú!relative_asymmetric_position_keysr†  ry   rì   Úrelative_left_max_positionÚrelative_right_max_position)r<   r‘   r)  Úleft_max_positionÚright_max_positionrÅ   r0  s          r&   r  z Wav2Vec2BertLoader.set_attention§  s  € ô ;@À»(ÖC°Qœ×.Ñ.Õ0ÐCˆÐCØ�‰˜ Q™¨×);Ñ);Ô<Ø�‰˜ Q™¨×);Ñ);Ô<Ø�‰˜ Q™¨×);Ñ);Ô<Ü×Ñ˜$Ÿ+™+ a™.¨,Ô7Ø�‰˜Ÿ™ B™¨×)=Ñ)=Ô>ÙÑ 2Ø5>×5QÑ5Q×5XÑ5XˆDÔ2Ü.0¯h©h°wÓ.?×.DÑ.DÐEVÓ.WˆDÔ+Ü/1¯x©x¸Ó/@×/EÑ/EØ"ó0ˆDÕ,ð !3ùò Ds   ŽEc                 ó`  — t        ||«      D �]ž  \  }}| j                  |j                  |j                  «       | j	                  |j
                  j                  |j                  j                  «       | j	                  |j
                  j                  |j                  j                  «       | j                  |j                  |j                  ||«       | j                  |j                  |j                  «       | j                  |j                   |j"                  j$                  «       | j'                  |j(                  |j"                  j*                  «       | j'                  |j,                  |j"                  j.                  «       | j                  |j0                  |j"                  j2                  «       | j'                  |j4                  |j"                  j6                  «       | j                  |j8                  |j:                  «       | j	                  |j<                  j                  |j>                  j                  «       | j	                  |j<                  j                  |j>                  j                  «       | j                  |j@                  |jB                  «       �Œ¡ y r"   )"rl  rÓ   Úenc_ffn1_layer_normÚffn1_layer_normrà   Úenc_ffn1r!  Úffn1r>  r#  r?  r  Úenc_attnr  Úenc_attn_layer_normr  Úenc_conv_layer_normÚconv_moduler  r)  Úenc_conv_pointwise_conv1Úpointwise_conv1Úenc_conv_depthwise_convÚdepthwise_convÚenc_conv_depthwise_layer_normÚdepthwise_layer_normÚenc_conv_pointwise_conv2Úpointwise_conv2Úenc_ffn2_layer_normÚffn2_layer_normÚenc_ffn2Úffn2Úenc_final_layer_normr%  )r<   Úspec_layersr  ry  rz  Úslayerr  s          r&   Úset_wav2vec2bert_encoderz+Wav2Vec2BertLoader.set_wav2vec2bert_encoder·  sù  € ô ! ¨fÓ5ó 	U‰MˆF�EØ×Ñ × :Ñ :¸E×<QÑ<QÔRØ�O‰O˜FŸO™O×4Ñ4°e·j±j×6SÑ6SÔTØ�O‰O˜FŸO™O×4Ñ4°e·j±j×6MÑ6MÔNØ×ÑØ—‘ §¡Ð2CÐEWôð ×Ñ × :Ñ :¸E×<VÑ<VÔWØ×ÑØ×*Ñ*¨E×,=Ñ,=×,HÑ,Hôð �O‰OØ×/Ñ/°×1BÑ1B×1RÑ1Rôð �O‰OØ×.Ñ.°×0AÑ0A×0PÑ0Pôð ×ÑØ×4Ñ4Ø×!Ñ!×6Ñ6ôð �O‰OØ×/Ñ/°×1BÑ1B×1RÑ1Rôð ×Ñ × :Ñ :¸E×<QÑ<QÔRØ�O‰O˜FŸO™O×4Ñ4°e·j±j×6SÑ6SÔTØ�O‰O˜FŸO™O×4Ñ4°e·j±j×6MÑ6MÔNØ×Ñ × ;Ñ ;¸U×=SÑ=SÖTñ7	Ur(   c                 óà  — t        ||«      D �]^  \  }}| j                  |j                  |j                  «       | j	                  |j
                  |j                  «       | j                  |j                  |j                  «       | j	                  |j                  |j                  «       | j                  |j                  |j                  «       | j                  |j                  |j                  «       | j!                  |j"                  j$                  |j&                  j(                  «       | j!                  |j"                  j*                  |j&                  j,                  «       �Œa y r"   )rl  rÓ   Úadpt_residual_layer_normÚresidual_layer_normr)  Úadpt_residual_convÚresidual_convÚadpt_attn_layer_normr  Úadpt_attn_convÚself_attn_convr  Úadpt_attn_layerr  Úadpt_ffn_layer_normÚffn_layer_normrà   Úadpt_ffnr!  r   r>  r#  r?  )r<   r‘  r  r’  r  s        r&   Úset_wav2vec2bert_adapterz+Wav2Vec2BertLoader.set_wav2vec2bert_adapter×  s	  € Ü  ¨fÓ5ó 
	N‰MˆF�EØ×ÑØ×/Ñ/°×1JÑ1Jôð �O‰O˜F×5Ñ5°u×7JÑ7JÔKØ×Ñ × ;Ñ ;¸U×=WÑ=WÔXØ�O‰O˜F×1Ñ1°5×3GÑ3GÔHØ×Ñ˜v×5Ñ5°u·±ÔGØ×Ñ × :Ñ :¸E×<PÑ<PÔQØ�O‰O˜FŸO™O×4Ñ4°e·i±i×6RÑ6RÔSØ�O‰O˜FŸO™O×4Ñ4°e·i±i×6LÑ6LÖMñ
	Nr(   c                 óH  — | j                  ||j                  j                  «       | j                  |j                  |j                  j
                  j                  |j                  j                  j                  |j                  j                  j                  «       | j                  |j                  |j                  j                  j                  «       t        |j                  j                  dd«      }|s'| j                  |j                  |j                  «       y y r`  )rU  rh  rT  r“  r÷  rþ  r  rN   Úleft_max_position_embeddingsÚright_max_position_embeddingsr   Úadapter_layersÚadapterr}   rà   r  )r<   r‘   r–   r7  s       r&   rý  zWav2Vec2BertLoader.set_encoderä  sÛ   € Ø×#Ñ# D¨%×*=Ñ*=×*PÑ*PÔQØ×%Ñ%Ø×ÑØ×Ñ×'Ñ'×.Ñ.Ø×Ñ×&Ñ&×CÑCØ×Ñ×&Ñ&×DÑDô		
ð 	×%Ñ%Ø×Ñ ×!4Ñ!4×!<Ñ!<×!CÑ!Cô	
ô   × 3Ñ 3× :Ñ :¸OÈUÓSˆÙØ�O‰O˜DŸL™L¨%¯-©-Õ8ð r(   c                 ób   — |j                   |_         |j                  �|j                  |_        y y r"   r/  rÑ   s      r&   r)  zWav2Vec2BertLoader.set_conv1dó  s'   € Ø—m‘mˆŒØ�;‰;Ð"ØŸ™ˆD�Ið #r(   c                 ób   — |j                   |_        |j                  �|j                  |_        y y r"   rÌ   rÑ   s      r&   rÓ   z!Wav2Vec2BertLoader.set_layer_normø  s'   € Ø—]‘]ˆŒ
Ø�;‰;Ð"ØŸ™ˆD�Ið #r(   )NN)rƒ   r¦   r§   rø   r‡   r´   r¶   r·   r¸   rU  r  r“  r   rý  r)  rÓ   r)   r(   r&   rd  rd  ‰  sV   „ àñ$ó ð$ò	òò%ò)òKð
 KOóò Uò@Nò9ò$ó
$r(   rd  ÚT5Configc                   óh   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zdd„Z	d„ Z
d„ Zd	„ Zdd
„Zd„ Zˆ xZS )ÚT5Loaderc                  ó   — y)NÚT5ForConditionalGenerationr)   r¯   s    r&   r‡   zT5Loader.architecture_name   s   € à+r(   c           	      ó¤  — t         j                  j                  |j                  j                  |j                  j
                  f|j                  j                  dt        |j                  j                     |j                  j                  dd¬«      }| j                  |j                  |j                  «       | j                  |j                  |j                  d¬«       | j                  |j                  j                  |j                  «       |j                  j                   r(|j                  j"                  dz  |j                  _        |S )NT)rñ  rò  Úffn_gluÚrelative_attention_biasÚrms_norm)Ú
is_decoderg      à¿)r   rõ  rö  rN   r#  Únum_decoder_layersrÏ  rû  Údense_act_fnÚis_gated_actÚ	set_stackrþ  r   rà   r  r  Útie_word_embeddingsr6  Úscale_outputsr  s      r&   r´   zT5Loader.get_model_spec  sé   € Ü×/Ñ/×;Ñ;Ø�\‰\×$Ñ$ e§l¡l×&EÑ&EÐFØ�L‰L×"Ñ"ØÜ-¨e¯l©l×.GÑ.GÑHØ—L‘L×-Ñ-Ø$(Øð <ó 
ˆð 	�‰�t—|‘| U§]¡]Ô3Ø�‰�t—|‘| U§]¡]¸tˆÔDØ�‰˜Ÿ™×/Ñ/°·±Ô?à�<‰<×+Ò+Ø).¯©×)=Ñ)=¸tÑ)CˆD�L‰LÔ&àˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zT5Loader.get_vocabulary  rŸ  r(   c                 óH   — |j                  |«       |j                  |«       y r"   r
  rÇ   s      r&   r¸   zT5Loader.set_vocabulary!  r  r(   c                 ó  — |j                   |_        |j                  |_        |j                  |_        t	        |j
                  d«      r+|j                  |j
                  j                  «      |_        y |j                   |_        y )Nr  )	rn  r  r  r  rˆ   rN   r  r  r  rÊ   s       r&   r¶   zT5Loader.set_config%  sk   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$×.Ñ.ˆÔÜ�5—<‘<Ð!9Ô:Ø)2×)HÑ)HØ—‘×3Ñ3ó*ˆFÕ&ð *3×)<Ñ)<ˆFÕ&r(   c                 ó  — | j                  |j                  |j                  «       | j                  t	        |j
                  t        «      r|j
                  d   n|j
                  |j                  «       d|_        t        t        |j                  |j                  «      «      D ]Ù  \  }\  }}| j                  |j                  |j                  d   «       |dkD  rO|j                  d   j                  }|j                  |j                  _        |j                   |j                  _        |r)| j#                  |j$                  |j                  d   «       | j'                  |j(                  |j                  d   «       ŒÛ y )Nr   Fr¾   rS   )rÓ   r  r%  râ   rÜ   r:  rg  r;  r7  rŸ  rl  r  r`  Úset_self_attentionr  r¯  Úrelative_attention_max_distanceÚset_cross_attentionr)  Úset_ffnr   )r<   r‘   rÒ   r±  r^  r&  r`  Úfirst_self_attentions           r&   rµ  zT5Loader.set_stack0  s5  € Ø×Ñ˜DŸO™O¨V×-DÑ-DÔEØ×Ñô ˜dŸo™o¬tÔ4ð —‘ Ò"à—_‘_à×Ñô	
ð !&ˆÔä&/´°D·J±JÀÇÁÓ0MÓ&Nò 	:Ñ"ˆAÑ"�
˜EØ×#Ñ# J×$=Ñ$=¸u¿{¹{È1¹~ÔNà�1Šuà'+§z¡z°!¡}×'CÑ'CÐ$à(×@Ñ@ð ×)Ñ)ÔAð )×HÑHð ×)Ñ)ÔIñ Ø×(Ñ(¨×)=Ñ)=¸u¿{¹{È1¹~ÔNà�L‰L˜Ÿ™¨¯©°R©Õ9ñ!	:r(   c                 óê  — t        |d«      ra| j                  |j                  |j                  j                  «       | j                  |j
                  |j                  j                  «       n0| j                  |j                  |j                  j                  «       | j                  |j                  |j                  j                  «       | j                  |j                  |j                  «       y )NÚlinear_0_noact)rˆ   rà   r!  ÚDenseReluDenseÚwi_0rÂ  Úwi_1Úwir#  ÚworÓ   r  rÑ   s      r&   r¿  zT5Loader.set_ffnO  s¡   € Ü�4Ð)Ô*Ø�O‰O˜DŸM™M¨6×+@Ñ+@×+EÑ+EÔFØ�O‰O˜D×/Ñ/°×1FÑ1F×1KÑ1KÕLà�O‰O˜DŸM™M¨6×+@Ñ+@×+CÑ+CÔDà�‰˜Ÿ™ v×'<Ñ'<×'?Ñ'?Ô@Ø×Ñ˜DŸO™O¨V×->Ñ->Õ?r(   c                 óŒ   — | j                  ||j                  d¬«       | j                  |j                  |j                  «       y r  )r  ÚSelfAttentionrÓ   r  rÑ   s      r&   r¼  zT5Loader.set_self_attentionY  s7   € Ø×Ñ˜4 ×!5Ñ!5ÀdÐÔKØ×Ñ˜DŸO™O¨V×->Ñ->Õ?r(   c                 óˆ   — | j                  ||j                  «       | j                  |j                  |j                  «       y r"   )r  ÚEncDecAttentionrÓ   r  rÑ   s      r&   r¾  zT5Loader.set_cross_attention]  s2   € Ø×Ñ˜4 ×!7Ñ!7Ô8Ø×Ñ˜DŸO™O¨V×->Ñ->Õ?r(   c                 ó  — d|_         t        d«      D �cg c]  }t        j                  «       ‘Œ }}| j	                  |d   |j
                  «       | j	                  |d   |j                  «       | j	                  |d   |j                  «       |r$t        j                  |j                  d   |«       nLt        j                  |j                  d   |d d «       t        j                  |j                  d   |dd  «       | j	                  |j                  d   |j                  «       |j                  rO|j                  j                  |_        t        j                   d«      j#                  |j$                  «      |_        y y c c}w )Nr3  r-  r   r¾   rn   rS   rp  )Úqueries_scaler„  r	   r,  rà   ÚqÚkÚvr   r-  r   ÚoÚhas_relative_attention_biasr¯  rÍ   r†  ry   rì   r½  r/  s         r&   r  zT5Loader.set_attentiona  s,  € Ø ˆÔä:?À»(ÖC°Qœ×.Ñ.Õ0ÐCˆÐCØ�‰˜ Q™¨¯©Ô5Ø�‰˜ Q™¨¯©Ô5Ø�‰˜ Q™¨¯©Ô5áÜ×Ñ˜dŸk™k¨!™n¨lÕ;ä×Ñ˜dŸk™k¨!™n¨l¸2¸AÐ.>Ô?Ü×Ñ˜dŸk™k¨!™n¨l¸1¸2Ð.>Ô?à�‰˜Ÿ™ B™¨¯©Ô5à×0Ò0Ø+4×+LÑ+L×+SÑ+SˆDÔ(Ü35·8±8¸GÓ3D×3IÑ3IØ×9Ñ9ó4ˆDÕ0ð 1ùò Ds   •Fc                 ó&   — |j                   |_        y r"   ©rÍ   rÎ   ©r<   r‘   r  s      r&   rÓ   zT5Loader.set_layer_normw  ó   € Ø×&Ñ&ˆ�
r(   r<  )rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rµ  r¿  r¼  r¾  r  rÓ   rª   r«   s   @r&   rª  rª  þ  sJ   ø„ àñ,ó ð,òô(ò0ò	=ó:ò>@ò@ò@óö,'r(   rª  Ú	MT5Configc                   ó   — e Zd Zed„ «       Zy)Ú	MT5Loaderc                  ó   — y)NÚMT5ForConditionalGenerationr)   r¯   s    r&   r‡   zMT5Loader.architecture_name}  s   € à,r(   N)rƒ   r¦   r§   rø   r‡   r)   r(   r&   rÙ  rÙ  {  s   „ àñ-ó ñ-r(   rÙ  Ú
UMT5Configc                   ó.   — e Zd ZdZed„ «       Zd„ Zdd„Zy)Ú
UMT5Loadera  Loader for UMT5 (https://arxiv.org/abs/2304.09151).

    UMT5 is structurally identical to mT5 except that every self-attention layer has
    its own relative attention bias, whereas T5 and mT5 compute the bias in the first
    layer and share it with the following layers.
    c                  ó   — y)NÚUMT5ForConditionalGenerationr)   r¯   s    r&   r‡   zUMT5Loader.architecture_name‹  rí  r(   c                 óZ  — t         j                  | ||«      }t        |j                  j                  t        |«      z
  «      D ]  }|j                  d|z  «       Œ t        |«      |j                  j                  k7  r-t        dt        |«      |j                  j                  fz  «      ‚|S )Nz<unused_%d>zCThe tokenizer returned %d tokens but the model embedding expects %d)r­   r·   r„  rN   r  rh  ro  rJ   )r<   r–   r˜   r¹   r^  s        r&   r·   zUMT5Loader.get_vocabulary�  sš   € ô ×+Ñ+¨D°%¸ÓCˆä�u—|‘|×.Ñ.´°V³Ñ<Ó=ò 	-ˆAØ�M‰M˜-¨!Ñ+Õ,ð	-ô ˆv‹;˜%Ÿ,™,×1Ñ1Ò1ÜØUÜ�v“; §¡× 7Ñ 7Ð8ñ9óð ð
 ˆr(   c                 óˆ  — | j                  |j                  |j                  «       | j                  t	        |j
                  t        «      r|j
                  d   n|j
                  |j                  «       d|_        t        |j                  |j                  «      D ]£  \  }}| j                  |j                  |j                  d   «       |j                  j                  €t        d«      ‚|r)| j!                  |j"                  |j                  d   «       | j%                  |j&                  |j                  d   «       Œ¥ y )Nr   FzbExpected each UMT5 self-attention layer to define a relative attention bias, but one layer did notr¾   rS   )rÓ   r  r%  râ   rÜ   r:  rg  r;  r7  rl  r  r`  r¼  r  r¯  rJ   r¾  r)  r¿  r   )r<   r‘   rÒ   r±  r&  r`  s         r&   rµ  zUMT5Loader.set_stackŸ  s  € Ø×Ñ˜DŸO™O¨V×-DÑ-DÔEØ×Ñô ˜dŸo™o¬tÔ4ð —‘ Ò"à—_‘_à×Ñô	
ð !&ˆÔä!$ T§Z¡Z°·±Ó!>ò 	:ÑˆJ˜ð ×#Ñ# J×$=Ñ$=¸u¿{¹{È1¹~ÔNà×(Ñ(×@Ñ@ÐHÜ ð<óð ñ
 Ø×(Ñ(¨×)=Ñ)=¸u¿{¹{È1¹~ÔNà�L‰L˜Ÿ™¨¯©°R©Õ9ñ	:r(   Nr<  )rƒ   r¦   r§   r¨   rø   r‡   r·   rµ  r)   r(   r&   rÞ  rÞ  ‚  s%   „ ñð ñ.ó ð.òô :r(   rÞ  ÚBloomConfigc                   óL   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	d„ Z
ˆ xZS )ÚBloomLoaderc                  ó   — y)NÚBloomForCausalLMr)   r¯   s    r&   r‡   zBloomLoader.architecture_name¿  ó   € à!r(   c           	      ó~  — t         j                  j                  |j                  j                  |j                  j
                  dt        j                  j                  ddd¬«      }| j                  |j                  |j                  «       | j                  |j                  j                  |j                  «       |S )NT)rñ  rò  ró  ÚalibiÚalibi_use_positive_positions)r   rw  rö  rN   r–  rA  r	   Ú
ActivationÚGELUTanhrÿ  r   r—  rà   r  r  r  s      r&   r´   zBloomLoader.get_model_specÃ  s�   € Ü×;Ñ;×GÑGØ�L‰L× Ñ Ø�L‰L×ÑØÜ"×-Ñ-×6Ñ6Ø $ØØ)-ð Hó 
ˆð 	×Ñ˜Ÿ™ u×'8Ñ'8Ô9Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zBloomLoader.get_vocabularyÒ  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zBloomLoader.set_vocabularyÛ  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zBloomLoader.set_configÞ  r…  r(   c                 ó  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       | j	                  |j                  |j                  «       t        |j                  |j                  «      D �]i  \  }}| j	                  |j                  j                  |j                  «       | j                  |j                  j                  d   |j                  j                   |j                  j"                  «       | j%                  |j                  j                  d   |j                  j&                  «       | j	                  |j(                  j                  |j*                  «       | j%                  |j(                  j,                  |j.                  j0                  «       | j%                  |j(                  j2                  |j.                  j4                  «       �Œl y r¢  )r7  râ   r:  Úword_embeddingsrÓ   ró  Úword_embeddings_layernormr  r¦  rl  r  r§  r  rý  Úset_qkv_linearr   r   rÏ  rà   r  r   rÿ  r!  r­  r  r#  r  r¯  s        r&   rÿ  zBloomLoader.set_decoderã  s  € Ø %ˆÔØ×Ñ˜DŸO™O¨V×-CÑ-CÔDØ×Ñ˜D×4Ñ4°f×6VÑ6VÔWØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!:ó 	NÑˆJ˜Ø×ÑØ×)Ñ)×4Ñ4°e×6KÑ6Kôð ×ÑØ×)Ñ)×0Ñ0°Ñ3Ø×$Ñ$×4Ñ4Ø×$Ñ$×.Ñ.ôð
 �O‰OØ×)Ñ)×0Ñ0°Ñ3°U×5IÑ5I×5OÑ5Oôð ×ÑØ—‘×)Ñ)¨5×+IÑ+Iôð �O‰O˜JŸN™N×3Ñ3°U·Y±Y×5LÑ5LÔMØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5LÑ5LÖMñ#	Nr(   c                 ó`  — |j                   }|j                  |dd|j                  d   «      }|j                  dd«      }|j                  d|j                  d   «      }|j                  }|j                  |dd«      }|j                  dd«      }|j                  d«      }||_         ||_        y )Nr-  rS   r   r¾   )rÍ   rƒ  rS  rÞ   rÏ   )r<   r‘   rÒ   rÏ  rÍ   rÏ   s         r&   rô  zBloomLoader.set_qkv_linearü  sš   € Ø—‘ˆØ—‘ 	¨1¨b°&·,±,¸rÑ2BÓCˆØ×!Ñ! ! QÓ'ˆØ—‘  F§L¡L°Ñ$4Ó5ˆà�{‰{ˆØ�|‰|˜I q¨"Ó-ˆØ�~‰~˜a Ó#ˆØ�|‰|˜BÓˆàˆŒØˆ�	r(   )rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rÿ  rô  rª   r«   s   @r&   rå  rå  ½  s4   ø„ àñ"ó ð"òôò)ò/ò
Nö2r(   rå  Ú	MPTConfigc                   óL   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	d„ Z
ˆ xZS )Ú	MPTLoaderc                  ó   — y©NÚAutoModelForCausalLMr)   r¯   s    r&   r‡   zMPTLoader.architecture_name  ó   € à%r(   c                 ó  — t         j                  j                  |j                  j                  |j                  j
                  dt        j                  j                  d¬«      }| j                  |j                  |j                  «       |S )NT)rñ  rò  rê  )r   rw  rö  rN   Ún_layersÚn_headsr	   rì  ÚGELUrÿ  r   r—  r  s      r&   r´   zMPTLoader.get_model_spec  sn   € Ü×;Ñ;×GÑGØ�L‰L×!Ñ!Ø�L‰L× Ñ ØÜ"×-Ñ-×2Ñ2Øð Hó 
ˆð 	×Ñ˜Ÿ™ u×'8Ñ'8Ô9Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zMPTLoader.get_vocabulary  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zMPTLoader.set_vocabulary&  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zMPTLoader.set_config)  r…  r(   c                 óä  — | j                  |j                  |j                  «       | j                  |j                  |j
                  «       d|_        |j                  j                  |j                  _        t        |j                  |j                  «      D �]T  \  }}| j                  |j                  j                  |j                  «       | j                  |j                  j                  d   |j                   j"                  «       | j                  |j                  j                  d   |j                   j$                  «       | j                  |j&                  j                  |j(                  «       | j                  |j&                  j*                  |j&                  j,                  «       | j                  |j&                  j.                  |j&                  j0                  «       �ŒW y r¢  )râ   r:  r¤  rÓ   r  Únorm_fr7  rÍ   r  rl  r  Úblocksr  Únorm_1rà   r   r©  ÚWqkvr.  r   Únorm_2r!  Úup_projr#  Ú	down_projr¯  s        r&   rÿ  zMPTLoader.set_decoder.  sG  € Ø×Ñ˜DŸO™O¨V¯Z©ZÔ8Ø×Ñ˜DŸO™O¨V¯]©]Ô;à %ˆÔØ!%§¡×!7Ñ!7ˆ�‰Ôä!$ T§Z¡Z°·±Ó!?ó 	JÑˆJ˜Ø×Ñ 
× 9Ñ 9× DÑ DÀeÇlÁlÔSØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁÇÁÔQØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×ATÑATÔUà×Ñ 
§¡× 9Ñ 9¸5¿<¹<ÔHØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5FÑ5FÔGØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5HÑ5HÖIñ	Jr(   c                 ón   — |j                   |_        t        j                  |j                  «      |_        y r"   )rÍ   rÎ   r~   Ú
zeros_likerÐ   rÑ   s      r&   rÓ   zMPTLoader.set_layer_norm>  s#   € Ø—]‘]ˆŒ
Ü×$Ñ$ T§Z¡ZÓ0ˆ�	r(   )rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rÿ  rÓ   rª   r«   s   @r&   rø  rø    s4   ø„ àñ&ó ð&ò
ôò)ò/ò
Jö 1r(   rø  ÚGemmaConfigc                   óL   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	d„ Z
ˆ xZS )ÚGemmaLoaderc                  ó   — y)NÚGemmaForCausalLMr)   r¯   s    r&   r‡   zGemmaLoader.architecture_nameE  rè  r(   c                 óì  — |j                   j                  }|j                   j                  }t        |j                   d|«      }||k(  rd }t        |j                   dd«      }t        j
                  j                  |||dk(  rt        j                  j                  nt        j                  j                  dddddt        |j                   dd	«      ||j                   j                  ¬
«      }| j                  |j                  |j                  «       | j                  |j                  j                   |j"                  «       |j                   j$                  dz  |j                  j&                  _        |S )NÚnum_key_value_headsÚhidden_activationr   r   Tr   Frò   é'  )	rò  rñ  r®  r°  rÄ  rÅ  Úrotary_baseÚnum_heads_kvrC  ç      à?©rN   rx  ry  r}   r   rw  rö  r	   rì  r   rí  rC  rÿ  r   r–   rà   r  r  r|  r:  Úmultiply_by_sqrt_depth©r<   r–   r#  rÏ  r  Úactivation_configr‘   s          r&   r´   zGemmaLoader.get_model_specI  s2  € Ø—\‘\×3Ñ3ˆ
à—L‘L×4Ñ4ˆ	Ü˜uŸ|™|Ð-BÀIÓNˆØ˜9Ò$ØˆLä#Ø�L‰LÐ-Ð/Bó
Ðô  ×;Ñ;×GÑGØØð %¨Ò.ô ×&Ñ&×+Ò+ä ×+Ñ+×4Ñ4àØØØØ#Ü §¡¨l¸EÓBØ%Ø—\‘\×*Ñ*ð Hó 
ˆð$ 	×Ñ˜Ÿ™ u§{¡{Ô3Ø�‰˜Ÿ™×/Ñ/°·±Ô?Ø9>¿¹×9QÑ9QÐSVÑ9Vˆ�‰×ÑÔ6Øˆr(   c                 ó*  •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |j                  j                  t	        |«      k  r|d |j                  j                   }|S rš  rœ  r�  s         €r&   r·   zGemmaLoader.get_vocabularyl  óƒ   ø€ Ü‘Ñ'¨¨yÓ9ˆà—L‘L×+Ñ+¬c°&«kÑ9ˆ	Ü�yÓ!ò 	/ˆAØ�M‰M˜/¨AÑ-Õ.ð	/à�<‰<×"Ñ"¤S¨£[Ò0ØÐ5˜eŸl™l×5Ñ5Ð6ˆFàˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zGemmaLoader.set_vocabularyw  r‚  r(   c                 ó    — |j                   |_         |j                  |_        |j                  |_        |j                  j                  |_        y r"   ©r  r  r  rN   Úrms_norm_epsÚlayer_norm_epsilonrÊ   s       r&   r¶   zGemmaLoader.set_configz  ó>   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$)§L¡L×$=Ñ$=ˆÕ!r(   c                 ó4   — |j                   |_        d|_        y rG  ©rÍ   rÎ   Úlayer_norm_use_residualrÕ  s      r&   rÓ   zGemmaLoader.set_layer_norm€  ó   € Ø×&Ñ&ˆŒ
Ø'+ˆÕ$r(   c                 ó$  — d|_         d|_        | j                  |j                  |j                  «       | j                  |j                  |j                  «       t        |j                  |j                  «      D �]  \  }}| j                  |j                  j                  |j                  «       | j                  |j                  j                  |j                  «       |j                  j                   j"                  }|j                  j$                  j"                  }|j                  j&                  j"                  }|j                  j(                  j"                  }t+        j,                  |||g«      |j                  j.                  d   _        ||j                  j.                  d   _        | j1                  |j                  j2                  |j4                  j6                  «       | j1                  |j                  j8                  |j4                  j:                  «       | j1                  |j                  j<                  |j4                  j>                  «       tA        |d«       tA        |d«       tC        jD                  «        �Œ y ©NTFr   r¾   r  r­  )#r7  rH  râ   r:  r;  rÓ   r  Únormrl  r  r  r  rý  r   rÿ  r  rY  rÍ   rZ  r[  Úo_projr~   rÌ  r   rà   r!  r­  Ú	gate_projrÂ  r
  r#  r  ÚdelattrÚgcÚcollect©	r<   r‘   rÒ   r&  r  ÚwqÚwkÚwvrÇ  s	            r&   rÿ  zGemmaLoader.set_decoder„  sË  € Ø $ˆÔØ).ˆÔ&Ø×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó 	ÑˆJ˜Ø×ÑØ×)Ñ)×4Ñ4°e×6KÑ6Kôð ×ÑØ—‘×)Ñ)¨5×+IÑ+Iôð —‘×'Ñ'×.Ñ.ˆBØ—‘×'Ñ'×.Ñ.ˆBØ—‘×'Ñ'×.Ñ.ˆBØ—‘×'Ñ'×.Ñ.ˆBä9>¿¹ÀBÈÈBÀ<Ó9PˆJ×%Ñ%×,Ñ,¨QÑ/Ô6Ø9;ˆJ×%Ñ%×,Ñ,¨QÑ/Ô6à�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5HÑ5HÔIØ�O‰O˜JŸN™N×9Ñ9¸5¿9¹9×;LÑ;LÔMØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5HÑ5HÔIä�E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñ-	r(   ©rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rÓ   rÿ  rª   r«   s   @r&   r  r  C  s4   ø„ àñ"ó ð"ò!ôF	ò)ò>ò,ör(   r  ÚGemma2Configc                   óL   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	d„ Z
ˆ xZS )ÚGemma2Loaderc                  ó   — y)NÚGemma2ForCausalLMr)   r¯   s    r&   r‡   zGemma2Loader.architecture_name¥  ó   € à"r(   c                 óî  — |j                   j                  }|j                   j                  }t        |j                   d|«      }||k(  rd }t        |j                   dd«      }t        j
                  j                  |||dk(  rt        j                  j                  nt        j                  j                  dddddt        |j                   dd	«      ||j                   j                  d¬
«      }| j                  |j                  |j                  «       | j                  |j                  j                   |j"                  «       |j                   j$                  dz  |j                  j&                  _        |S )Nr  r  r   r   Tr   Frò   r  )
rò  rñ  r®  r°  rÄ  rÅ  r  r  rC  Úpre_post_layer_normr  r  r  s          r&   r´   zGemma2Loader.get_model_spec©  s5  € Ø—\‘\×3Ñ3ˆ
à—L‘L×4Ñ4ˆ	Ü˜uŸ|™|Ð-BÀIÓNˆØ˜9Ò$ØˆLä#Ø�L‰LÐ-Ð/Bó
Ðô  ×;Ñ;×GÑGØØð %¨Ò.ô ×&Ñ&×+Ò+ä ×+Ñ+×4Ñ4àØØØØ#Ü §¡¨l¸EÓBØ%Ø—\‘\×*Ñ*Ø $ð! Hó 
ˆð& 	×Ñ˜Ÿ™ u§{¡{Ô3Ø�‰˜Ÿ™×/Ñ/°·±Ô?Ø9>¿¹×9QÑ9QÐSVÑ9Vˆ�‰×ÑÔ6Øˆr(   c                 ó*  •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |j                  j                  t	        |«      k  r|d |j                  j                   }|S rš  rœ  r�  s         €r&   r·   zGemma2Loader.get_vocabularyÍ  r  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zGemma2Loader.set_vocabularyØ  r‚  r(   c                 ó    — |j                   |_         |j                  |_        |j                  |_        |j                  j                  |_        y r"   r"  rÊ   s       r&   r¶   zGemma2Loader.set_configÛ  r%  r(   c                 ó4   — |j                   |_        d|_        y rG  r'  rÕ  s      r&   rÓ   zGemma2Loader.set_layer_normá  r)  r(   c                 ó”  — d|_         d|_        | j                  |j                  |j                  «       | j                  |j                  |j                  «       t        |j                  |j                  «      D �]J  \  }}| j                  |j                  |j                  «       | j                  |j                  |j                  «       | j                  |j                  |j                   «       | j                  |j"                  |j$                  «       |j&                  j(                  j*                  }|j&                  j,                  j*                  }|j&                  j.                  j*                  }|j&                  j0                  j*                  }t3        j4                  |||g«      |j6                  j8                  d   _        ||j6                  j8                  d   _        | j;                  |j<                  j>                  |j@                  jB                  «       | j;                  |j<                  jD                  |j@                  jF                  «       | j;                  |j<                  jH                  |j@                  jJ                  «       tM        |d«       tM        |d«       tO        jP                  «        �ŒM y r+  ))r7  rH  râ   r:  r;  rÓ   r  r,  rl  r  r  rû  rý  rþ  rÿ  Úpre_feedforward_layer_normÚpre_feedforward_layernormÚpost_feedforward_layer_normÚpost_feedforward_layernormr  rY  rÍ   rZ  r[  r-  r~   rÌ  r  r   rà   r   r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  r2  s	            r&   rÿ  zGemma2Loader.set_decoderå  sþ  € Ø $ˆÔØ).ˆÔ&Ø×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó 	ÑˆJ˜Ø×Ñ 
× ;Ñ ;¸U×=RÑ=RÔSà×ÑØ×4Ñ4°e×6TÑ6Tôð ×ÑØ×5Ñ5°u×7VÑ7Vôð ×ÑØ×6Ñ6¸×8XÑ8Xôð —‘×'Ñ'×.Ñ.ˆBØ—‘×'Ñ'×.Ñ.ˆBØ—‘×'Ñ'×.Ñ.ˆBØ—‘×'Ñ'×.Ñ.ˆBä9>¿¹ÀBÈÈBÀ<Ó9PˆJ×%Ñ%×,Ñ,¨QÑ/Ô6Ø9;ˆJ×%Ñ%×,Ñ,¨QÑ/Ô6à�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5HÑ5HÔIØ�O‰O˜JŸN™N×9Ñ9¸5¿9¹9×;LÑ;LÔMØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5HÑ5HÔIä�E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñ;	r(   r6  r«   s   @r&   r9  r9  £  s4   ø„ àñ#ó ð#ò"ôH	ò)ò>ò,ö#r(   r9  ÚLlamaConfigc                   óx   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	e
j                  j                  fd„Zˆ xZS )ÚLlamaLoaderc                  ó   — y)NÚLlamaForCausalLMr)   r¯   s    r&   r‡   zLlamaLoader.architecture_name	  rè  r(   c                 ó~  — |j                   j                  }|j                   j                  }t        |j                   d|«      }||k(  rd }| j	                  |j                   d«      \  }}}t        |j                   dd «      }|r‡d }	|j
                  dk(  rt        j                  |j                  «      }	|	€<t        d|j
                  ›ddj                  t        j                  «       «      ›�«      ‚|j                  }
|j                  }nt        j                  j                   }	d }
d }t"        j$                  j'                  ||t        j(                  j*                  dddd	d
|||||	|
|¬«      }| j-                  |j.                  |j0                  |	«       | j3                  |j.                  j4                  |j6                  «       t        |j                   dd «      }|t8        j:                  j<                  k(  rC|j.                  j>                  D ]*  }|d   |j@                  _!        |d   |j@                  _"        Œ, |S )Nr  r  rM  ÚawqúQuantization type 'úT' is not yet implemented. The following Quantization types are currently supported: ru   Tr   F©rò  rñ  r®  r°  rÄ  rÅ  rõ   rö   r  r  rß   Úquant_group_sizeÚ
quant_bitsrë   Úlow_freq_factorÚhigh_freq_factor)#rN   rx  ry  r}   r÷   rQ  Ú_SUPPORTED_QUANTIZATIONrI   Úversionr²   r„   r†   Ú
group_sizeÚbitsr	   rÕ   rÖ   r   rw  rö  rì  ÚSWISHrÿ  r   r–   rà   r  r  r   ÚRotaryScalingTypeÚLlama3r  r  Úrotary_low_freq_factorÚrotary_high_freq_factor)r<   r–   r#  rÏ  r  rõ   rö   rò   rM  rß   rR  rS  r‘   rë   r  s                  r&   r´   zLlamaLoader.get_model_spec	  s  € Ø—\‘\×3Ñ3ˆ
à—L‘L×4Ñ4ˆ	Ü˜uŸ|™|Ð-BÀIÓNˆØ˜9Ò$ØˆLàAE×AWÑAWØ�L‰L˜&óB
Ñ>ÐÐ2°Jô & e§l¡lÐ4IÈ4ÓPÐÙØˆJØ"×/Ñ/°5Ò8Ü4×8Ñ8Ð9L×9TÑ9TÓU�
ØÐ!Ý)ð ,×8Ó8ØŸ	™	Ô"9×">Ñ">Ó"@ÔAð	óð ð  3×=Ñ=ÐØ,×1Ñ1‰Jä$×1Ñ1×5Ñ5ˆJØ#ÐØˆJä×;Ñ;×GÑGØØÜ"×-Ñ-×3Ñ3ØØØØØ#Ø 3Ø"7Ø"Ø%Ø!Ø-Ø!ð Hó 
ˆð$ 	×Ñ˜Ÿ™ u§{¡{°JÔ?Ø�‰˜Ÿ™×/Ñ/°·±Ô?ô ˜uŸ|™|¨^¸TÓBˆØ¤.×"BÑ"B×"IÑ"IÒIØŸ™×+Ñ+ò �Ø>JØ%ñ?�×$Ñ$Ô;ð @LØ&ñ@�×$Ñ$Õ<ð	ð ˆr(   c                 ó*  •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |j                  j                  t	        |«      k  r|d |j                  j                   }|S rš  rœ  r�  s         €r&   r·   zLlamaLoader.get_vocabularyS	  r  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zLlamaLoader.set_vocabulary^	  r‚  r(   c                 ó¼   — |j                   |_         |j                  |_        |j                  �|j                  nd|_        |j                  j                  |_        y ©Nr  r"  rÊ   s       r&   r¶   zLlamaLoader.set_configa	  sP   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔà#,×#6Ñ#6Ð#BˆI×ÒÈð 	Ôð %*§L¡L×$=Ñ$=ˆÕ!r(   c                 ó&   — |j                   |_        y r"   rÔ  rÕ  s      r&   rÓ   zLlamaLoader.set_layer_normi	  rÖ  r(   c                 ó�  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        |j                  |j                  «      D �]Ê  \  }}| j	                  |j                  j
                  |j                  «       | j	                  |j                  j
                  |j                  «       t        d«      D �cg c]  }t        j                   «       ‘Œ }}| j#                  |d   |j$                  j&                  |¬«       | j#                  |d   |j$                  j(                  |¬«       | j#                  |d   |j$                  j*                  |¬«       |t        j,                  j.                  k(  r.t1        j2                  |j                  j4                  d   |«       nO|t        j,                  j6                  k(  rdnd}t1        j8                  |j                  j4                  d   ||«       | j#                  |j                  j4                  d   |j$                  j:                  |¬«       | j#                  |j                  j<                  |j>                  j@                  |¬«       | j#                  |j                  jB                  |j>                  jD                  |¬«       | j#                  |j                  jF                  |j>                  jH                  |¬«       tK        |d«       tK        |d«       tM        jN                  «        �ŒÍ y c c}w ©	NFr-  r   ©rß   r¾   rn   r  r­  ©(r7  râ   r:  r;  rÓ   r  r,  rl  r  r  r  rý  r   rÿ  r„  r	   r,  rà   r  rY  rZ  r[  rÕ   rÖ   r   r-  r   ÚAWQ_GEMMÚfuse_linear_prequantr-  r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  ©	r<   r‘   rÒ   rß   r&  r  rÅ   r0  Úcc_dims	            r&   rÿ  zLlamaLoader.set_decoderl	  s¡  € Ø %ˆÔØ×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó ,	ÑˆJ˜Ø×ÑØ×)Ñ)×4Ñ4°e×6KÑ6Kôð ×ÑØ—‘×)Ñ)¨5×+IÑ+Iôô ?DÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð œ[×5Ñ5×9Ñ9Ò9Ü×!Ñ! *×";Ñ";×"BÑ"BÀ1Ñ"EÀ|ÕTà(¬K×,DÑ,D×,MÑ,MÒM™ÐST�Ü×*Ñ*Ø×-Ñ-×4Ñ4°QÑ7¸Àvôð �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñY,	ùò Hó   Ã(M©rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rÓ   r	   rÕ   rÖ   rÿ  rª   r«   s   @r&   rJ  rJ  	  sF   ø„ àñ"ó ð"ò@ôD	ò)ò>ò'ð 4?×3KÑ3K×3OÑ3O÷ 1r(   rJ  ÚGemma3TextConfigÚGemma3Configc                   ó~   ‡ — e Zd Zed„ «       Zd„ Zd„ Zˆ fd„Zd„ Zd„ Z	d„ Z
ej                  j                  fd„Zˆ xZS )	ÚGemma3Loaderc                  ó   — y)NÚGemma3ForCausalLMr)   r¯   s    r&   r‡   zGemma3Loader.architecture_name£	  r<  r(   c                 óX   — |j                   j                  dk(  rt        j                  S |S )Nro  )rl   rƒ   r€   ÚGemma3ForConditionalGeneration©r<   rN   Údefault_classs      r&   rw   zGemma3Loader.get_model_class§	  s*   € ð ×Ñ×$Ñ$¨Ò6Ü×>Ñ>Ð>ØÐr(   c                 óŒ  — t        |j                  d|j                  «      }|j                  }|j                  }t        |d|«      }||k(  rd }|j                  }t        |dd«      }t        |dd«      }t        |dd«      }	t        |d	d
«      }
t        |dd «      }|€4t        |dd «      }|�%t        |«      D �cg c]  }|dz   |z  dk(  rdnd‘Œ }}t        |dd «      }|ra|j                  dk(  rt        j                  |j                  «      }€t        d|j                  z  «      ‚|j                  }|j                  }nt        j                  j                  }d }d }t         j"                  j%                  |||dk(  rt        j&                  j(                  nt        j&                  j*                  ddd|d|	|||
d|||d¬«      }|| _        t/        |«      D ]ö  \  }}|j0                  j2                  |   }|dk(  rgt5        j6                  d«      j9                  |«      |j:                  _        t5        j6                  d«      j9                  d«      |j:                  _        Œ‹|dk(  sŒ‘t5        j6                  d«      j9                  |	«      |j:                  _        t5        j6                  d«      j9                  |
«      |j:                  _        Œø t        |j@                  d|j@                  «      }| jC                  |j0                  ||«       | jE                  |j0                  jF                  |jH                  «       |S c c}w )NÚtext_configr  r  r   rò   é@B Úrope_local_base_freqr  Úsliding_windowi   Úlayer_typesÚ_sliding_window_patternr¾   r   Úfull_attentionÚsliding_attentionrM  rN  ú.Quantization type '%s' is not yet implemented.r   TF)rò  rñ  r®  r°  rÄ  rÅ  r  r  rC  r|  r>  rß   rR  rS  Úqk_normrZ   rp  Úlanguage_model)%r}   rN   rx  ry  rC  r„  rQ  rV  rI   rW  r²   rX  rY  r	   rÕ   rÖ   r   rw  rö  rì  r   rí  Ú_layer_typesrŸ  r   r  r†  ry   rì   r  r  r|  r–   rÿ  rà   r  r  )r<   r–   ry  r#  rÏ  r  rC  r  rò   r{  r|  r}  Úsliding_window_patternr^  rM  rß   rR  rS  r‘   Ú
layer_typer  Ú
text_models                         r&   r´   zGemma3Loader.get_model_spec®	  sI  € Ü˜eŸl™l¨M¸5¿<¹<ÓHˆØ ×2Ñ2ˆ
Ø×3Ñ3ˆ	Ü˜{Ð,AÀ9ÓMˆØ˜9Ò$ØˆLà×'Ñ'ˆä#ØÐ,Ð.Aó
Ðô
 ˜[¨,¸	ÓBˆ
Ü&ØÐ/°ó 
Ðô
 ! Ð.>ÀÓEˆÜ˜k¨=¸$Ó?ˆØÐÜ%,ØÐ6¸ó&Ð"ð &Ð1ô # :Ó.öð ð  ™EÐ%;Ñ;¸qÒ@ñ )à0ñ1ð�ð ô & kÐ3HÈ$ÓOÐÙØ"×/Ñ/°5Ò8Ü4×8Ñ8Ð9L×9TÑ9TÓU�
ØÐ!Ü)ØDØ)×6Ñ6ñ7óð ð  3×=Ñ=ÐØ,×1Ñ1‰Jä$×1Ñ1×5Ñ5ˆJØ#ÐØˆJô  ×;Ñ;×GÑGØØð %¨Ò.ô ×&Ñ&×+Ò+ä ×+Ñ+×4Ñ4àØØØØ#Ø,Ø%ØØ)Ø $Ø!Ø-Ø!Øð+ Hó 
ˆð2 (ˆÔô ' {Ó3ò 	‰MˆAˆzØ—L‘L×&Ñ& qÑ)ˆEØÐ-Ò-Ü35·8±8¸IÓ3F×3KÑ3KÈJÓ3W�×$Ñ$Ô0Ü68·h±h¸wÓ6G×6LÑ6LÈQÓ6O�×$Ñ$Õ3ØÐ2Ó2Ü35·8±8¸IÓ3F×3KÑ3KØ(ó4�×$Ñ$Ô0ô 79·h±h¸wÓ6G×6LÑ6LØ"ó7�×$Ñ$Õ3ð	ô ˜UŸ[™[Ð*:¸E¿K¹KÓHˆ
Ø×Ñ˜Ÿ™ z°:Ô>Ø�‰˜Ÿ™×/Ñ/°·±Ô?ØˆùòMs   Â9Mc                 ó0  •— t         ‰| �  ||«      }t        |j                  d|j                  «      }|j                  t        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |j                  t        |«      k  r|d |j                   }|S ©Nry  r›  ©re   r·   r}   rN   r  rh  r„  ro  ©r<   r–   r˜   r¹   ry  rž  r^  rl   s          €r&   r·   zGemma3Loader.get_vocabulary
  s�   ø€ Ü‘Ñ'¨¨yÓ9ˆä˜eŸl™l¨M¸5¿<¹<ÓHˆØ×*Ñ*¬S°«[Ñ8ˆ	Ü�yÓ!ò 	/ˆAØ�M‰M˜/¨AÑ-Õ.ð	/à×!Ñ!¤C¨£KÒ/ØÐ4˜k×4Ñ4Ð5ˆFàˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zGemma3Loader.set_vocabulary
  r‚  r(   c                 óú   — |j                   |_         |j                  |_        t        |d«      r<t        |j                  t
        «      r"|j                  j                  «       rd|_        y |j                  |_        y )NÚchat_templateú<end_of_turn>©r  r  rˆ   rÜ   rŽ  r_   Ústripr  rÊ   s       r&   r¶   zGemma3Loader.set_config!
  sb   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔô �I˜Ô/Ü˜9×2Ñ2´CÔ8Ø×'Ñ'×-Ñ-Ô/à.ˆFÕà(×2Ñ2ˆFÕr(   c                 ó4   — |j                   |_        d|_        y rG  r'  rÕ  s      r&   rÓ   zGemma3Loader.set_layer_norm.
  r)  r(   c                 óö  — d|_         d|_        | j                  |j                  |j                  «       | j                  |j                  |j                  «       t        |j                  |j                  «      D �]v  \  }}| j                  |j                  |j                  «       | j                  |j                  |j                  «       | j                  |j                  |j                   «       | j                  |j"                  |j$                  «       | j                  |j&                  j(                  |j*                  j(                  «       | j                  |j&                  j,                  |j*                  j,                  «       t/        d«      D �cg c]  }t1        j2                  «       ‘Œ }}| j5                  |d   |j*                  j6                  |¬«       | j5                  |d   |j*                  j8                  |¬«       | j5                  |d   |j*                  j:                  |¬«       |t0        j<                  j>                  k(  r.tA        jB                  |j&                  jD                  d   |«       nO|t0        j<                  jF                  k(  rdnd}tA        jH                  |j&                  jD                  d   ||«       | j5                  |j&                  jD                  d   |j*                  jJ                  |¬«       | j5                  |jL                  jN                  |jP                  jR                  |¬«       | j5                  |jL                  jT                  |jP                  jV                  |¬«       | j5                  |jL                  jX                  |jP                  jZ                  |¬«       t]        |d«       t]        |d	«       t_        j`                  «        �Œy y c c}w )
NTFr-  r   rf  r¾   rn   r  r­  )1r7  rH  râ   r:  r;  rÓ   r  r,  rl  r  r  rû  rý  rþ  rÿ  rD  rE  rF  rG  r  Úq_normr  Úk_normr„  r	   r,  rà   rY  rZ  r[  rÕ   rÖ   r   r-  r   rh  ri  r-  r   r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  rj  s	            r&   rÿ  zGemma3Loader.set_decoder2
  s2  € Ø $ˆÔØ).ˆÔ&Ø×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó >	ÑˆJ˜Ø×Ñ 
× ;Ñ ;¸U×=RÑ=RÔSà×ÑØ×4Ñ4°e×6TÑ6Tôð ×ÑØ×5Ñ5°u×7VÑ7Vôð ×ÑØ×6Ñ6¸×8XÑ8Xôð
 ×ÑØ×)Ñ)×0Ñ0°%·/±/×2HÑ2Hôð ×ÑØ×)Ñ)×0Ñ0°%·/±/×2HÑ2Hôô
 ?DÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð œ[×5Ñ5×9Ñ9Ò9Ü×!Ñ! *×";Ñ";×"BÑ"BÀ1Ñ"EÀ|ÕTà(¬K×,DÑ,D×,MÑ,MÒM™ÐST�Ü×*Ñ*Ø×-Ñ-×4Ñ4°QÑ7¸Àvôð �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñ}>	ùò0 Hs   ÆO6©rƒ   r¦   r§   rø   r‡   rw   r´   r·   r¸   r¶   rÓ   r	   rÕ   rÖ   rÿ  rª   r«   s   @r&   rq  rq   	  sN   ø„ ð ñ#ó ð#òòbôH
ò)ò3ò,ð 4?×3KÑ3K×3OÑ3O÷ Dr(   rq  ÚGemma4UnifiedTextConfigÚGemma4UnifiedConfigÚGemma4TextConfigÚGemma4Configc                   ó~   ‡ — e Zd Zed„ «       Zd„ Zd„ Zˆ fd„Zd„ Zd„ Z	d„ Z
ej                  j                  fd„Zˆ xZS )	ÚGemma4Loaderc                  ó   — y)NÚGemma4ForCausalLMr)   r¯   s    r&   r‡   zGemma4Loader.architecture_name~
  r<  r(   c                 óª   — |j                   j                  dk(  rt        j                  S |j                   j                  dk(  rt        j                  S |S )Nrš  r˜  )rl   rƒ   r€   ÚGemma4ForConditionalGenerationÚ%Gemma4UnifiedForConditionalGenerationrv  s      r&   rw   zGemma4Loader.get_model_class‚
  sI   € Ø×Ñ×$Ñ$¨Ò6Ü×>Ñ>Ð>Ø×Ñ×$Ñ$Ð(=Ò=Ü×EÑEÐEØÐr(   c                 ó2  — t        |j                  d|j                  «      }|j                  }|j                  }t        |d|«      }||k(  rd }t        |dd«      }|dkD  rt	        d|z  «      ‚|j
                  }t        |d|«      }t        |dd «      }	t        |dd	«      }
t        |d
d«      }t        |dd «      xs i }|j                  di «      }|j                  di «      }t        |j                  dd«      «      }t        |j                  dd«      «      }t        |j                  dd«      «      }t        ||z  «      }d|cxk  r|k  rn n|||z  z  n|}t        |dd«      }t        |dd «      }|€-d}t        |«      D �cg c]  }t        |dz   |z  «      rdnd‘Œ }}t        |dd «      }|ra|j                  dk(  rt        j                  |j                  «      }€t	        d|j                  z  «      ‚|j                  }|j                  }nt         j"                  j$                  }d }d }t&        j(                  j+                  |||dk(  rt         j,                  j.                  nt         j,                  j0                  ddd|d	||||d|||dd¬«      }t3        j4                  d«      j7                  d«      |j8                  _        || _        |
| _        || _         || _!        tE        |«      D �]Ê  \  }}|j8                  jF                  |   }t3        j4                  d «      j7                  d«      |jH                  _%        |dk(  �rt3        j4                  d«      j7                  |«      |jH                  _&        t3        j4                  d «      j7                  |«      |jH                  _'        t3        j4                  d«      j7                  d«      |jH                  _        t3        j4                  d«      j7                  |«      |jH                  _        |	€�Œ)t3        j4                  d«      j7                  |	«      |jH                  _(        �Œ^|dk(  s�Œet3        j4                  d «      j7                  |«      |jH                  _'        t3        j4                  d«      j7                  |«      |jH                  _        �ŒÍ t        |j                  d|j                  «      }t        |d!d «      }|r3t3        j4                  d «      j7                  |«      |j8                  _)        t        |jT                  d"|jT                  «      } | jW                  |j8                  | |«       | jY                  |j8                  jZ                  |j\                  «       |S c c}w )#Nry  r  Únum_kv_shared_layersr   ztGemma 4 KV-shared layers (num_kv_shared_layers=%d) are not yet supported. Use the 31B model which has no KV sharing.Úglobal_head_dimÚnum_global_key_value_headsÚattention_k_eq_vFr  r   Úrope_parametersr€  r  rò   r  rz  Úpartial_rotary_factorr3  r|  i   r}  é   r¾   rM  rN  r�  r   T)rò  rñ  r®  r°  rÄ  rÅ  r  r  rC  r|  r>  rß   rR  rS  r‚  Úv_normrp  rZ   Úfinal_logit_softcappingrƒ  )/r}   rN   rx  ry  r²   rC  rI   rZ  rG  r„  r©   rQ  rV  rW  rX  rY  r	   rÕ   rÖ   r   rw  rö  rì  r   rí  r†  ry   rì   r   r|  r„  Ú_attention_k_eq_vÚ_global_head_dimÚ_global_rotary_dimrŸ  r  r  rÍ  rÄ  r  r  r«  r–   rÿ  rà   r  r  )!r<   r–   ry  r#  rÏ  r  r£  rC  r¤  Únum_global_kv_headsr¦  r  Úrope_paramsÚsliding_ropeÚglobal_roper{  rò   Úglobal_partial_factorÚglobal_rotary_dimÚglobal_rope_baser|  r}  r…  r^  rM  rß   rR  rS  r‘   r†  r  Úfinal_softcapr‡  s!                                    r&   r´   zGemma4Loader.get_model_spec‰
  sX  € Ü˜eŸl™l¨M¸5¿<¹<ÓHˆØ ×2Ñ2ˆ
Ø×3Ñ3ˆ	Ü˜{Ð,AÀ9ÓMˆØ˜9Ò$ØˆLô  ' {Ð4JÈAÓNÐØ !Ò#Ü%ðHà&ñ'óð ð ×'Ñ'ˆÜ! +Ð/@À(ÓKˆô & kÐ3OÐQUÓVÐô # ;Ð0BÀEÓJÐä#ØÐ,Ð.Aó
Ðô
 ˜kÐ+<¸dÓCÒIÀrˆØ"—‘Ð':¸BÓ?ˆØ!—o‘oÐ&6¸Ó;ˆä$ \×%5Ñ%5°lÀFÓ%KÓLÐÜ˜;Ÿ?™?¨<¸ÓCÓDˆ
ô !& k§o¡oÐ6MÈsÓ&SÓ TÐÜ Ð2GÑ GÓHÐð Ð$Ô6 Õ6ð Ð,¨Ñ>Ò?àð 	ô ! Ð.>ÀÓDˆÜ˜k¨=¸$Ó?ˆØÐØ%&Ð"ô ˜zÓ*öð ô ˜Q ™UÐ&<Ñ<Ô=ñ (à)ñ*ðˆKð ô & kÐ3HÈ$ÓOÐÙØ"×/Ñ/°5Ò8Ü4×8Ñ8Ð9L×9TÑ9TÓU�
ØÐ!Ü)ØDØ)×6Ñ6ñ7óð ð  3×=Ñ=ÐØ,×1Ñ1‰Jä$×1Ñ1×5Ñ5ˆJØ#ÐØˆJô  ×;Ñ;×GÑGØØð %¨Ò.ô ×&Ñ&×+Ò+ä ×+Ñ+×4Ñ4àØØØØ#Ø,Ø%ØØ)Ø $Ø!Ø-Ø!ØØð- Hó 
ˆô6 ')§h¡h¨wÓ&7×&<Ñ&<¸QÓ&?ˆ�‰Ô#à'ˆÔØ!1ˆÔØ /ˆÔØ"3ˆÔô ' {Ó3ó 	‰MˆAˆzØ—L‘L×&Ñ& qÑ)ˆEä13·±¸)Ó1D×1IÑ1IÈ#Ó1NˆE× Ñ Ô.ØÐ-Ó-Ü24·(±(¸7Ó2C×2HÑ2HØ%ó3�×$Ñ$Ô/ô 46·8±8¸IÓ3F×3KÑ3KØ$ó4�×$Ñ$Ô0ô 79·h±h¸wÓ6G×6LÑ6LÈQÓ6O�×$Ñ$Ô3Ü02·±¸Ó0A×0FÑ0FÀÓ0W�×$Ñ$Ô-Ø&Ò2Ü8:¿¹ÀÓ8I×8NÑ8NØ+ó9�E×(Ñ(Ö5ð Ð2Ô2Ü35·8±8¸IÓ3F×3KÑ3KØ(ó4�×$Ñ$Ô0ô 79·h±h¸wÓ6G×6LÑ6LØ"ó7�×$Ñ$Ö3ð+	ô2 ˜eŸl™l¨M¸5¿<¹<ÓHˆÜ Ð-FÈÓMˆÙÜ35·8±8¸IÓ3F×3KÑ3KØó4ˆD�L‰LÔ0ô ˜UŸ[™[Ð*:¸E¿K¹KÓHˆ
Ø×Ñ˜Ÿ™ z°:Ô>Ø�‰˜Ÿ™×/Ñ/°·±Ô?ØˆùòAs   ÆVc                 ó0  •— t         ‰| �  ||«      }t        |j                  d|j                  «      }|j                  t        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |j                  t        |«      k  r|d |j                   }|S r‰  rŠ  r‹  s          €r&   r·   zGemma4Loader.get_vocabulary"  s�   ø€ Ü‘Ñ'¨¨yÓ9ˆÜ˜eŸl™l¨M¸5¿<¹<ÓHˆØ×*Ñ*¬S°«[Ñ8ˆ	Ü�yÓ!ò 	/ˆAØ�M‰M˜/¨AÑ-Õ.ð	/à×!Ñ!¤C¨£KÒ/ØÐ4˜k×4Ñ4Ð5ˆFØˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zGemma4Loader.set_vocabulary,  r‚  r(   c                 ó&  — |j                   |_         |j                  |_        t        |d«      rRt        |j                  t
        «      r8|j                  j                  «       rd|j                  v rd|_        y d|_        y |j                  |_        y )NrŽ  z<turn|>r�  r�  rÊ   s       r&   r¶   zGemma4Loader.set_config/  sv   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔä�I˜Ô/Ü˜9×2Ñ2´CÔ8Ø×'Ñ'×-Ñ-Ô/à˜I×3Ñ3Ñ3Ø#,�Õ à#2�Õ à(×2Ñ2ˆFÕr(   c                 ó&   — |j                   |_        y r"   rÔ  rÕ  s      r&   rÓ   zGemma4Loader.set_layer_norm>  rÖ  r(   c           	      ó`  — d|_         d|_        | j                  |j                  |j                  «       | j                  |j                  |j                  «       t        | dd«      }t        | dd «      }t        | dd «      }d }|r…|rƒd|cxk  r|k  rxn nut        t        d|dz  «      «      t        t        |dz  |dz  |dz  z   «      «      z   t        t        |dz  |dz  «      «      z   t        t        |dz  |dz  z   |«      «      z   }t        |j                  |j                  «      D �]{  \  }}	| j                  |j                  |	j                  «       | j                  |j                   |	j"                  «       | j                  |j$                  |	j&                  «       | j                  |j(                  |	j*                  «       | j                  |j,                  j.                  |	j0                  j.                  «       | j                  |j,                  j2                  |	j0                  j2                  «       t5        j6                  |	j0                  j2                  j8                  «      j;                  «       j=                  «       |j,                  j>                  _         |	j0                  jB                  dk(  }
|xr |
}t        d	«      D �cg c]  }tE        jF                  «       ‘Œ }}| jI                  |d   |	j0                  jJ                  |¬
«       | jI                  |d   |	j0                  jL                  |¬
«       |r,| jI                  |d   |	j0                  jL                  |¬
«       n+| jI                  |d   |	j0                  jN                  |¬
«       |tD        jP                  jR                  k(  r.tU        jV                  |j,                  jX                  d   |«       nO|tD        jP                  jZ                  k(  rdnd}tU        j\                  |j,                  jX                  d   ||«       |
rú|�ø|j,                  jX                  d   j8                  }|d   j8                  j^                  d   }|d   j8                  j^                  d   }|d ||z    ja                  d||j^                  d   «      }|d d …|d d …f   jc                  ||z   |j^                  d   «      |d ||z    |j,                  j.                  |j,                  j2                  fD ]  }|j@                  |   |_         Œ | jI                  |j,                  jX                  d   |	j0                  jd                  |¬
«       | jI                  |jf                  jh                  |	jj                  jl                  |¬
«       | jI                  |jf                  jn                  |	jj                  jp                  |¬
«       | jI                  |jf                  jr                  |	jj                  jt                  |¬
«       t        |	dd «      }|�Etw        jx                  d«      j{                  |j;                  «       j}                  «       «      |_?        t�        |	d«       t�        |	d«       tƒ        j„                  «        �Œ~ y c c}w )NTFr¬  r­  r®  r   rn   r  r-  rf  r¾   rS   Úlayer_scalarrZ   r  r­  )Cr7  rH  râ   r:  r;  rÓ   r  r,  r}   rg  r„  rl  r  r  rû  rý  rþ  rÿ  rD  rE  rF  rG  r  r”  r  r•  r~   Ú	ones_likerÍ   rZ  Únumpyrª  rÎ   r†  r	   r,  rà   rY  rZ  r[  rÕ   rÖ   r   r-  r   rh  ri  rS  r¡  rƒ  r-  r   r!  r­  r.  rÂ  r
  r#  r  r†  ry   rì   r¿   r¼  r/  r0  r1  )r<   r‘   rÒ   rß   r¦  ÚghdÚgrdÚpartial_permr&  r  Úis_full_attnÚ
use_k_as_vrÅ   r0  rk  ÚfusedÚq_rowsÚk_rowsÚqkÚ	norm_specÚlss                        r&   rÿ  zGemma4Loader.set_decoderB  s¿  € Ø $ˆÔØ).ˆÔ&Ø×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä" 4Ð)<¸eÓDÐÜ�dÐ.°Ó5ˆÜ�dÐ0°$Ó7ˆð ˆÙ‘3˜1˜sœ= S�=ä”U˜1˜c Q™hÓ'Ó(Ü”u˜S A™X s¨a¡x°#¸±(Ñ':Ó;Ó<ñ=ä”u˜S A™X s¨a¡xÓ0Ó1ñ2ô ”u˜S A™X¨¨q©Ñ0°#Ó6Ó7ñ8ð ô "% T§Z¡Z°·±Ó!?ó Z	ÑˆJ˜Ø×Ñ 
× ;Ñ ;¸U×=RÑ=RÔSØ×ÑØ×4Ñ4°e×6TÑ6Tôð ×ÑØ×5Ñ5°u×7VÑ7Vôð ×ÑØ×6Ñ6¸×8XÑ8Xôð ×ÑØ×)Ñ)×0Ñ0°%·/±/×2HÑ2Hôð ×ÑØ×)Ñ)×0Ñ0°%·/±/×2HÑ2Hôô —‘ §¡× 6Ñ 6× =Ñ =Ó>×DÑDÓF×LÑLÓNð ×%Ñ%×,Ñ,Ô2ð !Ÿ?™?×5Ñ5Ð9IÑIˆLØ)Ò:¨lˆJä>CÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ñ Ø—‘Ø  ‘O U§_¡_×%;Ñ%;È
ð  õ ð —‘Ø  ‘O U§_¡_×%;Ñ%;È
ð  ô ð œ[×5Ñ5×9Ñ9Ò9Ü×!Ñ! *×";Ñ";×"BÑ"BÀ1Ñ"EÀ|ÕTà(¬K×,DÑ,D×,MÑ,MÒM™ÐST�Ü×*Ñ*Ø×-Ñ-×4Ñ4°QÑ7¸Àvôñ  Ð 8Ø"×1Ñ1×8Ñ8¸Ñ;×BÑB�Ø% a™×/Ñ/×5Ñ5°aÑ8�Ø% a™×/Ñ/×5Ñ5°aÑ8�ØÐ,˜V f™_Ð-×2Ñ2°2°s¸E¿K¹KÈ¹NÓK�Ø+-ªa°ºqÐ.@Ñ+A×+IÑ+IØ˜V‘O U§[¡[°¡^ó,�Ð'˜ ™Ð(ð ×-Ñ-×4Ñ4Ø×-Ñ-×4Ñ4ð"ò D�Ið '0§o¡o°lÑ&C�I•Oð	Dð �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô ˜ °Ó5ˆBØˆ~Ü*,¯(©(°9Ó*=×*BÑ*BÀ2Ç8Á8Ã:Ç?Á?ÓCTÓ*U�
Ô'ä�E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñuZ	ùò8 Hs   ËZ+r–  r«   s   @r&   rœ  rœ  y
  sN   ø„ ð
 ñ#ó ð#òòWôrò)ò3ò'ð 4?×3KÑ3K×3OÑ3O÷ nr(   rœ  ÚMistralConfigc                   óx   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	e
j                  j                  fd„Zˆ xZS )ÚMistralLoaderc                  ó   — y)NÚMistralForCausalLMr)   r¯   s    r&   r‡   zMistralLoader.architecture_nameµ  rØ  r(   c                 óè  — |j                   j                  }|j                   j                  }t        |j                   d|«      }||k(  rd }t        |j                   dd«      }| j	                  |j                   d«      \  }}}t        |j                   dd «      }	|	r…|	j
                  dk(  rt        j                  |	j                  «      }

€<t        d|	j
                  ›dd	j                  t        j                  «       «      ›�«      ‚|	j                  }|	j                  }nt        j                  j                   }
d }d }t"        j$                  j'                  ||t        j(                  j*                  d
d
d
dd||||||
|||j                   j,                  ¬«      }| j/                  |j0                  |j2                  |
¬«       | j5                  |j0                  j6                  |j8                  «       |S )Nr  r|  r   r  rM  rN  rO  rP  ru   TF)rò  rñ  r®  r°  rÄ  rÅ  rõ   rö   r  r  r|  rß   rR  rS  rC  rf  )rN   rx  ry  r}   r÷   rQ  rV  rI   rW  r²   r„   r†   rX  rY  r	   rÕ   rÖ   r   rw  rö  rì  rZ  rC  rÿ  r   r–   rà   r  r  )r<   r–   r#  rÏ  r  r|  rõ   rö   rò   rM  rß   rR  rS  r‘   s                 r&   r´   zMistralLoader.get_model_spec¹  sÇ  € Ø—\‘\×3Ñ3ˆ
à—L‘L×4Ñ4ˆ	Ü˜uŸ|™|Ð-BÀIÓNˆØ˜9Ò$ØˆLä  §¡Ð/?ÀÓCˆàAE×AWÑAWØ�L‰L˜&óB
Ñ>ÐÐ2°Jô & e§l¡lÐ4IÈ4ÓPÐÙØ"×/Ñ/°5Ò8Ü4×8Ñ8Ð9L×9TÑ9TÓU�
ØÐ!Ý)ð ,×8Ó8ØŸ	™	Ô"9×">Ñ">Ó"@ÔAð	óð ð  3×=Ñ=ÐØ,×1Ñ1‰Jä$×1Ñ1×5Ñ5ˆJØ#ÐØˆJä×;Ñ;×GÑGØØÜ"×-Ñ-×3Ñ3ØØØØØ#Ø 3Ø"7Ø"Ø%Ø)Ø!Ø-Ø!Ø—\‘\×*Ñ*ð# Hó 
ˆð( 	×Ñ˜Ÿ™ u§{¡{¸zÐÔJØ�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zMistralLoader.get_vocabularyó  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zMistralLoader.set_vocabularyü  r‚  r(   c                 ó    — |j                   |_         |j                  |_        |j                  |_        |j                  j                  |_        y r"   r"  rÊ   s       r&   r¶   zMistralLoader.set_configÿ  r%  r(   c                 ó&   — |j                   |_        y r"   rÔ  rÕ  s      r&   rÓ   zMistralLoader.set_layer_norm  rÖ  r(   c                 ó�  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        |j                  |j                  «      D �]Ê  \  }}| j	                  |j                  j
                  |j                  «       | j	                  |j                  j
                  |j                  «       t        d«      D �cg c]  }t        j                   «       ‘Œ }}| j#                  |d   |j$                  j&                  |¬«       | j#                  |d   |j$                  j(                  |¬«       | j#                  |d   |j$                  j*                  |¬«       |t        j,                  j.                  k(  r.t1        j2                  |j                  j4                  d   |«       nO|t        j,                  j6                  k(  rdnd}t1        j8                  |j                  j4                  d   ||«       | j#                  |j                  j4                  d   |j$                  j:                  |¬«       | j#                  |j                  j<                  |j>                  j@                  |¬«       | j#                  |j                  jB                  |j>                  jD                  |¬«       | j#                  |j                  jF                  |j>                  jH                  |¬«       tK        |d«       tK        |d«       tM        jN                  «        �ŒÍ y c c}w re  rg  rj  s	            r&   rÿ  zMistralLoader.set_decoder  s¡  € Ø %ˆÔØ×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó +	ÑˆJ˜Ø×ÑØ×)Ñ)×4Ñ4°e×6KÑ6Kôð ×ÑØ—‘×)Ñ)¨5×+IÑ+Iôô ?DÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð œ[×5Ñ5×9Ñ9Ò9Ü×!Ñ! *×";Ñ";×"BÑ"BÀ1Ñ"EÀ|ÕTà(¬K×,DÑ,D×,MÑ,MÒM™ÐST�Ü×*Ñ*Ø×-Ñ-×4Ñ4°QÑ7¸Àvôð �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñW+	ùò Hrl  rm  r«   s   @r&   rÌ  rÌ  ³  sE   ø„ àñ$ó ð$ò8ôtò)ò>ò'ð 4?×3KÑ3K×3OÑ3O÷ 0r(   rÌ  ÚQwen2Configc                   óx   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	e
j                  j                  fd„Zˆ xZS )ÚQwen2Loaderc                  ó   — y)NÚQwen2ForCausalLMr)   r¯   s    r&   r‡   zQwen2Loader.architecture_name=  rè  r(   c                 ó�  — |j                   j                  }|j                   j                  }t        |j                   d|«      }||k(  rd }| j	                  |j                   d«      \  }}}t        |j                   dd «      }|r‡d }	|j
                  dk(  rt        j                  |j                  «      }	|	€<t        d|j
                  ›ddj                  t        j                  «       «      ›�«      ‚|j                  }
|j                  }nt        j                  j                   }	d }
d }t"        j$                  j'                  ||t        j(                  j*                  dddd	d
|||||	|
|¬«      }| j-                  |j.                  |j0                  |	«       | j3                  |j.                  j4                  |j6                  «       |S )Nr  r  rM  rN  rO  rP  ru   Tr   FrQ  )rN   rx  ry  r}   r÷   rQ  rV  rI   rW  r²   r„   r†   rX  rY  r	   rÕ   rÖ   r   rw  rö  rì  rZ  rÿ  r   r–   rà   r  r  )r<   r–   r#  rÏ  r  rõ   rö   rò   rM  rß   rR  rS  r‘   s                r&   r´   zQwen2Loader.get_model_specA  s¦  € Ø—\‘\×3Ñ3ˆ
à—L‘L×4Ñ4ˆ	Ü˜uŸ|™|Ð-BÀIÓNˆØ˜9Ò$ØˆLàAE×AWÑAWØ�L‰L˜&óB
Ñ>ÐÐ2°Jô
 & e§l¡lÐ4IÈ4ÓPÐÙØˆJØ"×/Ñ/°5Ò8Ü4×8Ñ8Ð9L×9TÑ9TÓU�
ØÐ!Ý)ð ,×8Ó8ØŸ	™	Ô"9×">Ñ">Ó"@ÔAð	óð ð  3×=Ñ=ÐØ,×1Ñ1‰Jä$×1Ñ1×5Ñ5ˆJØ#ÐØˆJä×;Ñ;×GÑGØØÜ"×-Ñ-×3Ñ3ØØØØØ#Ø 3Ø"7Ø"Ø%Ø!Ø-Ø!ð Hó 
ˆð$ 	×Ñ˜Ÿ™ u§{¡{°JÔ?Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zQwen2Loader.get_vocabularyy  sV   ø€ Ü‘Ñ'¨¨yÓ9ˆà—L‘L×+Ñ+¬c°&«kÑ9ˆ	Ü�yÓ!ò 	/ˆAØ�M‰M˜/¨AÑ-Õ.ð	/àˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zQwen2Loader.set_vocabulary�  r‚  r(   c                 óì   — |j                   �|j                   n|j                  |_         |j                  |_        |j                  �|j                  nd|_        |j                  j
                  |_        y rb  ©r  rn  r  r  rN   r#  r$  rÊ   s       r&   r¶   zQwen2Loader.set_config„  ón   € ð ×"Ñ"Ð.ð ×Òà×$Ñ$ð 	Ôð
 %×.Ñ.ˆÔà#,×#6Ñ#6Ð#BˆI×ÒÈð 	Ôð %*§L¡L×$=Ñ$=ˆÕ!r(   c                 ó&   — |j                   |_        y r"   rÔ  rÕ  s      r&   rÓ   zQwen2Loader.set_layer_norm�  rÖ  r(   c                 ó�  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        |j                  |j                  «      D �]Ê  \  }}| j	                  |j                  j
                  |j                  «       | j	                  |j                  j
                  |j                  «       t        d«      D �cg c]  }t        j                   «       ‘Œ }}| j#                  |d   |j$                  j&                  |¬«       | j#                  |d   |j$                  j(                  |¬«       | j#                  |d   |j$                  j*                  |¬«       |t        j,                  j.                  k(  r.t1        j2                  |j                  j4                  d   |«       nO|t        j,                  j6                  k(  rdnd}t1        j8                  |j                  j4                  d   ||«       | j#                  |j                  j4                  d   |j$                  j:                  |¬«       | j#                  |j                  j<                  |j>                  j@                  |¬«       | j#                  |j                  jB                  |j>                  jD                  |¬«       | j#                  |j                  jF                  |j>                  jH                  |¬«       tK        |d«       tK        |d«       tM        jN                  «        �ŒÍ y c c}w re  rg  rj  s	            r&   rÿ  zQwen2Loader.set_decoder“  s¡  € Ø %ˆÔØ×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó -	ÑˆJ˜Ø×ÑØ×)Ñ)×4Ñ4°e×6KÑ6Kôð ×ÑØ—‘×)Ñ)¨5×+IÑ+Iôô ?DÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð œ[×5Ñ5×9Ñ9Ò9Ü×!Ñ! *×";Ñ";×"BÑ"BÀ1Ñ"EÀ|ÕTà(¬K×,DÑ,D×,MÑ,MÒM™ÐST�Ü×*Ñ*Ø×-Ñ-×4Ñ4°QÑ7¸Àvôð �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñ[-	ùò Hrl  rm  r«   s   @r&   r×  r×  ;  sE   ø„ àñ"ó ð"ò6ôpò)ò
>ò'ð 4?×3KÑ3K×3OÑ3O÷ 2r(   r×  ÚQwen3Configc                   óx   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	e
j                  j                  fd„Zˆ xZS )ÚQwen3Loaderc                  ó   — y)NÚQwen3ForCausalLMr)   r¯   s    r&   r‡   zQwen3Loader.architecture_nameÊ  rè  r(   c                 ó  — |j                   j                  }|j                   j                  }t        |j                   d|«      }t        |j                   d|j                   j                  |z  «      }||k(  rd }| j                  |j                   d«      \  }}}t        |j                   dd «      }	|	r‡d }
|	j                  dk(  rt        j                  |	j                  «      }
|
€<t        d|	j                  ›ddj                  t        j                  «       «      ›�«      ‚|	j                  }|	j                  }nt        j                   j"                  }
d }d }t$        j&                  j)                  ||t        j*                  j,                  d	d	d	|j                   j.                  d
|||||d	|
||¬«      }| j1                  |j2                  |j4                  |
«       | j7                  |j2                  j8                  |j:                  «       |S )Nr  rC  rz  rM  rN  rO  rP  ru   TF)rò  rñ  r®  r°  rÄ  rÅ  rõ   rö   r  r  rC  r‚  rß   rR  rS  )rN   rx  ry  r}   r|  r÷   rQ  rV  rI   rW  r²   r„   r†   rX  rY  r	   rÕ   rÖ   r   rw  rö  rì  rZ  rC  rÿ  r   r–   rà   r  r  )r<   r–   r#  rÏ  r  rC  rõ   rö   rò   rM  rß   rR  rS  r‘   s                 r&   r´   zQwen3Loader.get_model_specÎ  sÜ  € Ø—\‘\×3Ñ3ˆ
Ø—L‘L×4Ñ4ˆ	Ü˜uŸ|™|Ð-BÀIÓNˆÜØ�L‰L˜* e§l¡l×&>Ñ&>À)Ñ&Kó
ˆð ˜9Ò$ØˆLàAE×AWÑAWØ�L‰L˜)óB
Ñ>ÐÐ2°Jô & e§l¡lÐ4IÈ4ÓPÐÙØˆJØ"×/Ñ/°5Ò8Ü4×8Ñ8Ð9L×9TÑ9TÓU�
ØÐ!Ý)ð ,×8Ó8ØŸ	™	Ô"9×">Ñ">Ó"@ÔAð	óð ð  3×=Ñ=ÐØ,×1Ñ1‰Jä$×1Ñ1×5Ñ5ˆJØ#ÐØˆJä×;Ñ;×GÑGØØÜ"×-Ñ-×3Ñ3ØØØØ—|‘|×,Ñ,Ø#Ø 3Ø"7Ø"Ø%ØØØ!Ø-Ø!ð# Hó 
ˆð( 	×Ñ˜Ÿ™ u§{¡{°JÔ?Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zQwen3Loader.get_vocabulary
  óV   ø€ Ü‘Ñ'¨¨yÓ9ˆØ—L‘L×+Ñ+¬c°&«kÑ9ˆ	Ü�yÓ!ò 	/ˆAØ�M‰M˜/¨AÑ-Õ.ð	/àˆr(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zQwen3Loader.set_vocabulary  r‚  r(   c                 óì   — |j                   �|j                   n|j                  |_         |j                  |_        |j                  �|j                  nd|_        |j                  j
                  |_        y rb  rÞ  rÊ   s       r&   r¶   zQwen3Loader.set_config  rß  r(   c                 ó&   — |j                   |_        y r"   rÔ  rÕ  s      r&   rÓ   zQwen3Loader.set_layer_norm   rÖ  r(   c                 ó�  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        t        |j                  |j                  «      «      D �]A  \  }\  }}| j	                  |j                  j
                  |j                  «       | j	                  |j                  j
                  |j                  «       | j	                  |j                  j                  |j                   j                  «       | j	                  |j                  j"                  |j                   j"                  «       t%        d«      D �cg c]  }t'        j(                  «       ‘Œ }}| j+                  |d   |j                   j,                  |¬«       | j+                  |d   |j                   j.                  |¬«       | j+                  |d   |j                   j0                  |¬«       |t&        j2                  j4                  k(  r.t7        j8                  |j                  j:                  d   |«       nO|t&        j2                  j<                  k(  rdnd}	t7        j>                  |j                  j:                  d   ||	«       | j+                  |j                  j:                  d   |j                   j@                  |¬«       | j+                  |j                  jB                  |jD                  jF                  |¬«       | j+                  |j                  jH                  |jD                  jJ                  |¬«       | j+                  |j                  jL                  |jD                  jN                  |¬«       tQ        |d«       tQ        |d«       tS        jT                  «        �ŒD y c c}w re  )+r7  râ   r:  r;  rÓ   r  r,  rŸ  rl  r  r  r  rý  r   rÿ  r”  r  r•  r„  r	   r,  rà   rY  rZ  r[  rÕ   rÖ   r   r-  r   rh  ri  r-  r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  )
r<   r‘   rÒ   rß   Ú	layer_idxr&  r  rÅ   r0  rk  s
             r&   rÿ  zQwen3Loader.set_decoder#  s  € Ø %ˆÔØ×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä.7¼¸D¿J¹JÈÏÉÓ8VÓ.Wó 4	Ñ*ˆIÑ*˜
 EØ×ÑØ×)Ñ)×4Ñ4°e×6KÑ6Kôð ×ÑØ—‘×)Ñ)¨5×+IÑ+Iôð ×ÑØ×)Ñ)×0Ñ0°%·/±/×2HÑ2Hôð ×ÑØ×)Ñ)×0Ñ0°%·/±/×2HÑ2Hôô ?DÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð �O‰OØ˜Q‘ §¡×!7Ñ!7ÀJð ô ð œ[×5Ñ5×9Ñ9Ò9Ü×!Ñ! *×";Ñ";×"BÑ"BÀ1Ñ"EÀ|ÕTà(¬K×,DÑ,D×,MÑ,MÒM™ÐST�Ü×*Ñ*Ø×-Ñ-×4Ñ4°QÑ7¸Àvôð �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñi4	ùò Hs   Å(Orm  r«   s   @r&   rä  rä  È  sE   ø„ àñ"ó ð"ò:ôxò)ò
>ò'ð 4?×3KÑ3K×3OÑ3O÷ 9r(   rä  ÚMixFormerSequentialConfigc                   óF   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	ˆ xZ
S )ÚMixFormerSequentialLoaderc                  ó   — yrú  r)   r¯   s    r&   r‡   z+MixFormerSequentialLoader.architecture_namea  rü  r(   c           
      óÈ  — t         j                  j                  |j                  j                  |j                  j
                  dt        |j                  j                     |j                  j                  ddd¬«      }| j                  |j                  |j                  «       | j                  |j                  j                  |j                  d   j                  «       |S )NTF©r#  rÏ  rñ  rò  rÄ  rÅ  rÆ  rÇ  rS   )r   rw  rö  rN   r–  rA  rû  rü  rÄ  rÿ  r   r  rà   r  r   r  s      r&   r´   z(MixFormerSequentialLoader.get_model_spece  s©   € Ü×;Ñ;×GÑGØ—|‘|×+Ñ+Ø—l‘l×)Ñ)ØÜ-¨e¯l©l×.NÑ.NÑOØ—|‘|×.Ñ.Ø#Ø"Ø"ð Hó 	
ˆð 	×Ñ˜Ÿ™ u§|¡|Ô4Ø�‰˜Ÿ™×/Ñ/°·±¸bÑ1A×1HÑ1HÔIØˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   z(MixFormerSequentialLoader.get_vocabularyu  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   z(MixFormerSequentialLoader.set_vocabulary~  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   z$MixFormerSequentialLoader.set_config�  r…  r(   c                 ó$  — d|_         | j                  |j                  |d   j                  «       | j	                  |j
                  |d   j                  «       t        |j                  |dd «      D �]  \  }}| j	                  |j                  |j                  «       | j                  |j                  j                  d   |j                  j                  «       | j                  |j                  j                  d   |j                  j                  «       | j                  |j                   j"                  |j$                  j&                  «       | j                  |j                   j(                  |j$                  j*                  «       �Œ y )NFr   rS   r¾   )r7  râ   r:  r¤  rÓ   r  Úlnrl  r  rÇ  rà   r  r   Úmixerr  r.  r   r!  r­  r"  r#  r$  r¯  s        r&   rÿ  z%MixFormerSequentialLoader.set_decoder†  s  € Ø %ˆÔØ×Ñ˜DŸO™O¨V°A©Y¯]©]Ô;Ø×Ñ˜DŸO™O¨V°B©Z¯]©]Ô;ä!$ T§Z¡Z°¸¸"°Ó!>ó 	DÑˆJ˜Ø×Ñ 
× <Ñ <¸e¿h¹hÔGØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×AQÑAQÔRØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×AUÑAUÔVØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y·]±]ÔCØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y·]±]ÖCñ	Dr(   rë  r«   s   @r&   rñ  rñ  _  s/   ø„ àñ&ó ð&òô ò)ò/ö

Dr(   rñ  Ú	PhiConfigc                   óF   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	ˆ xZ
S )Ú	PhiLoaderc                  ó   — yrú  r)   r¯   s    r&   r‡   zPhiLoader.architecture_name•  rü  r(   c           
      ó6  — t         j                  j                  |j                  j                  |j                  j
                  dt        |j                  j                     |j                  j                  ddd¬«      }| j                  |j                  |j                  «       | j                  |j                  j                  |j                  j                  «       | j!                  |j                  j"                  |j                  j$                  «       |S )NTFrô  )r   rw  rö  rN   r–  rA  rû  rü  rÄ  rÿ  r   r—  rà   r  r  r   rÓ   r  rù  r  s      r&   r´   zPhiLoader.get_model_spec™  sÊ   € Ü×;Ñ;×GÑGØ—|‘|×+Ñ+Ø—l‘l×)Ñ)ØÜ-¨e¯l©l×.NÑ.NÑOØ—|‘|×.Ñ.Ø#Ø"Ø"ð Hó 	
ˆð 	×Ñ˜Ÿ™ u×'8Ñ'8Ô9Ø�‰˜Ÿ™×/Ñ/°·±×1EÑ1EÔFØ×Ñ˜DŸL™L×3Ñ3°U·]±]×5EÑ5EÔFØˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zPhiLoader.get_vocabularyª  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zPhiLoader.set_vocabulary³  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zPhiLoader.set_config¶  r…  r(   c                 óî  — d|_         | j                  |j                  |j                  j                  «       t        |j                  |j                  «      D �]  \  }}| j                  |j                  |j                  «       | j                  |j                  j                  d   |j                  j                  «       | j                  |j                  j                  d   |j                  j                   «       | j                  |j"                  j$                  |j&                  j(                  «       | j                  |j"                  j*                  |j&                  j,                  «       �Œ y r¢  )r7  râ   r:  Úembdr¤  rl  r  r§  rÓ   rÇ  rù  rà   r  r   rú  r  r.  r   r!  r­  r"  r#  r$  r¯  s        r&   rÿ  zPhiLoader.set_decoder»  s÷   € Ø %ˆÔØ×Ñ˜DŸO™O¨V¯[©[¯_©_Ô=ä!$ T§Z¡Z°·±Ó!:ó 	DÑˆJ˜Ø×Ñ 
× <Ñ <¸e¿h¹hÔGØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×AQÑAQÔRØ�O‰O˜J×5Ñ5×<Ñ<¸QÑ?ÀÇÁ×AUÑAUÔVØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y·]±]ÔCØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y·]±]ÖCñ	Dr(   rë  r«   s   @r&   rý  rý  “  s/   ø„ àñ&ó ð&òô"ò)ò/ö
	Dr(   rý  Ú
Phi3Configc                   ó~   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zd„ Z	d„ Z
ej                  j                  fd„Zˆ xZS )	Ú
Phi3Loaderc                  ó   — yrú  r)   r¯   s    r&   r‡   zPhi3Loader.architecture_nameÉ  rü  r(   c                 óÖ  — |j                   j                  }|j                   j                  }t        |j                   d|«      }||k(  rd }t        |j                   dd«      }t        |j                   dd«      }t        |j                   dd «      }|rat        j                  |d   «      }|j                  dd«      }	|€9t        d	|d   ›d
dj                  t        j                  «       «      ›�«      ‚d }d}	t        |j                   dd «      }
|
r‡d }|
j                  dk(  rt        j                  |
j                  «      }|€<t        d|
j                  ›ddj                  t        j                  «       «      ›�«      ‚|
j                  }|
j                  }nt        j                  j                   }d }d }t"        j$                  j'                  ||t        j(                  j*                  ddddd||	t        |j                   dd«      ||||||¬«      }| j-                  |j.                  |j0                  |«       | j3                  |j.                  j4                  |j6                  «       |S )Nr  Ú original_max_position_embeddingsr   Úmax_position_embeddingsrë   rì   rñ   r¾   rï   rð   ru   rM  rN  rO  rP  TFrò   r  )rò  rñ  r®  r°  rÄ  rÅ  rõ   rö   r  r
  r  r  rß   rR  rS  )rN   rx  ry  r}   ró   rI   r²   r„   r†   rQ  rV  rW  rX  rY  r	   rÕ   rÖ   r   rw  rö  rì  rZ  rÿ  r   r–   rà   r  r  )r<   r–   r#  rÏ  r  r
  r  rë   rõ   rö   rM  rß   rR  rS  r‘   s                  r&   r´   zPhi3Loader.get_model_specÍ  sH  € Ø—\‘\×3Ñ3ˆ
à—L‘L×4Ñ4ˆ	Ü˜uŸ|™|Ð-BÀIÓNˆØ˜9Ò$ØˆLä+2Ø�L‰LÐ<¸aó,
Ð(ô #*¨%¯,©,Ð8QÐSTÓ"UÐÜ˜uŸ|™|¨^¸TÓBˆÙÜ"9×"=Ñ"=¸lÈ6Ñ>RÓ"SÐØ$0×$4Ñ$4°X¸qÓ$AÐ!à"Ð*Ý)ð $ FÓ+¨T¯Y©YÔ7N×7SÑ7SÓ7UÔ-VðXóð ð #'ÐØ$%Ð!ô & e§l¡lÐ4IÈ4ÓPÐÙØˆJØ"×/Ñ/°5Ò8Ü4×8Ñ8Ð9L×9TÑ9TÓU�
ØÐ!Ý)ð ,×8Ó8ØŸ	™	Ô"9×">Ñ">Ó"@ÔAð	óð ð  3×=Ñ=ÐØ,×1Ñ1‰Jä$×1Ñ1×5Ñ5ˆJØ#ÐØˆJä×;Ñ;×GÑGØØÜ"×-Ñ-×3Ñ3ØØØØØ#Ø 3Ø"7Ü §¡¨l¸EÓBØ-MØ$;Ø%Ø!Ø-Ø!ð# Hó 
ˆð( 	×Ñ˜Ÿ™ u§{¡{°JÔ?Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zPhi3Loader.get_vocabulary  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zPhi3Loader.set_vocabulary  r‚  r(   c                 ój   — |j                   |_         |j                  |_        |j                  |_        y r"   r„  rÊ   s       r&   r¶   zPhi3Loader.set_config"  r…  r(   c                 ó&   — |j                   |_        y r"   rÔ  rÕ  s      r&   rÓ   zPhi3Loader.set_layer_norm'  rÖ  r(   c                 ó¬   — t        j                  |t         j                  ¬«      |_        t        j                  |t         j                  ¬«      |_        y )Nr�  )r~   r)  rZ   Úrotary_scaling_long_factorÚrotary_scaling_short_factor)r<   r‘   r  r  s       r&   Úset_rotary_embeddingsz Phi3Loader.set_rotary_embeddings*  s:   € ô +0¯,©,Ø&¬e¯m©mô+
ˆÔ'ô ,1¯<©<Ø'¬u¯}©}ô,
ˆÕ(r(   c                 óJ  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        |j                  |j                  «      D �]¬  \  }}| j	                  |j                  j
                  |j                  «       | j	                  |j                  j
                  |j                  «       | j                  |j                  j                  d   |j                   j"                  |¬«       | j                  |j                  j                  d   |j                   j$                  |¬«       |j                   j&                  j(                  �y|j                   j&                  j*                  �Y| j-                  |j                  |j                   j&                  j(                  |j                   j&                  j*                  «       |t.        j0                  j2                  k(  rl|j4                  j6                  j8                  j;                  dd¬«      \  }}||j                  j<                  _        ||j                  j>                  _        �n>|j4                  j6                  j@                  j;                  dd¬«      \  }}	|j4                  j6                  jB                  j;                  dd¬«      \  }
}|j4                  j6                  jD                  j;                  dd¬«      \  }}||j                  j<                  _        |
|j                  j<                  _#        ||j                  j<                  _$        |	|j                  j>                  _        ||j                  j>                  _#        ||j                  j>                  _$        | j                  |j                  jJ                  |j4                  jL                  |¬«       tO        |d«       tO        |d«       tQ        jR                  «        �Œ¯ y )	NFr   rf  r¾   rn   rá  r  r­  )*r7  râ   r:  r;  rÓ   r  r,  rl  r  r  r  rý  r   rÿ  rà   r   r  rå  r-  Ú
rotary_embÚlong_factorÚshort_factorr  r	   rÕ   rÖ   r­  Úgate_up_projrÍ   r«  r!  rÂ  r×   rØ   rÚ   rÙ   rÛ   r#  r  r/  r0  r1  )r<   r‘   rÒ   rß   r&  r  r.  r
  Úgate_qweightÚ
up_qweightÚgate_scalesÚ	up_scalesÚgate_qzerosÚ	up_qzeross                 r&   rÿ  zPhi3Loader.set_decoder4  s)  € Ø %ˆÔØ×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó 7	ÑˆJ˜Ø×ÑØ×)Ñ)×4Ñ4°e×6KÑ6Kôð ×ÑØ—‘×)Ñ)¨5×+IÑ+Iôð �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×(Ñ(Ø%ð ô ð
 �O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð —‘×*Ñ*×6Ñ6ÐBØ—O‘O×.Ñ.×;Ñ;ÐGà×*Ñ*Ø×-Ñ-Ø—O‘O×.Ñ.×:Ñ:Ø—O‘O×.Ñ.×;Ñ;ôð œ[×5Ñ5×9Ñ9Ò9Ø%*§Y¡Y×%;Ñ%;×%BÑ%B×%HÑ%HÈÐPQÐ%HÓ%RÑ"�	˜7Ø1:�
—‘×'Ñ'Ô.Ø7>�
—‘×-Ñ-Ö4ð ,1¯9©9×+AÑ+A×+IÑ+I×+OÑ+OØ˜1ð ,Pó ,Ñ(�˜jð */¯©×)?Ñ)?×)FÑ)F×)LÑ)LÈQÐTUÐ)LÓ)VÑ&�˜YØ).¯©×)?Ñ)?×)FÑ)F×)LÑ)LÈQÐTUÐ)LÓ)VÑ&�˜Yà1=�
—‘×'Ñ'Ô.Ø7B�
—‘×'Ñ'Ô4Ø6A�
—‘×'Ñ'Ô3à7A�
—‘×-Ñ-Ô4Ø=F�
—‘×-Ñ-Ô:Ø<E�
—‘×-Ñ-Ô9à�O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLño7	r(   )rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rÓ   r  r	   rÕ   rÖ   rÿ  rª   r«   s   @r&   r  r  Ç  sK   ø„ àñ&ó ð&òGôRò)ò/ò
'ò
ð 4?×3KÑ3K×3OÑ3O÷ <r(   r  ÚRWConfigc                   óT   ‡ — e Zd Zed„ «       Zd„ Zd„ Zˆ fd„Zd„ Zd„ Z	d„ Z
d	d„Zˆ xZS )
ÚRWLoaderc                  ó   — yrú  r)   r¯   s    r&   r‡   zRWLoader.architecture_nameu  rü  r(   c                 ó¶   — |j                   j                  | _        |j                   j                  | _        t        |j                   dd «      | _        d| _        y )NÚ	n_head_kvÚnum_kv)rN   r–  Ú_num_layersrA  Ú
_num_headsr}   Ú_num_heads_kvÚ_num_kv_attrr³   s     r&   Úget_falcon_speczRWLoader.get_falcon_specy  sB   € Ø Ÿ<™<×/Ñ/ˆÔØŸ,™,×-Ñ-ˆŒÜ$ U§\¡\°;ÀÓEˆÔØ$ˆÕr(   c                 óT  — | j                  |«       t        |j                  dd«      rd}n| j                  }t        j
                  j                  | j                  | j                  dt        j                  j                  |j                  j                  dd|j                  j                  rdnd d|j                  j                  |dk(  |¬«      }| j                  |j                   |j"                  «       | j%                  |j                   j&                  |j(                  «       |S )NÚmulti_queryFr¾   Tr   )
rñ  rò  rê  rë  Úscale_alibirÄ  rÅ  rÆ  rÇ  r  )r*  r}   rN   r(  r   rw  rö  r&  r'  r	   rì  r   rê  ÚrotaryÚparallel_attnrÿ  r   r—  rà   r  r  )r<   r–   r  r‘   s       r&   r´   zRWLoader.get_model_spec  sê   € Ø×Ñ˜UÔ#ä�5—<‘< °Ô6Ø‰Là×-Ñ-ˆLä×;Ñ;×GÑGØ×ÑØ�O‰OØÜ"×-Ñ-×2Ñ2Ø—,‘,×$Ñ$Ø)-ØØ!ŸL™L×/Ò/‘q°TØ#Ø#Ÿl™l×8Ñ8Ø*¨aÑ/Ø%ð Hó 
ˆð 	×Ñ˜Ÿ™ u×'8Ñ'8Ô9Ø�‰˜Ÿ™×/Ñ/°·±Ô?Øˆr(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zRWLoader.get_vocabularyš  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zRWLoader.set_vocabulary£  r‚  r(   c                 ój   — |j                   |_        |j                   |_         |j                   |_        y r"   )r  r  r  rÊ   s       r&   r¶   zRWLoader.set_config¦  r…  r(   c                 óÚ  — d|_         | j                  |j                  |j                  «       | j	                  |j
                  |j                  «       t        |j                  |j                  «      D �]t  \  }}t        |d«      rM| j	                  |j                  |j                  «       | j	                  |j                  |j                  «       n“t        |d«      r'| j	                  |j                  |j                   «       n`| j	                  |j"                  j
                  |j                   «       | j	                  |j$                  j
                  |j&                  «       t)        |j"                  | j*                  «      }|dk(  r>| j-                  |j"                  j.                  d   |j"                  j0                  «       nn| j3                  |j"                  j.                  d   |j"                  j0                  |j"                  j4                  ||j"                  j4                  k  r|nd «       | j-                  |j"                  j.                  d   |j"                  j6                  «       | j-                  |j$                  j8                  |j:                  j<                  «       | j-                  |j$                  j>                  |j:                  j@                  «       �Œw y )NFÚln_attnrÇ  r¾   r   )!r7  râ   r:  rò  rÓ   r  r¦  rl  r  r§  rˆ   rû  r4  rþ  Úln_mlprÇ  rý  r  r   rÿ  r}   r)  rà   r   r   rô  rÏ  r  r!  r­  r  r#  r  )r<   r‘   rÒ   r&  r  r%  s         r&   rÿ  zRWLoader.set_decoder«  s1  € Ø %ˆÔØ×Ñ˜DŸO™O¨V×-CÑ-CÔDØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!:ó !	NÑˆJ˜Ü�u˜iÔ(Ø×#Ñ# J×$?Ñ$?ÀÇÁÔOØ×#Ñ# J×$HÑ$HÈ%Ï,É,ÕWÜ˜Ð%8Ô9Ø×#Ñ# J×$@Ñ$@À%×BWÑBWÕXà×#Ñ#Ø×-Ñ-×8Ñ8¸%×:OÑ:Oôð ×#Ñ#Ø—N‘N×-Ñ-¨u×/MÑ/Môô ˜U×1Ñ1°4×3DÑ3DÓEˆFØ˜Š{Ø—‘Ø×-Ñ-×4Ñ4°QÑ7Ø×(Ñ(×8Ñ8õð
 ×#Ñ#Ø×-Ñ-×4Ñ4°QÑ7Ø×(Ñ(×8Ñ8Ø×(Ñ(×2Ñ2Ø$ u×';Ñ';×'EÑ'EÒE‘FÈ4ô	ð �O‰OØ×)Ñ)×0Ñ0°Ñ3°U×5IÑ5I×5OÑ5Oôð �O‰O˜JŸN™N×3Ñ3°U·Y±Y×5LÑ5LÔMØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5LÑ5LÖMñC!	Nr(   c                 óè  — |j                   }|€S|j                  |dd|j                  d   «      }|j                  dd«      }|j                  d|j                  d   «      }n­|j                  d   ||dz  z   z  }|j                  d||z  dz   ||j                  d   «      }|j	                  ||z  ddgd¬«      \  }}}	t        j                  |j                  ||z  d«      |j                  ||z  d«      |	j                  ||z  d«      g«      }||_         |j                  �Ñ|j                  }
|€7|
j                  |dd«      }
|
j                  dd«      }
|
j                  d«      }
n„|
j                  d||z  dz   «      }
|
j	                  ||z  ddgd¬«      \  }}}	t        j                  |j                  ||z  «      |j                  ||z  «      |	j                  ||z  «      g«      }
|
|_        y y )Nr-  rS   r   r¾   rn   rá  )rÍ   rƒ  rS  rÞ   Úsplitr~   rÌ  rÏ   )r<   r‘   rÒ   rÏ  r%  rÍ   rC  rÎ  rÏ  rÐ  rÏ   s              r&   rô  zRWLoader.set_qkv_linearÓ  sô  € Ø—‘ˆàˆ>Ø—^‘^ I¨q°"°f·l±lÀ2Ñ6FÓGˆFØ×%Ñ% a¨Ó+ˆFØ—^‘^ B¨¯©°RÑ(8Ó9‰Fà—|‘| A‘¨9°vÀ±zÑ+AÑBˆHØ—^‘^Ø�I Ñ'¨!Ñ+¨X°v·|±|ÀBÑ7GóˆFð —l‘l I°Ñ$7¸¸AÐ#>ÀA�lÓF‰GˆAˆq�!Ü—Y‘Yà—I‘I˜i¨(Ñ2°BÓ7Ø—I‘I˜f xÑ/°Ó4Ø—I‘I˜f xÑ/°Ó4ðóˆFð ˆŒà�;‰;Ð"Ø—;‘;ˆDàˆ~Ø—|‘| I¨q°"Ó5�Ø—~‘~ a¨Ó+�Ø—|‘| BÓ'‘à—|‘| B¨	°VÑ(;¸aÑ(?ÀÓJ�ØŸ*™* i°6Ñ&9¸1¸aÐ%@Àa˜*ÓH‘��1�aÜ—y‘yàŸ	™	 )¨hÑ"6Ó7ØŸ	™	 &¨8Ñ"3Ó4ØŸ	™	 &¨8Ñ"3Ó4ðó�ð ˆD�Ið% #r(   r"   )rƒ   r¦   r§   rø   r‡   r*  r´   r·   r¸   r¶   rÿ  rô  rª   r«   s   @r&   r!  r!  s  s:   ø„ àñ&ó ð&ò%òô6ò)ò/ò
&N÷P)r(   r!  ÚFalconConfigc                   ó   — e Zd Zd„ Zy)ÚFalconLoaderc                 ó¶   — |j                   j                  | _        |j                   j                  | _        t        |j                   dd «      | _        d| _        y )NÚnum_kv_heads)rN   rx  r&  ry  r'  r}   r(  r)  r³   s     r&   r*  zFalconLoader.get_falcon_spec  sB   € Ø Ÿ<™<×9Ñ9ˆÔØŸ,™,×:Ñ:ˆŒÜ$ U§\¡\°>À4ÓHˆÔØ*ˆÕr(   N)rƒ   r¦   r§   r*  r)   r(   r&   r:  r:  ÿ  s   „ ó+r(   r:  ÚDistilBertConfigc                   ó.   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zy)ÚDistilBertLoaderc                  ó   — y)NÚDistilBertModelr)   r¯   s    r&   r‡   z"DistilBertLoader.architecture_name
  r¶  r(   c                 óº  — t        j                  |j                  j                  |j                  j                  dt
        |j                  j                     d¬«      }t        j                  |«      }d|j                  _	        | j                  |j                  j                  d   |j                  j                  «       | j                  |j                  j                  |j                  j                  «       | j!                  |j                  j"                  |j                  j$                  «       t'        |j                  j(                  |j*                  j(                  «      D �]é  \  }}t-        d«      D �cg c]  }t/        j0                  «       ‘Œ }}| j3                  |d   |j4                  j6                  «       | j3                  |d   |j4                  j8                  «       | j3                  |d   |j4                  j:                  «       t=        j>                  |j@                  jB                  d   |«       | j3                  |j@                  jB                  d   |j4                  jD                  «       | j!                  |j@                  jF                  |jH                  «       | j3                  |jJ                  jL                  |jJ                  jN                  «       | j3                  |jJ                  jP                  |jJ                  jR                  «       | j!                  |jJ                  jF                  |jT                  «       �Œì |S c c}w )NFTrð  r   r-  r¾   rn   )+r   ÚTransformerEncoderSpecrN   rþ  rÿ  rû  rò  ÚTransformerEncoderModelSpecrþ  r7  râ   r:  rò  rè   r8  Úposition_embeddingsrÓ   ró  Ú	LayerNormrl  r  r—  r„  r	   r,  rà   r)  Úq_linÚk_linÚv_linr   r-  r  r   Úout_linr  Úsa_layer_normr   r!  Úlin1r#  Úlin2Úoutput_layer_norm©r<   r–   Úencoder_specr‘   r&  r  rÅ   r0  s           r&   r´   zDistilBertLoader.get_model_spec  sw  € Ü'×>Ñ>Ø�L‰L×!Ñ!Ø�L‰L× Ñ ØÜ-¨e¯l©l×.EÑ.EÑFØ $ô
ˆô  ×;Ñ;Øó
ˆð ).ˆ�‰Ô%à×ÑØ�L‰L×#Ñ# AÑ&¨×(8Ñ(8×(HÑ(Hô	
ð 	×#Ñ#Ø�L‰L×+Ñ+¨U×-=Ñ-=×-QÑ-Qô	
ð 	×ÑØ�L‰L×,Ñ,¨e×.>Ñ.>×.HÑ.Hô	
ô "% T§\¡\×%7Ñ%7¸×9JÑ9J×9PÑ9PÓ!Qó 	TÑˆJ˜Ü>CÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰O˜L¨™O¨U¯_©_×-BÑ-BÔCØ�O‰O˜L¨™O¨U¯_©_×-BÑ-BÔCØ�O‰O˜L¨™O¨U¯_©_×-BÑ-BÔCÜ×Ñ˜j×7Ñ7×>Ñ>¸qÑAÀ<ÔPà�O‰OØ×)Ñ)×0Ñ0°Ñ3°U·_±_×5LÑ5Lôð ×ÑØ×)Ñ)×4Ñ4°e×6IÑ6Iôð �O‰O˜JŸN™N×3Ñ3°U·Y±Y·^±^ÔDØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y·^±^ÔDØ×Ñ 
§¡× 9Ñ 9¸5×;RÑ;RÖSð!	Tð$ ˆùò# Hs   Å=Mc                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zDistilBertLoader.set_vocabulary:  r‚  r(   c                 ó4   — |j                   |_         d|_        y )Ngê-�™—q=)r  r$  rÊ   s       r&   r¶   zDistilBertLoader.set_config=  s   € Ø$×.Ñ.ˆÔØ$)ˆÕ!r(   N)rƒ   r¦   r§   rø   r‡   r´   r¸   r¶   r)   r(   r&   r?  r?    s$   „ àñ!ó ð!ò*òX)ó*r(   r?  Ú
BertConfigc                   ó@   ‡ — e Zd Zed„ «       Zd„ Zˆ fd„Zd„ Zd„ Zˆ xZ	S )Ú
BertLoaderc                  ó   — y)NÚ	BertModelr)   r¯   s    r&   r‡   zBertLoader.architecture_nameD  s   € àr(   c           	      óÀ  — |j                   j                  dk(  sJ ‚t        j                  |j                   j                  |j                   j
                  dt        |j                   j                     ddt        j                  j                  ¬«      }t        j                  |dt        j                  j                  ¬«      }d|j                  _        | j!                  |j                  j"                  d   |j"                  j$                  «       | j!                  |j                  j"                  d   |j"                  j&                  «       | j)                  |j                  j*                  |j"                  j,                  «       | j/                  |j                  j0                  |j"                  j2                  «       | j5                  |j6                  |j8                  j:                  «       t=        |j                  j>                  |j                  j>                  «      D �]/  \  }}tA        d	«      D �cg c]  }t        jB                  «       ‘Œ }}| j5                  |d   |jD                  jF                  jH                  «       | j5                  |d   |jD                  jF                  jJ                  «       | j5                  |d   |jD                  jF                  jL                  «       tO        jP                  |jR                  jT                  d   |«       | j5                  |jR                  jT                  d   |jD                  jV                  j:                  «       | j/                  |jR                  jX                  |jD                  jV                  j2                  «       | j5                  |jZ                  j\                  |j^                  j:                  «       | j5                  |jZ                  j`                  |jV                  j:                  «       | j/                  |jZ                  jX                  |jV                  j2                  «       �Œ2 |S c c}w ©
NÚabsoluteFTrn   )rñ  rò  ró  Únum_source_embeddingsÚembeddings_merge)Úpooling_layerÚpooling_activationr   r¾   r-  )1rN   Úposition_embedding_typer   rC  rx  ry  rû  rò  r	   ÚEmbeddingsMergeÚADDrD  rì  ÚTanhrþ  r7  râ   r:  rò  Útoken_type_embeddingsrè   r8  rE  rÓ   ró  rF  rà   Úpooler_denseÚpoolerr  rl  r  r„  r,  r)  r<   ÚqueryrÁ   r©  r   r-  r  r   r]   r  r   r!  Úintermediater#  rO  s           r&   r´   zBertLoader.get_model_specH  s+  € Ø�|‰|×3Ñ3°zÒAÐAÐAä'×>Ñ>Ø�L‰L×*Ñ*Ø�L‰L×,Ñ,ØÜ-¨e¯l©l×.EÑ.EÑFØ $Ø"#Ü(×8Ñ8×<Ñ<ô
ˆô  ×;Ñ;ØØÜ*×5Ñ5×:Ñ:ô
ˆð ).ˆ�‰Ô%à×ÑØ�L‰L×#Ñ# AÑ&¨×(8Ñ(8×(HÑ(Hô	
ð 	×ÑØ�L‰L×#Ñ# AÑ&¨×(8Ñ(8×(NÑ(Nô	
ð 	×#Ñ#Ø�L‰L×+Ñ+¨U×-=Ñ-=×-QÑ-Qô	
ð 	×ÑØ�L‰L×,Ñ,¨e×.>Ñ.>×.HÑ.Hô	
ð 	�‰˜×)Ñ)¨5¯<©<×+=Ñ+=Ô>ä!$ T§\¡\×%7Ñ%7¸¿¹×9LÑ9LÓ!Mó 	SÑˆJ˜Ü>CÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-GÑ-GÔHØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-EÑ-EÔFØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-GÑ-GÔHÜ×Ñ˜j×7Ñ7×>Ñ>¸qÑAÀ<ÔPà�O‰OØ×)Ñ)×0Ñ0°Ñ3°U·_±_×5KÑ5K×5QÑ5Qôð ×ÑØ×)Ñ)×4Ñ4°e·o±o×6LÑ6L×6VÑ6Vôð �O‰O˜JŸN™N×3Ñ3°U×5GÑ5G×5MÑ5MÔNØ�O‰O˜JŸN™N×3Ñ3°U·\±\×5GÑ5GÔHØ×Ñ 
§¡× 9Ñ 9¸5¿<¹<×;QÑ;QÖRð!	Sð$ ˆùò# Hs   È:Qc                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zBertLoader.get_vocabulary€  rŸ  r(   c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zBertLoader.set_vocabulary‰  r‚  r(   c                 ó\   — |j                   |_         |j                  j                  |_        y r"   ©r  rN   Úlayer_norm_epsr$  rÊ   s       r&   r¶   zBertLoader.set_configŒ  ó"   € Ø$×.Ñ.ˆÔØ$)§L¡L×$?Ñ$?ˆÕ!r(   )
rƒ   r¦   r§   rø   r‡   r´   r·   r¸   r¶   rª   r«   s   @r&   rU  rU  B  s+   ø„ àñó ðò6ôpò)ö@r(   rU  ÚXLMRobertaConfigc                   ó4   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zy)ÚXLMRobertaLoaderc                  ó   — y)NÚ#XLMRobertaForSequenceClassificationr)   r¯   s    r&   r‡   z"XLMRobertaLoader.architecture_name“  s   € à4r(   c           	      ór	  — |j                   j                  dk(  sJ ‚t        j                  |j                   j                  |j                   j
                  dt        |j                   j                     ddt        j                  j                  ¬«      }|j                  j                  €d}nd}t        j                  ||t        j                  j                  ¬«      }d|j                   _        | j%                  |j                   j&                  d   |j                  j&                  j(                  «       | j%                  |j                   j&                  d   |j                  j&                  j*                  «       | j-                  |j                   j.                  |j                  j&                  j0                  «       | j3                  |j                   j4                  |j                  j&                  j6                  «       |r:| j9                  |j:                  |j                  j                  j<                  «       t?        |j                   j@                  |j                  j                   j@                  «      D �]/  \  }}tC        d	«      D �cg c]  }t        jD                  «       ‘Œ }}| j9                  |d   |jF                  jH                  jJ                  «       | j9                  |d   |jF                  jH                  jL                  «       | j9                  |d   |jF                  jH                  jN                  «       tQ        jR                  |jT                  jV                  d   |«       | j9                  |jT                  jV                  d   |jF                  jX                  j<                  «       | j3                  |jT                  jZ                  |jF                  jX                  j6                  «       | j9                  |j\                  j^                  |j`                  j<                  «       | j9                  |j\                  jb                  |jX                  j<                  «       | j3                  |j\                  jZ                  |jX                  j6                  «       �Œ2 |S c c}w rY  )2rN   r_  r   rC  rx  ry  rû  rò  r	   r`  ra  Úrobertare  rD  rì  rb  rþ  r7  râ   r:  rò  rc  rè   r8  rE  rÓ   ró  rF  rà   rd  r  rl  r  r„  r,  r)  r<   rf  rÁ   r©  r   r-  r  r   r]   r  r   r!  rg  r#  ©	r<   r–   rP  r]  r‘   r&  r  rÅ   r0  s	            r&   r´   zXLMRobertaLoader.get_model_spec—  se  € Ø�|‰|×3Ñ3°zÒAÐAÐAä'×>Ñ>Ø�L‰L×*Ñ*Ø�L‰L×,Ñ,ØÜ-¨e¯l©l×.EÑ.EÑFØ $Ø"#Ü(×8Ñ8×<Ñ<ô
ˆð �=‰=×ÑÐ'Ø!‰Mà ˆMä×;Ñ;ØØ'Ü*×5Ñ5×:Ñ:ô
ˆð ).ˆ�‰Ô%à×ÑØ�L‰L×#Ñ# AÑ&¨¯©×(@Ñ(@×(PÑ(Pô	
ð 	×ÑØ�L‰L×#Ñ# AÑ&¨¯©×(@Ñ(@×(VÑ(Vô	
ð 	×#Ñ#Ø�L‰L×+Ñ+Ø�M‰M×$Ñ$×8Ñ8ô	
ð 	×ÑØ�L‰L×,Ñ,¨e¯m©m×.FÑ.F×.PÑ.Pô	
ñ Ø�O‰O˜D×-Ñ-¨u¯}©}×/CÑ/C×/IÑ/IÔJä!$ T§\¡\×%7Ñ%7¸¿¹×9NÑ9N×9TÑ9TÓ!Uó 	SÑˆJ˜Ü>CÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-GÑ-GÔHØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-EÑ-EÔFØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-GÑ-GÔHÜ×Ñ˜j×7Ñ7×>Ñ>¸qÑAÀ<ÔPà�O‰OØ×)Ñ)×0Ñ0°Ñ3°U·_±_×5KÑ5K×5QÑ5Qôð ×ÑØ×)Ñ)×4Ñ4°e·o±o×6LÑ6L×6VÑ6Vôð �O‰O˜JŸN™N×3Ñ3°U×5GÑ5G×5MÑ5MÔNØ�O‰O˜JŸN™N×3Ñ3°U·\±\×5GÑ5GÔHØ×Ñ 
§¡× 9Ñ 9¸5¿<¹<×;QÑ;QÖRð!	Sð$ ˆùò# Hs   ÊR4c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zXLMRobertaLoader.set_vocabularyÕ  r‚  r(   c                 ó\   — |j                   |_         |j                  j                  |_        y r"   rk  rÊ   s       r&   r¶   zXLMRobertaLoader.set_configØ  rm  r(   c                 óz   — |j                   |_        t        |dd«      }|dkD  r|j                  |dz   d  |_        y y ©NÚpadding_idxr   r¾   rå   rç   s       r&   rè   z'XLMRobertaLoader.set_position_encodingsÜ  ó=   € ØŸ™ˆŒÜ˜ °Ó2ˆØ�AŠ:Ø!Ÿ^™^¨F°Q©J¨LÐ9ˆD�Nð r(   N©	rƒ   r¦   r§   rø   r‡   r´   r¸   r¶   rè   r)   r(   r&   rp  rp  ‘  s*   „ àñ5ó ð5ò<ò|)ò@ó:r(   rp  ÚRobertaConfigc                   ó4   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zy)ÚRobertaLoaderc                  ó   — y)NÚRobertaModelr)   r¯   s    r&   r‡   zRobertaLoader.architecture_nameå  s   € àr(   c           	      óæ  — |j                   j                  dk(  sJ ‚t        j                  |j                   j                  |j                   j
                  dt        |j                   j                     ddt        j                  j                  ¬«      }|j                  €d}nd}t        j                  ||t        j                  j                  ¬«      }d|j                  _        | j#                  |j                  j$                  d   |j$                  j&                  «       | j#                  |j                  j$                  d   |j$                  j(                  «       | j+                  |j                  j,                  |j$                  j.                  «       | j1                  |j                  j2                  |j$                  j4                  «       |r0| j7                  |j8                  |j                  j:                  «       t=        |j                  j>                  |j                  j>                  «      D �]/  \  }}tA        d	«      D �cg c]  }t        jB                  «       ‘Œ }}| j7                  |d   |jD                  jF                  jH                  «       | j7                  |d   |jD                  jF                  jJ                  «       | j7                  |d   |jD                  jF                  jL                  «       tO        jP                  |jR                  jT                  d   |«       | j7                  |jR                  jT                  d   |jD                  jV                  j:                  «       | j1                  |jR                  jX                  |jD                  jV                  j4                  «       | j7                  |jZ                  j\                  |j^                  j:                  «       | j7                  |jZ                  j`                  |jV                  j:                  «       | j1                  |jZ                  jX                  |jV                  j4                  «       �Œ2 |S c c}w rY  ©1rN   r_  r   rC  rx  ry  rû  rò  r	   r`  ra  re  rD  rì  rb  rþ  r7  râ   r:  rò  rc  rè   r8  rE  rÓ   ró  rF  rà   rd  r  rl  r  r„  r,  r)  r<   rf  rÁ   r©  r   r-  r  r   r]   r  r   r!  rg  r#  ru  s	            r&   r´   zRobertaLoader.get_model_specé  óC  € Ø�|‰|×3Ñ3°zÒAÐAÐAä'×>Ñ>Ø�L‰L×*Ñ*Ø�L‰L×,Ñ,ØÜ-¨e¯l©l×.EÑ.EÑFØ $Ø"#Ü(×8Ñ8×<Ñ<ô
ˆð �<‰<ÐØ!‰Mà ˆMä×;Ñ;ØØ'Ü*×5Ñ5×:Ñ:ô
ˆð ).ˆ�‰Ô%à×ÑØ�L‰L×#Ñ# AÑ&¨×(8Ñ(8×(HÑ(Hô	
ð 	×ÑØ�L‰L×#Ñ# AÑ&¨×(8Ñ(8×(NÑ(Nô	
ð 	×#Ñ#Ø�L‰L×+Ñ+Ø×Ñ×0Ñ0ô	
ð 	×ÑØ�L‰L×,Ñ,¨e×.>Ñ.>×.HÑ.Hô	
ñ Ø�O‰O˜D×-Ñ-¨u¯|©|×/AÑ/AÔBä!$ T§\¡\×%7Ñ%7¸¿¹×9LÑ9LÓ!Mó 	SÑˆJ˜Ü>CÀA»hÖG¸œK×2Ñ2Õ4ÐGˆLÐGØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-GÑ-GÔHØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-EÑ-EÔFØ�O‰O˜L¨™O¨U¯_©_×-AÑ-A×-GÑ-GÔHÜ×Ñ˜j×7Ñ7×>Ñ>¸qÑAÀ<ÔPà�O‰OØ×)Ñ)×0Ñ0°Ñ3°U·_±_×5KÑ5K×5QÑ5Qôð ×ÑØ×)Ñ)×4Ñ4°e·o±o×6LÑ6L×6VÑ6Vôð �O‰O˜JŸN™N×3Ñ3°U×5GÑ5G×5MÑ5MÔNØ�O‰O˜JŸN™N×3Ñ3°U·\±\×5GÑ5GÔHØ×Ñ 
§¡× 9Ñ 9¸5¿<¹<×;QÑ;QÖRð!	Sð$ ˆùò# Hó   ÉQ.c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zRobertaLoader.set_vocabulary'  r‚  r(   c                 ó\   — |j                   |_         |j                  j                  |_        y r"   rk  rÊ   s       r&   r¶   zRobertaLoader.set_config*  rm  r(   c                 óz   — |j                   |_        t        |dd«      }|dkD  r|j                  |dz   d  |_        y y ry  rå   rç   s       r&   rè   z$RobertaLoader.set_position_encodings.  r{  r(   Nr|  r)   r(   r&   r  r  ã  s*   „ àñó ðò<ò|)ò@ó:r(   r  ÚCamembertConfigc                   ó4   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zy)ÚCamembertLoaderc                  ó   — y)NÚCamembertModelr)   r¯   s    r&   r‡   z!CamembertLoader.architecture_name7  rt  r(   c           	      óæ  — |j                   j                  dk(  sJ ‚t        j                  |j                   j                  |j                   j
                  dt        |j                   j                     ddt        j                  j                  ¬«      }|j                  €d}nd}t        j                  ||t        j                  j                  ¬«      }d|j                  _        | j#                  |j                  j$                  d   |j$                  j&                  «       | j#                  |j                  j$                  d   |j$                  j(                  «       | j+                  |j                  j,                  |j$                  j.                  «       | j1                  |j                  j2                  |j$                  j4                  «       |r0| j7                  |j8                  |j                  j:                  «       t=        |j                  j>                  |j                  j>                  «      D �]/  \  }}tA        d	«      D �cg c]  }t        jB                  «       ‘Œ }}| j7                  |d   |jD                  jF                  jH                  «       | j7                  |d   |jD                  jF                  jJ                  «       | j7                  |d   |jD                  jF                  jL                  «       tO        jP                  |jR                  jT                  d   |«       | j7                  |jR                  jT                  d   |jD                  jV                  j:                  «       | j1                  |jR                  jX                  |jD                  jV                  j4                  «       | j7                  |jZ                  j\                  |j^                  j:                  «       | j7                  |jZ                  j`                  |jV                  j:                  «       | j1                  |jZ                  jX                  |jV                  j4                  «       �Œ2 |S c c}w rY  rƒ  ru  s	            r&   r´   zCamembertLoader.get_model_spec;  r„  r…  c                 ó&   — |j                  |«       y r"   r€  rÇ   s      r&   r¸   zCamembertLoader.set_vocabularyy  r‚  r(   c                 ó\   — |j                   |_         |j                  j                  |_        y r"   rk  rÊ   s       r&   r¶   zCamembertLoader.set_config|  rm  r(   c                 óz   — |j                   |_        t        |dd«      }|dkD  r|j                  |dz   d  |_        y y ry  rå   rç   s       r&   rè   z&CamembertLoader.set_position_encodings€  r{  r(   Nr|  r)   r(   r&   r‹  r‹  5  s*   „ àñ ó ð ò<ò|)ò@ó:r(   r‹  c            
      ó˜  — t        j                  t         j                  ¬«      } | j                  ddd¬«       | j                  dd¬«       | j                  d	d
d¬«       | j                  dd¬«       | j                  ddd¬«       | j                  ddd¬«       t	        j
                  | «       | j                  ddd¬«       | j                  dt        d¬«       | j                  «       }t        |j                  |j                  |j                  |j                  dv |j                  |j                  |j                  ¬«      }|j                   s|j"                  r!|j%                  «       €| j'                  d«       |j                   r�|j(                  r| j'                  d«       |j+                  |j                  «      }t-        t/        j0                  |j3                  «       D ��ci c]  \  }}|dk7  sŒ||“Œ c}}d¬ «      «       n|j5                  |«       |j"                  r|j7                  |j"                  «       y y c c}}w )!N)Úformatter_classz--modelTzaName of the pretrained model to download, or path to a directory containing the pretrained model.)ÚrequiredÚhelpz--activation_scaleszÕPath to the pre-computed activation scales. Models may use them to rescale some weights to smooth the intermediate activations and improve the quantization accuracy. See https://github.com/mit-han-lab/smoothquant.)r•  z--copy_filesú+zWList of filenames to copy from the Hugging Face model to the converted model directory.)Únargsr•  z
--revisionz<Revision of the model to download from the Hugging Face Hub.z--low_cpu_mem_usageÚ
store_truezNEnable the flag low_cpu_mem_usage when loading the model with from_pretrained.)Úactionr•  z--trust_remote_codez*Allow converting models using custom code.z	--dry-runz9Audit a local Drama 3 checkpoint without loading weights.z--reportz*Write a Drama 3 conversion report as JSON.)rì   r•  )rŠ   Úint8_float16)r.   r/   r0   r1   r2   r3   z9--dry-run and --report require a local Drama 3 checkpointrY   rÄ  rn   ro   )ÚargparseÚArgumentParserÚArgumentDefaultsHelpFormatterÚadd_argumentr   Údeclare_argumentsr   Ú
parse_argsr,   r–   r.   r/   rR   r1   r2   r3   rÃ  ÚreportrO   ÚerrorÚvocab_mappingrW   r¥  rG   rs   rÃ   Úconvert_from_argsrj   )ÚparserÚargsÚ	converterr¡  rÁ   r©  s         r&   Úmainr¨  ‡  s>  € Ü×$Ñ$Ü ×>Ñ>ô€Fð ×ÑØØðFð	 ô ð ×ÑØð:ð ô ð ×ÑØØðð	 ô ð ×ÑØØKð ô ð ×ÑØØØ]ð ô ð
 ×ÑØØØ9ð ô ô ×Ñ Ô'Ø
×ÑØØØHð ô ð
 ×ÑØœÐ$Pð ô ð ×ÑÓ€DÜ%Ø�
‰
Ø×0Ñ0Ø—?‘?Ø×)Ñ)Ð-HÐHØ—‘Ø×0Ñ0Ø×0Ñ0ô€Ið ‡|‚|�t—{’{Ø×%Ñ%Ó'Ð/Ø�L‰LÐTÔUØ‡|‚|Ø×ÒØ�L‰LÐFÔGØ×"Ñ" 4×#4Ñ#4Ó5ˆÜÜ�J‰JØ.4¯l©l«n×R¡
  UÀÀzÓ@Q��e‘ÓRØôõ	
ð 	×#Ñ# DÔ)Ø‡{‚{Ø×Ñ˜tŸ{™{Õ+ð ùó Ss   Ç*IÇ8IÚ__main__))r¾   r   )rn   r   )rn   é   ©r-  r   ©r-  r¾   ©r-  rn   ©r-  r-  ©r-  r²  ))rn   rn   r«  r­  r®  r¯  )r-  rª  )r®  ©r²  é   ©rª  r¾   )rª  rª  )rª  r±  )r¬  )r²  rn   )r²  r-  r°  r²  )rª  rn   )rª  r²  )rª  r©  ))r©  r©  ©r±  r   )r±  r-  )r±  r‹  )r‹  rn   )r‹  rª  ©r‹  r±  ©é	   r   )r¶  r²  )r¶  r‹  )r¶  é
   )r·  r   )r·  r¾   )r·  rn   )r·  r-  )r·  r©  )r·  é   ©r¸  rn   ©r¸  r²  )
)rª  r-  )rª  r¶  )r‹  r   )r‹  r²  r´  )r‹  r‹  rµ  )r¶  r±  )r¶  r¶  )r·  rª  )rº  )é   r¾   )r»  é   )r»  r»  ©é   r²  )é   r   )r¿  r²  )r¿  r¶  )é   r¼  ©rÀ  r»  )é   r±  )rÂ  r·  )rÂ  r¾  ©é   r   )rÄ  r-  )rÄ  r¶  )rÄ  r»  )é   r¼  ))é   r¾  r½  )r¾  r¾  ©r¿  r¾   rÃ  )é   r²  )	)r¶  é   r¹  rº  )r¸  rÀ  )é   r±  )rÊ  r¸  )rÊ  rÀ  )rÈ  rn   )rÈ  r¾  ))r·  r¼  )rÆ  rÀ  )r¿  r¸  )r¿  r¼  )r¿  rÆ  )rÀ  r¾  )rÀ  r¿  )rÂ  r²  )rÂ  r¸  )rÂ  rÉ  ©rÉ  r¸  )rÅ  rn   )rÅ  r-  )rÊ  r-  )rÊ  r¶  )rÊ  r¼  )rÈ  rª  )rÈ  r±  )rÈ  rÆ  )é   rª  )é   r¾   )rÍ  r¼  )é   r¾  )
r³  )r·  rÀ  )r¼  rÂ  )rÆ  r¼  rÇ  rÁ  rË  )rÅ  r²  )é   r¾   )rÌ  r©  )zopenai/whisper-tiny.enzopenai/whisper-tinyzopenai/whisper-base.enzopenai/whisper-basezopenai/whisper-small.enzopenai/whisper-smallzopenai/whisper-medium.enzopenai/whisper-mediumzopenai/whisper-largezopenai/whisper-large-v2zopenai/whisper-large-v3ÚT5GemmaConfigc                   ó˜   — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Ze	j                  j                  fd„Ze	j                  j                  fd„Zy)	ÚT5GemmaLoaderc                  ó   — y)NÚT5GemmaForConditionalGenerationr)   r¯   s    r&   r‡   zT5GemmaLoader.architecture_namec  rl  r(   c                 ó\   — |j                   j                  dz   j                  «       |_        y ©Nr3  ©rÍ   rY  rZ  rÎ   rÕ  s      r&   rÓ   zT5GemmaLoader.set_layer_normg  ó#   € Ø ×'Ñ'×,Ñ,¨sÑ2×9Ñ9Ó;ˆ�
r(   c                 óR  — |j                   j                  }|j                   j                  }t        |j                   dd«      }|j                  }t        |d|«      }||k(  rd }t        j                  |j                  |j                  dt        |j                     dd|j                  dt        |dd«      |d||j                  ¬«      }|j                  }t        |d|«      }	|	|k(  rd }	t        j                  |j                  |j                  dt        |j                     ddd|j                  dt        |dd«      |dd|	|j                  ¬	«      }
t        j                  ||
«      }| j                  |j                  |j                  j                  |«       | j                  |j                  |j                  j                  |t         j"                  j$                  «       | j'                  |j                  j(                  |j                  j                  j*                  «       |S )
Nr|  i   r  TFrò   r  )rñ  rò  r®  r°  rÄ  rÅ  r  r|  r>  r  rC  )rñ  rò  r®  r°  Úwith_encoder_attentionrÄ  rÅ  r  r|  r>  Ú external_pre_post_encoder_layersr  rC  )rN   rþ  r   r}   ry  r   rC  rx  rû  r  rC  ÚTransformerDecoderSpecrõ  rý  r–   rÿ  r	   rÕ   rÖ   rà   r  r;  )r<   r–   Úencoder_configÚdecoder_configr|  Úencoder_num_headsÚencoder_num_heads_kvrþ  Údecoder_num_headsÚdecoder_num_heads_kvr   r‘   s               r&   r´   zT5GemmaLoader.get_model_specj  sú  € ØŸ™×-Ñ-ˆØŸ™×-Ñ-ˆÜ  §¡Ð/?ÀÓFˆà*×>Ñ>ÐÜ&ØÐ1Ð3Dó 
Ðð  Ð#4Ò4Ø#'Ð ä"×9Ñ9Ø×,Ñ,Ø×.Ñ.ØÜ-¨n×.NÑ.NÑOØØØ%×.Ñ.Ø#Ü °¸eÓDØ)Ø $Ø-Ø#×,Ñ,ô
ˆð  +×>Ñ>ÐÜ&ØÐ1Ð3Dó 
Ðð  Ð#4Ò4Ø#'Ð ä"×9Ñ9Ø×,Ñ,Ø×.Ñ.ØÜ-¨n×.NÑ.NÑOØØØ#'Ø%×.Ñ.Ø#Ü °¸eÓDØ)Ø $Ø-1Ø-Ø#×,Ñ,ô
ˆô$  ×/Ñ/°¸ÓAˆà×Ñ˜Ÿ™ u§{¡{×':Ñ':¸NÔKà×ÑØ�L‰LØ�K‰K×ÑØÜ×$Ñ$×(Ñ(ô		
ð 	�‰˜Ÿ™×/Ñ/°·±×1DÑ1D×1QÑ1QÔRØˆr(   c                 óH   — |j                  |«       |j                  |«       y r"   r
  rÇ   s      r&   r¸   zT5GemmaLoader.set_vocabulary®  r  r(   c                 óv  — |j                   |_         |j                  |_        |j                  |_        t        |j                  d«      r&|j                  j
                  j                  |_        n9t        |j                  d«      r|j                  j                  |_        nd|_        |j                   |_        y )Nrþ  r#  g�íµ ÷Æ°>)	r  r  r  rˆ   rN   rþ  r#  r$  r  rÊ   s       r&   r¶   zT5GemmaLoader.set_config²  sˆ   € Ø$×.Ñ.ˆÔØ$×.Ñ.ˆÔØ$×.Ñ.ˆÔä�5—<‘< Ô+Ø(-¯©×(<Ñ(<×(IÑ(IˆFÕ%Ü�U—\‘\ >Ô2Ø(-¯©×(AÑ(AˆFÕ%à(,ˆFÔ%à%.×%8Ñ%8ˆÕ"r(   c                 óÀ  — d|_         t        |j                  t        «      r|j                  d   n|j                  }| j	                  ||j
                  «       |j                  dz  |_        | j                  |j                  |j                  «       |}t        t        |j                  |j                  «      «      D �]˜  \  }\  }}	| j                  |j                  |	j                   «       | j                  |j"                  |	j$                  «       t'        d«      D �
cg c]  }
t)        j*                  «       ‘Œ }}
| j-                  |d   |	j.                  j0                  |¬«       | j-                  |d   |	j.                  j2                  |¬«       | j-                  |d   |	j.                  j4                  |¬«       t7        j8                  |j:                  j<                  d   |«       | j-                  |j:                  j<                  d   |	j.                  j>                  |¬«       | j                  |j@                  |	jB                  «       | j                  |jD                  |	jF                  «       | j-                  |jH                  jJ                  |	jL                  jN                  |¬«       | j-                  |jH                  jP                  |	jL                  jR                  |¬«       | j-                  |jH                  jT                  |	jL                  jV                  |¬«       tY        |	d«       tY        |	d	«       t[        j\                  «        �Œ› y c c}
w )
NTr   r  r-  rf  r¾   rn   r  r­  )/r7  rÜ   r:  rg  râ   r;  r|  r  rÓ   r  r,  rŸ  rl  r  r  rû  Úpre_self_attn_layernormrþ  Úpost_self_attn_layernormr„  r	   r,  rà   r  rY  rZ  r[  r   r-  r  r   r-  rD  rE  rF  rG  r   r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  )r<   r‘   rþ  rÝ  rß   Úencoder_emb_specrÒ   r^  r&  r  rÅ   Úqkv_split_layerss               r&   rý  zT5GemmaLoader.set_encoderÀ  sÒ  € ð !%ˆÔô #-¨T¯_©_¼dÔ"CˆD�O‰O˜AÒÈÏÉð 	ð 	×ÑÐ,¨g×.BÑ.BÔCØ2@×2LÑ2LÈcÑ2QÐÔ/Ø×Ñ˜DŸO™O¨W¯\©\Ô:àˆÜ&/´°D·J±JÀÇÁÓ0NÓ&Oó 1	Ñ"ˆAÑ"�
˜EØ×ÑØ×+Ñ+¨U×-JÑ-Jôð ×ÑØ×4Ñ4°e×6TÑ6Tôô
 CHÈÃ(ÖK¸Q¤× 6Ñ 6Õ 8ÐKÐÐKØ�O‰OØ  Ñ# U§_¡_×%;Ñ%;È
ð ô ð �O‰OØ  Ñ# U§_¡_×%;Ñ%;È
ð ô ð �O‰OØ  Ñ# U§_¡_×%;Ñ%;È
ð ô ô ×Ñ˜j×7Ñ7×>Ñ>¸qÑAÐCSÔTØ�O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð ×ÑØ×5Ñ5°u×7VÑ7Vôð ×ÑØ×6Ñ6¸×8XÑ8Xôð
 �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô
 �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñc1	ùò  Ls   Ä!Mc                 ó˜	  — d|_         d|_        | j                  |j                  |j                  «       |j
                  dz  |j                  _        | j                  |j                  |j                  «       t        t        |j                  |j                  «      «      D �]  \  }\  }}| j                  |j                  |j                  «       | j                  |j                   |j"                  «       t%        d«      D �cg c]  }t'        j(                  «       ‘Œ }	}| j+                  |	d   |j,                  j.                  |¬«       | j+                  |	d   |j,                  j0                  |¬«       | j+                  |	d   |j,                  j2                  |¬«       t5        j6                  |j8                  j:                  d   |	«       | j+                  |j8                  j:                  d   |j,                  j<                  |¬«       | j                  |j>                  |j@                  «       | j                  |jB                  |jD                  «       | j+                  |jF                  j:                  d   |jH                  j.                  |¬«       t%        d«      D �cg c]  }t'        j(                  «       ‘Œ }
}| j+                  |
d   |jH                  j0                  |¬«       | j+                  |
d   |jH                  j2                  |¬«       t5        j6                  |jF                  j:                  d   |
«       | j+                  |jF                  j:                  d   |jH                  j<                  |¬«       | j                  |jJ                  |jL                  «       | j                  |jN                  |jP                  «       | j+                  |jR                  jT                  |jV                  jX                  |¬«       | j+                  |jR                  jZ                  |jV                  j\                  |¬«       | j+                  |jR                  j^                  |jV                  j`                  |¬«       tc        |d	«       tc        |d
«       tc        |d«       te        jf                  «        �Œ y c c}w c c}w )NTFr  r-  r   rf  r¾   rn   r  Ú
cross_attnr­  )4r7  rH  râ   r:  r;  r|  r  rÓ   r  r,  rŸ  rl  r  r  rû  ræ  rþ  rç  r„  r	   r,  rà   r  rY  rZ  r[  r   r-  r  r   r-  Ú)external_pre_encoder_attention_layer_normÚpre_cross_attn_layernormÚ*external_post_encoder_attention_layer_normÚpost_cross_attn_layernormr)  rë  rD  rE  rF  rG  r   r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  )r<   r‘   rÒ   rÞ  rß   r^  r&  r  rÅ   ré  Úkv_split_layerss              r&   rÿ  zT5GemmaLoader.set_decoder  s  € ð !%ˆÔØ).ˆÔ&à×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ1?×1KÑ1KÈSÑ1Pˆ�‰Ô.Ø×Ñ˜DŸO™O¨V¯[©[Ô9ä&/´°D·J±JÀÇÁÓ0NÓ&Oó Y	Ñ"ˆAÑ"�
˜Eà×ÑØ×+Ñ+¨U×-JÑ-Jôð ×ÑØ×4Ñ4°e×6TÑ6Tôô
 CHÈÃ(ÖK¸Q¤× 6Ñ 6Õ 8ÐKÐÐKØ�O‰OØ  Ñ# U§_¡_×%;Ñ%;È
ð ô ð �O‰OØ  Ñ# U§_¡_×%;Ñ%;È
ð ô ð �O‰OØ  Ñ# U§_¡_×%;Ñ%;È
ð ô ô ×Ñ˜j×7Ñ7×>Ñ>¸qÑAÐCSÔTØ�O‰OØ×)Ñ)×0Ñ0°Ñ3Ø—‘×&Ñ&Ø%ð ô ð ×ÑØ×DÑDØ×.Ñ.ôð
 ×ÑØ×EÑEØ×/Ñ/ôð �O‰OØ×$Ñ$×+Ñ+¨AÑ.Ø× Ñ ×'Ñ'Ø%ð ô ô BGÀqÃÖJ¸Aœ{×5Ñ5Õ7ÐJˆOÐJØ�O‰OØ Ñ"Ø× Ñ ×'Ñ'Ø%ð ô ð
 �O‰OØ Ñ"Ø× Ñ ×'Ñ'Ø%ð ô ô
 ×Ñ˜j×2Ñ2×9Ñ9¸!Ñ<¸oÔNð �O‰OØ×$Ñ$×+Ñ+¨AÑ.Ø× Ñ ×'Ñ'Ø%ð ô ð ×ÑØ×5Ñ5°u×7VÑ7Vôð ×ÑØ×6Ñ6¸×8XÑ8Xôð
 �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô
 �E˜;Ô'Ü�E˜<Ô(Ü�E˜5Ô!Ü�J‰JŽLñsY	ùò  LùòH Ks   ÄSÊ'SN)rƒ   r¦   r§   rø   r‡   rÓ   r´   r¸   r¶   r	   rÕ   rÖ   rý  rÿ  r)   r(   r&   rÒ  rÒ  a  sZ   „ àñ1ó ð1ò<òBòH0ò9ð 9D×8PÑ8P×8TÑ8Tó?ðD 8C×7OÑ7O×7SÑ7Sôcr(   rÒ  ÚT5Gemma2Configc                   ó¼   ‡ — e Zd Zed„ «       Zd„ Zd„ Zd„ Zd„ Zˆ fd„Z	d„ Z
d„ Zej                  j                  fd	„Zej                  j                  fd
„Zd„ Zˆ xZS )ÚT5Gemma2Loaderc                  ó   — y)NÚ T5Gemma2ForConditionalGenerationr)   r¯   s    r&   r‡   z T5Gemma2Loader.architecture_namei  s   € à1r(   c           
      óÄ  — |j                   }t        |d|«      }||k(  rd }|j                  }t        |di «      xs i }|j                  di «      j                  dt        |dd«      «      }t	        di d|j
                  “d|“dd	“d
t        |j                     “dd	“dd	“d|“dd“dt        j                  j                  “dd“d|“dt        |dd«      “d|“d|“dd	“dd	“ŽS )Nr  r§  r  rò   rz  r#  rÏ  rñ  Trò  r®  r°  rÄ  rÅ  Frõ   rö   r¾   r  r|  r   r  rC  r‚  r>  r)   )ry  r}   rC  rI   r  rx  rû  r  r   r[  ÚLinear)r<   Úside_configrÏ  r  rC  r°  Úglobal_thetas          r&   Ú_side_kwargszT5Gemma2Loader._side_kwargsm  sD  € Ø×3Ñ3ˆ	Ü˜{Ð,AÀ9ÓMˆØ˜9Ò$ØˆLØ×'Ñ'ˆÜ˜kÐ+<¸bÓAÒGÀRˆØ"—‘Ð'7¸Ó<×@Ñ@Øœ' +¨|¸YÓGó
ˆô ò 
Ø"×4Ò4ð
áð
ñ ð
ô .¨k×.KÑ.KÒLð	
ñ
 ð
ñ ð
ñ  ð
ñ $ð
ô !/× @Ñ @× GÒ Gð
ñ #$ð
ñ %ð
ô # ;Ð0@À!ÔDð
ñ &ð
ñ ð
ñ ð
ñ  !%ð!
ð 	
r(   c                 óF  — t        |dd «      }|sy t        |di «      xs i }|j                  di «      j                  dd«      }|j                  di «      j                  dd«      }t        |dd	«      }|j                  di «      }|j                  d
d«      }	|j                  dd«      }
t        ||«      D ]ê  \  }}|j                  }|dk(  r‚t	        j
                  d«      j                  |«      |_        t	        j
                  d«      j                  d	«      |_        |	dk(  sŒot	        j
                  d«      j                  |
«      |_	        Œ™t	        j
                  d«      j                  |«      |_        t	        j
                  d«      j                  |«      |_        Œì y )Nr}  r§  r  rò   rz  r€  r  r|  r   rí   rî   rñ   r3  rZ   rp  r   )
r}   rI   rl  r  r†  ry   rì   r  r|  rö   )r<   rø  r‘  r}  r°  rù  Úlocal_thetar|  Úfull_attn_paramsÚfull_rope_typeÚfull_rope_factorr†  r&  r©  s                 r&   Ú_apply_layer_typesz!T5Gemma2Loader._apply_layer_typesŠ  s|  € Ü˜k¨=¸$Ó?ˆÙØÜ˜kÐ+<¸bÓAÒGÀRˆØ"—‘Ð'7¸Ó<×@Ñ@Ø˜)ó
ˆð "—o‘oÐ&9¸2Ó>×BÑBÀ<ÐQWÓXˆÜ  Ð.>ÀÓBˆØ&Ÿ?™?Ð+;¸RÓ@ÐØ)×-Ñ-¨k¸9ÓEˆØ+×/Ñ/°¸#Ó>ÐÜ&)¨+°{Ó&Cò 	MÑ"ˆJ˜
Ø×,Ñ,ˆDØÐ-Ò-Ü#%§8¡8¨IÓ#6×#;Ñ#;¸LÓ#I�Ô Ü&(§h¡h¨wÓ&7×&<Ñ&<¸QÓ&?�Ô#Ø! XÓ-Ü13·±¸)Ó1D×1IÑ1IØ(ó2�DÕ.ô $&§8¡8¨IÓ#6×#;Ñ#;¸KÓ#H�Ô Ü&(§h¡h¨wÓ&7×&<Ñ&<¸^Ó&L�Õ#ñ	Mr(   c                 ó¼  — |j                   j                  j                  }|j                   j                  }t	        j
                  di | j                  |«      ¤Ž}t	        j                  di | j                  |«      ¤dddœ¤Ž}t	        j                  ||«      }| j                  |j                  |j                  j                  j                  «       | j                  ||j                  j                  «       | j                  |j                  |j                  j                  «       | j                  ||j                  j                  «       t        |j                   d«      r2| j#                  |j                  j$                  |j                   «       |S | j#                  |j                  j$                  |j                  j                  j&                  «       |S )NT)rÚ  Úmerged_encoder_attentionrÍ   r)   )rN   rþ  ry  r   r   rC  rú  rÜ  rõ  rý  r–   r‡  r   r  rÿ  rˆ   r  rà   r  r;  )r<   r–   rÝ  rÞ  rþ  r   r‘   s          r&   r´   zT5Gemma2Loader.get_model_spec¤  sc  € ØŸ™×-Ñ-×9Ñ9ˆØŸ™×-Ñ-ˆä"×9Ñ9ñ 
Ø×Ñ Ó/ñ
ˆô #×9Ñ9ñ 
Ø×Ñ Ó/ð
à#'Ø%)ó
ˆô
  ×/Ñ/°¸ÓAˆà×Ñ˜Ÿ™ u§{¡{×':Ñ':×'EÑ'EÔFØ×Ñ °·±×0BÑ0BÔCà×Ñ˜Ÿ™ u§{¡{×':Ñ':Ô;Ø×Ñ °·±×0BÑ0BÔCä�5—=‘= (Ô+Ø�O‰O˜DŸL™L×3Ñ3°U·]±]ÔCð ˆð �O‰O˜DŸL™L×3Ñ3°U·[±[×5HÑ5H×5UÑ5UÔVØˆr(   c                 óH   — |j                  |«       |j                  |«       y r"   r
  rÇ   s      r&   r¸   zT5Gemma2Loader.set_vocabulary¾  r  r(   c                 ó´   •— t         ‰| �  ||«      }|j                  j                  t	        |«      z
  }t        |«      D ]  }|j                  d|z  «       Œ |S rš  rœ  r�  s         €r&   r·   zT5Gemma2Loader.get_vocabularyÂ  ré  r(   c                 óò   — t        |dd «      |_        t        |dd «      |_        t        |dd «      |_        t        |dd «      |_        |j
                  j                  j                  j                  |_	        y )Nr  r  r  )
r}   r  r  r  r  rN   rþ  ry  r#  r$  rÊ   s       r&   r¶   zT5Gemma2Loader.set_configÉ  sd   € Ü" 9¨k¸4Ó@ˆÔÜ" 9¨k¸4Ó@ˆÔÜ" 9¨k¸4Ó@ˆÔÜ%,¨Y¸ÀTÓ%JˆÔ"Ø$)§L¡L×$8Ñ$8×$DÑ$D×$QÑ$QˆÕ!r(   c                 ó¸  — t        |j                  t        «      r|j                  d   n|j                  }| j                  ||j                  «       | j                  |j                  |j                  «       t        |j                  dd «      }|�t        |«      nd|_
        t        |j                  |j                  «      D �]”  \  }}| j                  |j                  |j                  «       | j                  |j                   |j"                  «       | j%                  |j&                  |«       | j                  |j(                  |j*                  «       | j                  |j,                  |j.                  «       | j1                  |j2                  j4                  |j6                  j8                  «       | j1                  |j2                  j:                  |j6                  j<                  «       | j1                  |j2                  j>                  |j6                  j@                  «       tC        |d«       tC        |d«       tE        jF                  «        �Œ— y )Nr   r2  Fr  r­  )$rÜ   r:  rg  râ   r;  rÓ   r  r,  r}   rZ  r7  rl  r  r  rû  ræ  rþ  rç  Ú_set_self_attentionr  rD  rE  rF  rG  rà   r   r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  )r<   r‘   rþ  rè  r2  r&  r  s          r&   rý  zT5Gemma2Loader.set_encoderÐ  sÀ  € ä",¨T¯_©_¼dÔ"CˆD�O‰O˜AÒÈÏÉð 	ð 	×ÑÐ,¨g×.BÑ.BÔCØ×Ñ˜DŸO™O¨W¯\©\Ô:Ü˜g×2Ñ2°MÀ4ÓHˆØ6AÐ6M¤ kÔ 2ÐSXˆÔä!$ T§Z¡Z°·±Ó!@ó 	ÑˆJ˜Ø×ÑØ×+Ñ+¨U×-JÑ-Jôð ×ÑØ×4Ñ4°e×6TÑ6Tôð ×$Ñ$ Z×%>Ñ%>ÀÔFØ×ÑØ×5Ñ5°u×7VÑ7Vôð ×ÑØ×6Ñ6¸×8XÑ8Xôð �O‰O˜JŸN™N×3Ñ3°U·Y±Y×5HÑ5HÔIØ�O‰O˜JŸN™N×9Ñ9¸5¿9¹9×;LÑ;LÔMØ�O‰O˜JŸN™N×3Ñ3°U·Y±Y×5HÑ5HÔIÜ�E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñ'	r(   c                 óÎ  — t        |j                  dd «      }|�t        |«      nd|_        d|_        | j                  |j                  |j                  «       | j                  |j                  |j                  «       t        |j                  |j                  «      D �]>  \  }}|j                  }| j                  |j                  |j                  «       | j                  |j                   |j"                  «       t%        d«      D �cg c]  }t'        j(                  «       ‘Œ }	}| j+                  |	d   |j,                  j.                  |¬«       | j+                  |	d   |j,                  j0                  |¬«       t3        j4                  |j6                  |	«       | j9                  |||¬«       | j                  |j:                  |j<                  «       | j                  |j>                  |j@                  «       | j+                  |jB                  jD                  |jF                  jH                  |¬«       | j+                  |jB                  jJ                  |jF                  jL                  |¬«       | j+                  |jB                  jN                  |jF                  jP                  |¬«       tS        |d«       tS        |d«       tU        jV                  «        �ŒA y c c}w )	Nr2  Frn   r   rf  r¾   r  r­  ),r}   r;  rZ  r7  rH  râ   r:  rÓ   r  r,  rl  r  r  r  rû  ræ  rþ  rç  r„  r	   r,  rà   r  rZ  r[  r   r-  Ú	memory_kvr  rD  rE  rF  rG  r   r!  r­  r.  rÂ  r
  r#  r  r/  r0  r1  )
r<   r‘   rÒ   rß   r2  r&  r  Ú	attn_specrÅ   Úkv_splits
             r&   rÿ  zT5Gemma2Loader.set_decoderî  sQ  € Ü˜f×1Ñ1°=À$ÓGˆØ6AÐ6M¤ kÔ 2ÐSXˆÔØ).ˆÔ&Ø×Ñ˜DŸO™O¨V×-@Ñ-@ÔAØ×Ñ˜DŸO™O¨V¯[©[Ô9ä!$ T§Z¡Z°·±Ó!?ó #	ÑˆJ˜Ø"×1Ñ1ˆIØ×ÑØ×+Ñ+¨U×-JÑ-Jôð ×ÑØ×4Ñ4°e×6TÑ6Tôô ;@À»(ÖC°Qœ×.Ñ.Õ0ÐCˆHÐCØ�O‰O˜H Q™K¨¯©×)?Ñ)?ÈJˆOÔWØ�O‰O˜H Q™K¨¯©×)?Ñ)?ÈJˆOÔWÜ×Ñ˜i×1Ñ1°8Ô<à×$Ñ$ Y°À*Ð$ÔMà×ÑØ×5Ñ5°u×7VÑ7Vôð ×ÑØ×6Ñ6¸×8XÑ8Xôð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ð �O‰OØ—‘×-Ñ-¨u¯y©y×/@Ñ/@ÈZð ô ð �O‰OØ—‘×'Ñ'¨¯©×)<Ñ)<Èð ô ô �E˜;Ô'Ü�E˜5Ô!Ü�J‰JŽLñG#	ùò Ds   ÄK"c                 óÔ  — t        d«      D �cg c]  }t        j                  «       ‘Œ }}| j                  |d   |j                  j
                  |¬«       | j                  |d   |j                  j                  |¬«       | j                  |d   |j                  j                  |¬«       t        j                  |j                  d   |«       | j                  |j                  d   |j                  j                  |¬«       | j                  |j                  |j                  j                  «       | j                  |j                  |j                  j                  «       y c c}w )Nr-  r   rf  r¾   rn   )r„  r	   r,  rà   r  rY  rZ  r[  r   r-  r   r-  rÓ   r”  r•  )r<   r
  r  rß   rÅ   Ú	qkv_splits         r&   r  z"T5Gemma2Loader._set_self_attention  s  € ô
 8=¸Q³xÖ@°!”[×+Ñ+Õ-Ð@ˆ	Ð@Ø�‰˜	 !™ e§o¡o×&<Ñ&<ÈˆÔTØ�‰˜	 !™ e§o¡o×&<Ñ&<ÈˆÔTØ�‰˜	 !™ e§o¡o×&<Ñ&<ÈˆÔTÜ×Ñ˜)×*Ñ*¨1Ñ-¨yÔ9Ø�‰Ø×Ñ˜QÑ §¡×!7Ñ!7ÀJð 	ô 	
ð 	×Ñ˜I×,Ñ,¨e¯o©o×.DÑ.DÔEØ×Ñ˜I×,Ñ,¨e¯o©o×.DÑ.DÕEùò As   ŽE%c                 ó\   — |j                   j                  dz   j                  «       |_        y rÖ  r×  rÕ  s      r&   rÓ   zT5Gemma2Loader.set_layer_norm*  rØ  r(   )rƒ   r¦   r§   rø   r‡   rú  r   r´   r¸   r·   r¶   rý  r	   rÕ   rÖ   rÿ  r  rÓ   rª   r«   s   @r&   ró  ró  g  sm   ø„ àñ2ó ð2ò
ò:Mò4ò40ôòRòð< 4?×3KÑ3K×3OÑ3Oó *ðZ ,7×+CÑ+C×+GÑ+GóFö <r(   ró  )brù   r›  r0  r   rG   r³  r    r  Úpathlibr   Útypingr   r   r¾  r†  r¢   r~   r€   ÚImportErrorr
  r   Ú ctranslate2.converters.converterr   Úctranslate2.specsr   r	   r
   r   r   r   r   Úctranslate2.specs.model_specr   r   rì  r   rí  ÚGELUSigmoidÚRELUrZ  rû  r[  r÷  ÚSur\  ró   rÕ   rh  ÚAWQ_GEMVrV  r#   r*   r,   ÚABCr­   rT   rê  r?  rS  ra  ri  rq  r�  r³  r¾  rÕ  rî  r	  r2  rd  rª  rÙ  rÞ  rå  rø  r  r9  rJ  rq  rœ  rÌ  r×  rä  rñ  rý  r  r!  r:  r?  rU  rp  r  r‹  r¨  rƒ   r  rÒ  ró  r)   r(   r&   ú<module>r     s¨  ðÛ 
Û Û 	Û Û Û Û 	Û 	å ß !ã ð	ÛÛÛõ )Ý 6÷÷ ñ ÷ Hð ×"Ñ"×'Ñ'Ø×'Ñ'×0Ñ0Ø×&Ñ&×/Ñ/Ø×)Ñ)×.Ñ.Ø$×/Ñ/×8Ñ8Ø×(Ñ(×4Ñ4Ø×"Ñ"×'Ñ'Ø×"Ñ"×(Ñ(Ø×#Ñ#×)Ñ)ñ
Ð ð ×.Ñ.×5Ñ5Ø
×
*Ñ
*×
-Ñ
-Ø×.Ñ.×5Ñ5Ø×0Ñ0×3Ñ3ñ	Ð ð ×$Ñ$×-Ñ-Ø×$Ñ$×-Ñ-ñÐ ð
 €òôJ˜Iô JôZWF�#—'‘'ô WFôt^1�;ô ^1ñB �Óô@V�ó @Vó ð@VñF �Ó ô47�Zó 47ó !ð47ñn �Ó ô�:ó ó !ðñB �Óô=�*ó =ó  ð=ñ" �Ó!ô	9�Jó 	9ó "ð	9ñ �ÓôC�
ó Có ðCñL Ð#Ó$ô/G˜+ó /Gó %ð/Gñd �Óô%G�ó %Gó ð%GñP �Óô5G�ó 5Gó ð5Gñp �Ó!ôVG�Kó VGó "ðVGñr �Ó!ôLN�Kó LNó "ðLNñ^ �Ó!ôc �Jó c ó "ðc ñL Ð!Ó"ôK@�Zó K@ó #ðK@ñ\ Ð%Ó&ôq$˜ó q$ó 'ðq$ñh �Óôy'ˆ{ó y'ó ðy'ñx �Óô-�ó -ó ð-ñ �Óô7:�ó 7:ó ð7:ñt �ÓôJ�+ó Jó  ðJñZ �Óô41�ó 41ó ð41ñn �Óô\�+ó \ó  ð\ñ~ �Ó ôd�;ó dó !ðdñN �ÓôQ�+ó Qó  ðQñh Ð#Ó$Ù�Ó ôT�;ó Tó !ó %ðTñn Ð*Ó+ÙÐ&Ó'ÙÐ#Ó$Ù�Ó ôs�;ó só !ó %ó (ó ,ðsñl	 �Ó!ôD�Kó Dó "ðDñN �ÓôI�+ó Ió  ðIñX �ÓôS�+ó Só  ðSñl Ð,Ó-ô0D ó 0Dó .ð0Dñf �Óô0D�ó 0Dó ð0Dñf �Óôh�ó hó ðhñV �ÓôHˆ{ó Hó ðHñV �Ó ô+�8ó +ó !ð+ñ Ð#Ó$ô6*�{ó 6*ó %ð6*ñr �ÓôK@�ó K@ó ðK@ñ\ Ð#Ó$ôN:�{ó N:ó %ðN:ñb �Ó!ôN:�Kó N:ó "ðN:ñb Ð"Ó#ôN:�kó N:ó $ðN:òbO,ðd ˆzÒÙ„Fò	ò LÚFò	ò ò*ò!ò( Vò
ò ò2 ñc}Ð ñB �Ó!ôB�Kó Bó "ðBñJ Ð!Ó"ôC<�[ó C<ó #ñC<øðkR ò 	Úð	ús   ´V ÖVÖV