تقرير
Flash normalization: fast RMSNorm for LLMs
| العنوان: | Flash normalization: fast RMSNorm for LLMs |
|---|---|
| المؤلفون: | Graef, Nils, Clapp, Matthew, Wasielewski, Andrew |
| سنة النشر: | 2024 |
| المجموعة: | Computer Science |
| مصطلحات موضوعية: | Computer Science - Machine Learning |
| الوصف: | RMSNorm is used by many LLMs such as Llama, Mistral, and OpenELM. This paper details FlashNorm, which is an exact but faster implementation of RMSNorm followed by linear layers. See https://huggingface.co/open-machine/FlashNorm for code and more transformer tricks. Comment: 7 pages, 8 figures |
| نوع الوثيقة: | Working Paper |
| URL الوصول: | http://arxiv.org/abs/2407.09577 |
| رقم الأكسشن: | edsarx.2407.09577 |
| قاعدة البيانات: | arXiv |
| الوصف غير متاح. |