Исследование ограничений: Понимание недостатков SVD в сжатии языковых моделей

Обложка

Цитировать

Полный текст

Аннотация

Введение: Современная вычислительная лингвистика в значительной степени опирается на крупные языковые модели, которые демонстрируют высокую производительность в различных задачах формирования рассуждений на естественном языке (NLI). Однако эти модели требуют значительных вычислительных ресурсов как для обучения, так и для развертывания. Для решения этой проблемы был разработан ряд методов сжатия и ускорения, включая квантование, обрезку и факторизацию. Каждый из этих подходов работает по-разному, может применяться на разных уровнях архитектуры модели и подходит для различных сценариев развертывания.



Цель данного исследования — анализ и оценка метода сжатия на основе факторизации, который уменьшает вычислительные затраты крупных языковых моделей, сохраняя при этом их точность в задачах NLI, особенно для приложений с ограниченными ресурсами или чувствительных к задержкам.



Метод: Для оценки влияния сжатия на основе факторизации мы провели серию экспериментов. Сначала мы выбрали широко используемую предварительно обученную модель (Bert-base и Llama 2) в качестве базовой линии. Затем мы применили низкоранговую факторизацию к ее слоям трансформера, используя различные алгоритмы сингулярного разложения при разных степенях сжатия. После этого мы использовали задачи зондирования для анализа изменений во внутренних представлениях и лингвистических знаниях сжатых моделей. Мы сравнили изменения во внутренних представлениях модели с ее способностью решать задачи формирования рассуждений на естественном языке (NLI) и скоростью сжатия, достигнутой с помощью факторизации.



Результаты: Наивная равномерная факторизация часто приводила к значительному снижению точности даже при небольших степенях сжатия, что отражало заметное ухудшение способности модели понимать текстовые импликации. Задачи зондирования показали, что равномерно сжатые модели теряли важную синтаксическую и семантическую информацию, что соответствовало наблюдаемому снижению производительности. Однако целевые подходы к сжатию, такие как выборочное сжатие наиболее избыточных частей модели или использование взвешенных алгоритмов, смягчали эти негативные эффекты.



Вывод: Результаты показывают, что факторизация при правильном использовании может значительно снизить вычислительные требования, сохраняя при этом ключевые лингвистические возможности крупных языковых моделей. Наши исследования могут послужить основой для разработки будущих методов сжатия, которые адаптируют стратегии факторизации к внутренней структуре моделей и их задачам. Эти идеи могут помочь в развертывании LLM в сценариях с ограниченными вычислительными ресурсами.

Об авторах

Сергей Александрович Плетенев

AIRI; Сколтех

Email: pletenev@airi.net
ORCID iD: 0000-0003-2325-4268
Москва, Россия; Москва, Россия

Список литературы

  1. Belinkov, Y. (2021). Probing classifiers: Promises, shortcomings, and advances.Computational Linguistics, 48(1), 207-219. DOI:https://doi.org/10.1162/COLI_a_00422
  2. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., Amodei, D. (2020). Language Models are few-shot learners. Advances in Neural Information Processing Systems.https://arxiv.org/abs/2005.14165v4.
  3. Chen, T., Frankle, J., Chang, S., Liu, S., Zhang, Y., Wang, Z., & Carbin, M. (2020). The lottery ticket hypothesis for pre-trained BERT networks. Advances in Neural Information Processing Systems.https://arxiv.org/abs/2007.12223v2.
  4. Cheng, Y., Wang, D., Zhou, P., & Zhang, T. (2018). Model compression and acceleration for deep neural networks: The principles, progress, and challenges. IEEE Signal Processing Magazine, 35(1), 126-136. DOI:https://doi.org/10.1109/MSP.2017.2765695
  5. Dettmers, T., Lewis, M., Shleifer, S., & Zettlemoyer, L. (2021). 8-bit Optimizers via block-wise quantization. ICLR 2022 - 10th International Conference on Learning Representations, 8, 105-125. Curran Associates, Inc.https://arxiv.org/abs/2110.02861v2.
  6. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL HLT 2019 - 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies - Proceedings of the Conference, 1, 4171-4186. Association for Computational Linguistics.https://arxiv.org/abs/1810.04805v2.
  7. Ganesh, P., Chen, Y., Lou, X., Khan, M. A., Yang, Y., Sajjad, H., Nakov, P., Chen, D., & Winslett, M. (2021).Compressing large-scale transformer-based models: A case study on BERT. Transactions of the Association for Computational Linguistics, 9, 1061-1080. DOI:https://doi.org/10.1162/TACL_A_00413
  8. Guo, Y., Yao, A., & Chen, Y. (2016). Dynamic network surgery for efficient DNNs. Advances in Neural Information Processing Systems (pp. 1387-1395). Morgan Kaufmann Publishers Inc.https://arxiv.org/abs/1608.04493v2.
  9. Han, S., Pool, J., Tran, J., & Dally, W. J. (2015). Learning both weights and connections for efficient neural networks. Advances in Neural Information Processing Systems (pp. 1135-1143).https://arxiv.org/abs/1506.02626v3.
  10. Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2020). Measuring massive multitask language understanding. ICLR 2021 - 9th International Conference on Learning Representations (pp. 1343-1355). OpenReview.net.https://arxiv.org/abs/2009.03300v3.
  11. Hewitt, J., & Liang, P. (2019). Designing and Interpreting probes with control tasks. EMNLP-IJCNLP 2019 - 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing, Proceedings of the Conference (pp. 2733-2743). Association for Computational Linguistics. DOI:https://doi.org/10.18653/v1/d19-1275
  12. Hsu, Y. C., Hua, T., Chang, S. E., Lou, Q., Shen, Y., & Jin, H. (2022). Language model compression with weighted low-rank factorization. ICLR 2022 - 10th International Conference on Learning Representations.https://arxiv.org/abs/2207.00112v1.
  13. Ji, Y., Xiang, Y., Li, J., Chen, W., Liu, Z., Chen, K., & Zhang, M. (2024). Feature-based low-rank compression of large language models via bayesian optimization (pp. 844-857). OpenReview.net.https://arxiv.org/abs/2405.10616v1.
  14. Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., & Amodei, D. (2020). Scaling laws for neural language models.https://arxiv.org/abs/2001.08361v1.
  15. Kim, Y. D., Park, E., Yoo, S., Choi, T., Yang, L., & Shin, D. (2015).Compression of deep convolutional neural networks for fast and low power mobile applications. 4th International Conference on Learning Representations, ICLR 2016 - Conference Track Proceedings. OpenReview.net.https://arxiv.org/abs/1511.06530v2.
  16. Kurtic, E., Campos, D., Nguyen, T., Frantar, E., Kurtz, M., Fineran, B., Goin, M., & Alistarh, D. (2022). The Optimal BERT surgeon: Scalable and accurate second-order pruning for Large Language Models. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processin (pp. 4163-4181). Association for Computational Linguistics. DOI:https://doi.org/10.18653/v1/2022.emnlp-main.279
  17. Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., & Soricut, R. (2019). ALBERT: A lite BERT for self-supervised learning of language representations. 8th International Conference on Learning Representations. Curran Associates, Inc.https://arxiv.org/abs/1909.11942v6.
  18. Lane, N. D., Bhattacharya, S., Georgiev, P., Forlivesi, C., Jiao, L., Qendro, L., & Kawsar, F. (2016). DeepX: A software accelerator for low-power deep learning inference on mobile devices. 2016 15th ACM/IEEE International Conference on Information Processing in Sensor Networks, IPSN 2016 - Proceedings. IEEE Press. DOI:https://doi.org/10.1109/IPSN.2016.7460664
  19. Li, K., Patel, O., Viégas, F., Pfister, H., & Wattenberg, M. (2023). Inference-Time intervention: Eliciting truthful answers from a Language Model. Advances in Neural Information Processing Systems, 36.https://arxiv.org/abs/2306.03341v6.
  20. Lin, S., Hilton, J., & Evans, O. (2022). TruthfulQA: Measuring how models mimic human falsehoods. Proceedings of the Annual Meeting of the Association for Computational Linguistics, 1, 3214-3252. DOI:https://doi.org/10.18653/V1/2022.ACL-LONG.229
  21. Michel, P., Levy, O., & Neubig, G. (2019). Are sixteen heads really better than one? Advances in Neural Information Processing Systems, 32.https://arxiv.org/abs/1905.10650v3.
  22. Narayanan, D., Phanishayee, A., Shi, K., Chen, X., & Zaharia, M. (2020). Memory-efficient pipeline-parallel DNN training. Proceedings of Machine Learning Research, 139, 7937-7947.
  23. Sharma, P., Ash, J. T., & Misra, D. (2023). The truth is in there: Improving reasoning in Language Models with layer-selective rank reduction. 12th International Conference on Learning Representations. OpenReview.nethttps://arxiv.org/abs/2312.13558v1.
  24. Socher, R., Perelygin, A., Wu, J., Chuang, J., Manning, C. D., Ng, A. Y., & Potts, C. (2013). Recursive deep models for semantic compositionality over a sentiment treebank (pp. 1631-1642). ACM.https://aclanthology.org/D13-1170.
  25. Tai, C., Xiao, T., Zhang, Y., Wang, X., & Weinan, E. (2015). Convolutional neural networks with low-rank regularization. 4th International Conference on Learning Representations, ICLR 2016 - Conference Track Proceedings. arXiv:1511.06067. DOI:https://doi.org/10.48550/arXiv.1511.06067
  26. Tang, R., Lu, Y., Liu, L., Mou, L., Vechtomova, O., & Lin, J. (2019). Distilling task-specific knowledge from BERT into simple neural networks.https://arxiv.org/abs/1903.12136v1.
  27. Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.-A., Lacroix, T., Rozière, B., Goyal, N., Hambro, E., Azhar, F., Rodriguez, A., Joulin, A., Grave, E., & Lample, G. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971. DOI:https://doi.org/10.48550/arXiv.2302.13971
  28. Touvron, H., Martin, L., Stone, K.R., Albert, P., Almahairi, A., Babaei, Y., Bashlykov, N., Batra, S., Bhargava, P., Bhosale, S., Bikel, D.M., Blecher, L., Ferrer, C.C., Chen, M., Cucurull, G., Esiobu, D., Fernandes, J., Fu, J., Fu, W., Fuller, B., Gao, C., Goswami, V., Goyal, N., Hartshorn, A.S., Hosseini, S., Hou, R., Inan, H., Kardas, M., Kerkez, V., Khabsa, M., Kloumann, I.M., Korenev, A.V., Koura, P.S., Lachaux, M., Lavril, T., Lee, J., Liskovich, D., Lu, Y., Mao, Y., Martinet, X., Mihaylov, T., Mishra, P., Molybog, I., Nie, Y., Poulton, A., Reizenstein, J., Rungta, R., Saladi, K., Schelten, A., Silva, R., Smith, E.M., Subramanian, R., Tan, X., Tang, B., Taylor, R., Williams, A., Kuan, J.X., Xu, P., Yan, Z., Zarov, I., Zhang, Y., Fan, A., Kambadur, M.H., Narang, S., Rodriguez, A., Stojnic, R., Edunov, S., & Scialom, T. (2023). Llama 2: Open foundation and fine-tuned chat models.https://arxiv.org/abs/2307.09288v2.
  29. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems. arXiv:1706.03762. DOI:https://doi.org/10.48550/arXiv.1706.03762
  30. Wang, N., Choi, J., Brand, D., Chen, C. Y., & Gopalakrishnan, K. (2018). Training deep neural networks with 8-bit floating point numbers. Advances in Neural Information Processing Systems. arXiv:1812.08011. DOI:https://doi.org/10.48550/arXiv.1812.08011
  31. Wang, Z., Wohlwend, J., & Lei, T. (2019a). Structured pruning of Large Language Models. EMNLP 2020 - 2020 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, 6151-6162. Association for Computational Linguistics. DOI:https://doi.org/10.18653/v1/2020.emnlp-main.496
  32. Wang, Z., Wohlwend, J., & Lei, T. (2019b). Structured pruning of Large Language Models. EMNLP 2020 - 2020 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, 6151-6162. Association for Computational Linguistics. DOI:https://doi.org/10.18653/v1/2020.emnlp-main.496
  33. Warstadt, A., Singh, A., & Bowman, S. R. (2019). Neural network acceptability judgments. Transactions of the Association for Computational Linguistics, 7, 625-641. DOI:https://doi.org/10.1162/TACL_A_00290
  34. Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2022). Emergent abilities of Large Language Models.https://arxiv.org/abs/2206.07682v2.
  35. Xu, C., Yao, J., Lin, Z., Ou, W., Cao, Y., Wang, Z., & Zha, H. (2018). Alternating multi-bit quantization for recurrent neural networks. 6th International Conference on Learning Representations, ICLR 2018 - Conference Track Proceedings. OpenReview.net.https://arxiv.org/abs/1802.00150v1.
  36. Yin, L., Jaiswal, A., Liu, S., Kundu, S., & Wang, Z. (2023). Pruning small pre-trained weights irreversibly and monotonically impairs difficult downstream tasks in LLMs.https://arxiv.org/abs/2310.02277v2.
  37. Yu, H., & Wu, J. (2023).Compressing transformers: Features are low-rank, but weights are not! AAAI Conference on Artificial Intelligence, 37, 11007-11015. DOI:https://doi.org/10.1609/AAAI.V37I9.26304
  38. Yuan, Z., Shang, Y., Song, Y., Wu, Q., Yan, Y., & Sun, G. (2023). ASVD: Activation-aware singular value decomposition for compressing Large Language Models.https://arxiv.org/abs/2312.05821v4.
  39. Zafrir, O., Larey, A., Boudoukh, G., Shen, H., & Wasserblat, M. (2021). Prune once for all: Sparse pre-trained Language Models. arXiv:2111.05754. DOI:https://doi.org/10.48550/arXiv.2111.05754
  40. Zhang, T., Lin, Z., Yang, G., & De Sa, C. (2019). QPyTorch: A low-precision arithmetic simulation framework. Proceedings - 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing (pp. 10-13). Curran Associates Inc. DOI:https://doi.org/10.1109/EMC2-NIPS53020.2019.00010

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).