أنظمة الذكاء الاصطناعي التي تفهم وإنشاء النص ، والمعروفة باسم نماذج اللغة ، هي الشيء الجديد الساخن في المؤسسة. وجدت دراسة استقصائية حديثة أن 60 ٪ من قادة التكنولوجيا قالوا إن ميزانياتهم لتقنيات لغة الذكاء الاصطناعى ارتفعت بنسبة 10 ٪ على الأقل في عام 2020 بينما أبلغ 33 ٪ عن زيادة بنسبة 30 ٪.
ولكن لم يتم إنشاء جميع نماذج اللغة على قدم المساواة. هناك عدة أنواع تظهر على أنها مهيمنة ، بما في ذلك نماذج كبيرة للأغراض العامة مثل GPT-3 من Openai وموديلات تم ضبطها بشكل جيد لمهام معينة (فكر في الإجابة على أسئلة مكتبه). على الحافة ، توجد فئة ثالثة من النموذج - تلك التي تميل إلى أن تكون مضغوطة للغاية في الحجم وتقتصر على إمكانات قليلة ، مصممة خصيصًا لتشغيل أجهزة الإنترنت ومحطات العمل.
هذه الأساليب المختلفة لها اختلافات كبيرة في نقاط القوة وأوجه القصور والمتطلبات - إليك كيفية مقارنتها وأين يمكنك أن تتوقع أن تراها منتشرة على مدار العام أو العامين المقبلين. الحجم والتدريب على كميات هائلة من بيانات النص ، وأحيانًا على مقياس Petabyte. إنها أيضًا من بين أكبر النماذج من حيث عدد المعلمات ، حيث تشير المعلمة إلى القيمة التي يمكن أن يتغيرها النموذج بشكل مستقل كما يتعلم. المعلمات هي أجزاء من النموذج المستفادة من بيانات التدريب التاريخية وتحدد بشكل أساسي مهارة النموذج في مشكلة ما ، مثل توليد النص.
يتم استخدام نماذج كبيرة لسيناريوهات الصفر أو سيناريوهات قليلة حيث تتوفر بيانات التدريب الصغيرة [المصممة] وعادة ما تعمل بشكل جيد في إنشاء شيء ما بناءً على بعض المطالبات ، Fangzheng Xu ، درجة الدكتوراه. طالب في كارنيجي ميلون متخصص في معالجة اللغة الطبيعية ، أخبر TechCrunch عبر البريد الإلكتروني. في التعلم الآلي ، تشير القليل من الطرق إلى ممارسة تدريب نموذج مع الحد الأدنى من البيانات ، في حين أن الصفر يعني أن النموذج يمكن أن يتعلم التعرف على الأشياء التي لم يراها بشكل صريح أثناء التدريب.
كبير واحد من المحتمل أن يمكّن النموذج العديد من المهام المصب مع القليل من بيانات التدريب ، تابع XU.
لقد نما استخدام نماذج نماذج اللغة الكبيرة بشكل كبير على مدار السنوات القليلة الماضية حيث يقوم الباحثون بتطوير بنيات أحدث وأكبر. في يونيو 2020 ، أصدرت AI Startup Openai GPT-3 ، وهو نموذج 175 مليار معلم يمكنه إنشاء نص وحتى رمز أعطى موجهًا قصيرًا يحتوي على تعليمات. تم توفير مجموعة الأبحاث المفتوحة Eleutherai في وقت لاحق GPT-J ، وهو نموذج لغة أصغر (6 مليارات) ولكن مع ذلك قادر على الترجمة بين اللغات ، وكتابة منشورات المدونة ، والرمز الكامل والمزيد. في الآونة الأخيرة ، فتحت Microsoft و Nvidia نموذجًا يطلق عليه Megatron-Turing Generation (MT-NLG) ، وهو من بين أكبر النماذج لفهم القراءة واستدلال اللغة الطبيعية التي تم تطويرها حتى الآن عند 530 مليار معلمة.
أحد الأسباب التي تظل هذه النماذج اللغوية الكبيرة رائعة للغاية هو أنه يمكن استخدام نموذج واحد للمهام بما في ذلك الإجابة على الأسئلة ، وتلخيص المستندات ، وتوليد النصوص ، وإكمال الجملة ، والترجمة ، وأكثر من ذلك ، برنارد كوخ ، عالم اجتماعي حسابي في جامعة كاليفورنيا في لوس أنجلوس ، أخبر TechCrunch عبر البريد الإلكتروني . والسبب الثاني هو أن أدائها لا يزال يتوسع عند إضافة المزيد من المعلمات إلى النموذج وإضافة المزيد من البيانات ... والسبب الثالث في أن نماذج اللغة الكبيرة جدًا التي تم تدريبها هي أنها تبدو قادرة على تقديم تنبؤات لائقة عند إعطائها فقط عدد قليل من الأمثلة المسمى.
الشركات الناشئة بما في ذلك Cohere و AI21 Labs تقدم نماذج أقرب إلى GPT-3 من خلال واجهات برمجة التطبيقات. اختارت الشركات الأخرى ، وخاصة عمالقة التكنولوجيا مثل Google ، الحفاظ على نماذج اللغة الكبيرة التي طورتها في المنزل وتحت اللف. على سبيل المثال ، تم تفصيل Google مؤخرًا-لكنها رفضت النموذج-نموذجًا برارياميًا بقيمة 540 مليار شخص يسمى Palm الذي تدعي الشركة تحقيقه على أحدث الأداء عبر المهام اللغوية.
نماذج لغة كبيرة ، مصدر مفتوح أو لا ، جميعهم لديهم تكاليف تطوير شديدة. دراسة 2020 من مختبرات 21 ربطت السابقين
اخلاء مسؤولية! هذا المقال لا يعبر بالضرورة عن رأي جامعة الرازي
