பெரிய மொழி மாதிரிகள் (LLMs) என்பது மனித மொழியைப் போல புரிந்து கொண்டு உருவாக்கும் செயற்கை நுண்ணறிவு அமைப்புகள் ஆகும், அவை மிகப்பெரிய உரை தரவுத்தொகுப்புகளில் பயிற்சி பெறுகின்றன. எளிய முறையில் சொல்வதானால், ஒரு LLMக்கு மில்லியன் அல்லது பில்லியன் கணக்கான வார்த்தைகள் (பெரும்பாலும் இணையத்திலிருந்து) வழங்கப்பட்டு, அது உரையின் சூழலை கணித்து உரையை உருவாக்கக் கற்றுக்கொள்ளும். இம்மாதிரிகள் பெரும்பாலும் ஆழ்ந்த கற்றல் நரம்பியல் வலைப்பின்னல்களில் கட்டமைக்கப்பட்டுள்ளன – பொதுவாக டிரான்ஸ்ஃபார்மர் கட்டமைப்பில். அவற்றின் பருமனாலும், LLMகள் பல மொழி பணிகளை (உரையாடல், மொழிபெயர்ப்பு, எழுத்து) தனித்தனியாக நிரலாக்கப்படாமல் செய்ய முடியும்.

பெரிய மொழி மாதிரிகளின் முக்கிய அம்சங்கள்:

• பெரிய பயிற்சி தரவு: LLMகள் மிகப்பெரிய உரை தொகுப்புகளில் (பில்லியன் பக்கங்கள்) பயிற்சி பெறுகின்றன. இந்த "பெரிய" பயிற்சி தொகுப்பு அவர்களுக்கு இலக்கணம் மற்றும் தகவல்களின் பரந்த அறிவை வழங்குகிறது.
• டிரான்ஸ்ஃபார்மர் கட்டமைப்பு: அவை சுய கவனம் கொண்ட டிரான்ஸ்ஃபார்மர் நரம்பியல் வலைப்பின்னல்களை பயன்படுத்துகின்றன, அதாவது ஒரு வாக்கியத்தில் உள்ள ஒவ்வொரு வார்த்தையும் மற்ற வார்த்தைகளுடன் ஒப்பிடப்படுகிறது. இது மாதிரிக்கு சூழலை திறம்பட கற்றுக்கொள்ள உதவுகிறது.
• பில்லியன் கணக்கான அளவுருக்கள்: மாதிரிகள் மில்லியன் அல்லது பில்லியன் கணக்கான எடை (அளவுருக்கள்) கொண்டவை. இவை மொழியில் உள்ள சிக்கலான மாதிரிகளை பிடிக்கின்றன. உதாரணமாக, GPT-3க்கு 175 பில்லியன் அளவுருக்கள் உள்ளன.
• சுய-மேற்பார்வை கற்றல்: LLMகள் மனித குறிச்சொற்கள் இல்லாமல் உரையில் காணாமல் போன வார்த்தைகளை கணித்து கற்றுக்கொள்கின்றன. பயிற்சியின் போது, மாதிரி அடுத்த வார்த்தையை கணிக்க முயல்கிறது. இதை பெரும் தரவுகளில் மீண்டும் மீண்டும் செய்வதன் மூலம், இலக்கணம், தகவல்கள் மற்றும் சில காரணங்களை உள்ளடக்கிக் கற்றுக்கொள்கிறது.
• நுணுக்கமாகத் திருத்துதல் மற்றும் ஊக்குவித்தல்: முன் பயிற்சிக்குப் பிறகு, LLMகளை குறிப்பிட்ட பணிக்காக நுணுக்கமாகத் திருத்தலாம் அல்லது ஊக்குவிப்புகளால் வழிநடத்தலாம். இதனால், அதே மாதிரி மருத்துவ கேள்வி-பதில் அல்லது படைப்பாற்றல் எழுத்து போன்ற புதிய பணிகளுக்கு சிறிய தரவுத்தொகுப்பு அல்லது திறமையான வழிமுறைகளால் தகுந்ததாக மாறும்.

இந்த அம்சங்கள் ஒன்றிணைந்து, ஒரு LLMக்கு மனிதனைப் போல உரையை புரிந்து கொண்டு உருவாக்க உதவுகின்றன. நடைமுறையில், நன்கு பயிற்சி பெற்ற LLM சூழலை உணர்ந்து, வாக்கியங்களை முடித்து, பல தலைப்புகளில் (சாதாரண உரையாடல் முதல் தொழில்நுட்ப பொருட்கள் வரை) துல்லியமான பதில்களை வழங்க முடியும், அதற்கான தனிப்பட்ட நிரலாக்கம் இல்லாமல்.

LLMகள் பொதுவாக டிரான்ஸ்ஃபார்மர் வலைப்பின்னல் கட்டமைப்பைப் பயன்படுத்துகின்றன. இந்த கட்டமைப்பு பல அடுக்குகளைக் கொண்ட ஆழ்ந்த நரம்பியல் வலைப்பின்னல் ஆகும். முக்கிய கூறு சுய கவனம், இது ஒரு வாக்கியத்தில் உள்ள ஒவ்வொரு வார்த்தைக்கும் மற்ற வார்த்தைகளுடன் ஒரே நேரத்தில் தொடர்பு கொடுத்து அவற்றின் முக்கியத்துவத்தை மதிப்பிட உதவுகிறது.

பழைய தொடர் மாதிரிகள் (RNN போன்றவை) போல அல்லாமல், டிரான்ஸ்ஃபார்மர்கள் முழு உள்ளீட்டை ஒரே நேரத்தில் செயலாக்குகின்றன, இதனால் GPUகளில் பயிற்சி வேகம் அதிகரிக்கிறது. பயிற்சியின் போது, LLM அதன் பில்லியன் கணக்கான அளவுருக்களை பெரும் உரை தொகுப்பில் அடுத்த வார்த்தையை கணிக்க முயற்சித்து சரிசெய்கிறது.

நேரத்துடன், இந்த செயல்முறை மாதிரிக்கு இலக்கணம் மற்றும் பொருள் தொடர்புகளை கற்றுக்கொடுக்கிறது. இதன் விளைவு, ஒரு ஊக்குவிப்பை வழங்கும் போது, தன்னிச்சையாக பொருத்தமான, தொடர்புடைய மொழியை உருவாக்கும் மாதிரி ஆகும்.

LLMகளின் பயன்பாடுகள்

அவை இயற்கை மொழியைப் புரிந்து கொண்டு உருவாக்குவதால், LLMகளுக்கு பல துறைகளில் பயன்பாடுகள் உள்ளன. சில பொதுவான பயன்பாடுகள்:

• உரையாடல் AI (சாட்போட்கள் மற்றும் உதவியாளர்கள்): LLMகள் திறந்த உரையாடலை நடத்தக்கூடிய அல்லது கேள்விகளுக்கு பதிலளிக்கக்கூடிய முன்னேற்றமான சாட்போட்களை இயக்குகின்றன. உதாரணமாக, வாடிக்கையாளர் ஆதரவு பொறிகள் அல்லது Siri, Alexa போன்ற கருவிகள் LLMகளை பயன்படுத்தி கேள்விகளை புரிந்து கொண்டு இயற்கையாக பதிலளிக்கின்றன.
• உள்ளடக்க உருவாக்கம்: அவை மின்னஞ்சல்கள், கட்டுரைகள், சந்தைப்படுத்தல் உரைகள், கவிதைகள் மற்றும் குறியீடுகள் எழுத முடியும். உதாரணமாக, ஒரு தலைப்பை வழங்கும் போது, ChatGPT (GPT மாதிரிகளின் அடிப்படையில்) கட்டுரை அல்லது கதை வரைவு உருவாக்க முடியும். நிறுவனங்கள் LLMகளை தானாக வலைப்பதிவுகள், விளம்பர உரைகள் மற்றும் அறிக்கைகள் எழுத பயன்படுத்துகின்றன.
• மொழிபெயர்ப்பு மற்றும் சுருக்கம்: LLMகள் மொழிகளுக்கு இடையே உரையை மொழிபெயர்க்கவும், நீண்ட ஆவணங்களை சுருக்கவும் முடியும். பயிற்சியில் இணையான எடுத்துக்காட்டுகளை பார்த்ததால், ஒரு மாதிரி மற்றொரு மொழியில் சரளமான உரையை வெளியிடக்கூடும் அல்லது 20 பக்க அறிக்கையை சில பத்திகளாக சுருக்கக்கூடும்.
• கேள்வி-பதில்: கேள்வி வழங்கப்பட்டால், LLM அதன் அறிவின் அடிப்படையில் உண்மையான பதில்கள் அல்லது விளக்கங்களை வழங்க முடியும். இது கேள்வி-பதில் தேடல் இடைமுகங்கள் மற்றும் மெய்நிகர் ஆசிரியர்களை இயக்குகிறது. ChatGPT போன்ற மாதிரிகள், உதாரணமாக, பொது அறிவு கேள்விகளுக்கு பதிலளிக்க அல்லது கருத்துக்களை எளிய மொழியில் விளக்க முடியும்.
• குறியீடு உருவாக்கம்: சில LLMகள் குறியீடு தொடர்பான பணிகளுக்கு சிறப்பு பெற்றவை. அவை விளக்கங்களிலிருந்து குறியீடு துண்டுகளை எழுத, பிழைகளை கண்டறிய, அல்லது நிரலாக்க மொழிகளுக்கு இடையே மொழிபெயர்க்க முடியும். (GitHub Copilot குறியீடு பயிற்சி பெற்ற LLMஐ பயன்படுத்தி டெவலப்பர்களுக்கு உதவுகிறது.)
• ஆராய்ச்சி மற்றும் பகுப்பாய்வு: பெரிய உரை தரவுத்தொகுப்புகளில் இருந்து தகவல்களை எடுக்கும், உள்ளடக்கங்களை குறிச்சொற்களால் அடையாளம் காணும், அல்லது வாடிக்கையாளர் கருத்துக்களில் உணர்ச்சி பகுப்பாய்வை செய்யும் பணிகளில் ஆராய்ச்சியாளர்களுக்கு உதவுகின்றன. பல துறைகளில், LLMகள் இலக்கிய விமர்சனம் அல்லது தரவு ஒழுங்குபடுத்தல் போன்ற பணிகளை வேகமாக செய்ய உதவுகின்றன.

பிரபலமான பெரிய மொழி மாதிரிகள் ChatGPT / GPT-4 (OpenAI), Bard (Google-இன் PaLM), LLaMA (Meta), Claude (Anthropic), மற்றும் Bing Chat (Microsoft-இன் GPT அடிப்படையிலான) ஆகியவை. இவ்வெல்லாம் பெரும் தரவுத்தொகுப்புகளில் பயிற்சி பெற்றவை மற்றும் APIகள் அல்லது வலை இடைமுகங்களின் மூலம் அணுகக்கூடியவை.

உதாரணமாக, ChatGPTக்கு பின்னணியில் உள்ள GPT-3.5 மற்றும் GPT-4க்கு நூற்றுக்கணக்கான பில்லியன் அளவுருக்கள் உள்ளன, Google மாதிரிகள் (PaLM மற்றும் Gemini) மற்றும் பிற மாதிரிகளும் இதேபோல் செயல்படுகின்றன. டெவலப்பர்கள் பெரும்பாலும் இந்த LLMகளை மேக சேவைகள் அல்லது நூலகங்கள் மூலம் தொடர்பு கொண்டு, குறிப்பிட்ட பணிகளுக்கு (ஆவண சுருக்கம் அல்லது குறியீடு உதவி போன்ற) தனிப்பயனாக்குகின்றனர்.

சவால்கள் மற்றும் கவனிக்க வேண்டியவை

LLMகள் சக்திவாய்ந்தவை, ஆனால் முழுமையானவை அல்ல. அவை உண்மையான உலக உரை தரவுகளிலிருந்து கற்றுக்கொள்வதால், பயிற்சி தரவுகளில் உள்ள பாகுபாடுகளை மீண்டும் உருவாக்கக்கூடும். ஒரு LLM கலாச்சார பாகுபாடுகளுடன் உள்ளடக்கம் உருவாக்கக்கூடும், அல்லது கவனமாக வடிகட்டப்படாவிட்டால் அவமானகரமான அல்லது சித்திரவதையான மொழியை வெளியிடக்கூடும்.

மற்றொரு பிரச்சனை கற்பனை: மாதிரி முழுமையாக தவறான அல்லது உருவாக்கப்பட்ட பதில்களை நம்பகமாகத் தரக்கூடும். உதாரணமாக, ஒரு LLM தவறான தகவல் அல்லது பெயரை தன்னிச்சையாக உருவாக்கக்கூடும். இவை மாதிரி உரையின் மிக நம்பகமான தொடர்ச்சியை கணிக்கும் முயற்சியில் ஏற்படுகின்றன, உண்மைகளை சரிபார்க்காமல்.

டெவலப்பர்கள் மனித கருத்துக்களால் நுணுக்கமாகத் திருத்துதல், வெளியீடுகளை வடிகட்டுதல் மற்றும் மனித மதிப்பீடுகளிலிருந்து பலவீன கற்றல் போன்ற தொழில்நுட்பங்களை பயன்படுத்தி இந்த பிரச்சனைகளை குறைக்க முயல்கின்றனர்.

எனினும், LLMகளை பயன்படுத்துவோர் முடிவுகளை துல்லியமாகவும் பாகுபாடில்லாமல் இருப்பதை உறுதிப்படுத்த கவனமாக இருக்க வேண்டும். கூடுதலாக, LLMகளை பயிற்சி மற்றும் இயக்குவதற்கு மிகப்பெரிய கணினி வளங்கள் (வலுவான GPU/TPUகள் மற்றும் பெரும் தரவு) தேவை, இது செலவானதாக இருக்கலாம்.

>>>காண இங்கே கிளிக் செய்யவும்:

நியூரல் நெட்வொர்க் என்றால் என்ன?

இயற்கை மொழி செயலாக்கம் என்றால் என்ன?

சுருக்கமாக, பெரிய மொழி மாதிரி என்பது பெரும் உரை தரவுகளில் பயிற்சி பெற்ற டிரான்ஸ்ஃபார்மர் அடிப்படையிலான AI அமைப்பு ஆகும். இது சுய-மேற்பார்வை பயிற்சியினூடாக மொழி மாதிரிகளை கற்றுக்கொண்டு, சரளமான, சூழலுக்கு பொருத்தமான உரையை உருவாக்கும் திறனை பெற்றுள்ளது. அதன் பருமனாலும், LLMகள் உரையாடல், எழுத்து, மொழிபெயர்ப்பு மற்றும் குறியீடு போன்ற பல மொழி பணிகளை மனிதர்களுக்கு ஒப்பான அல்லது அதற்கு மேற்பட்ட திறனுடன் செய்ய முடியும்.

முன்னணி AI ஆராய்ச்சியாளர்களின் சுருக்கங்கள் குறிப்பிடுவது போல, இம்மாதிரிகள் தொழில்நுட்பத்துடன் எவ்வாறு தொடர்பு கொள்வது மற்றும் தகவல்களை அணுகுவது என்பதை மாற்றி அமைக்க உள்ளன. 2025 ஆம் ஆண்டுக்குள், LLMகள் (படங்கள் அல்லது ஒலியை கையாளும் பன்முக விரிவாக்கங்களுடன்) தொடர்ந்து முன்னேறி, நவீன AI புதுமைகளின் முன்னணியில் இருந்து வருகின்றன, அவை நவீன AI பயன்பாடுகளின் முக்கிய கூறுகளாக இருக்கின்றன.

INVIAIயை தொடர்ந்து மேலும் பயனுள்ள தகவல்களைப் பெறுங்கள்!