- নিউরাল নেটওয়ার্ক এবং এলএলএম কীভাবে তাদের গণনা সম্পাদন করে তা ব্যাখ্যা করার জন্য যান্ত্রিক ব্যাখ্যাযোগ্যতা ওজন, সক্রিয়করণ এবং অভ্যন্তরীণ সার্কিট অধ্যয়ন করে।
- মডেলগুলি উচ্চ-মাত্রিক ধারণাগত স্থানগুলিতে অর্থগুলি সংগঠিত করে, ভেক্টরগুলিতে ধারণাগুলিকে রৈখিক দিকনির্দেশনা হিসাবে উপস্থাপন করা হয়।
- ফিচার "মাইক্রোস্কোপ" এবং স্পার্স অটোএনকোডারের মতো সরঞ্জামগুলি আপনাকে মডেলগুলির অভ্যন্তরীণ বৈশিষ্ট্যগুলি বের করতে, বিশ্লেষণ করতে এবং এমনকি ম্যানিপুলেট করতে দেয়।
- ভূ-স্থানিক ব্যাখ্যাযোগ্যতার মতো অ্যাপ্লিকেশনগুলি দেখায় যে LLM কীভাবে ভৌগোলিক তথ্য গঠন করে, যা AI কে জ্ঞান এবং নিরাপত্তা সম্পর্কে বিতর্কের কাছাকাছি নিয়ে আসে।
আধুনিক কৃত্রিম বুদ্ধিমত্তার মধ্যে যান্ত্রিক ব্যাখ্যাযোগ্যতা গবেষণার সবচেয়ে উত্তেজনাপূর্ণ এবং গুরুত্বপূর্ণ ধারাগুলির মধ্যে একটি হয়ে উঠছে।এটি বিশেষভাবে গুরুত্বপূর্ণ কারণ ডিপ নিউরাল নেটওয়ার্ক এবং লার্জ-স্কেল ল্যাঙ্গুয়েজ মডেল (LLM) কার্যত প্রতিটি ক্ষেত্রেই সিদ্ধান্তকে প্রভাবিত করতে শুরু করে। শুধুমাত্র একটি মডেলের চূড়ান্ত কর্মক্ষমতা দেখার পরিবর্তে, এই পদ্ধতিটি জিজ্ঞাসা করে: যখন AI একটি ভবিষ্যদ্বাণী করে, একটি টেক্সট লেখে, অথবা একটি জটিল সমস্যা সমাধান করে, তখন ওজন এবং সক্রিয়করণের মধ্যে ঠিক কী ঘটছে?
"ব্ল্যাক বক্স" শব্দটি এখনকার মতো আর কখনও প্রাসঙ্গিক ছিল না।প্রতিদিন লক্ষ লক্ষ মানুষ চ্যাটবট ব্যবহার করে, কিন্তু এই সিস্টেমগুলি তৈরিকারী দলগুলিও পুরোপুরি বুঝতে পারে না যে তারা কীভাবে নির্দিষ্ট উত্তরে পৌঁছায়, কেন তারা তথ্যগুলিকে "ভ্রান্ত" করে, বা কোন পরিস্থিতিতে তারা প্রতারণামূলক আচরণ করতে পারে। যান্ত্রিক ব্যাখ্যাযোগ্যতা এই ব্ল্যাক বক্সটি খোলার জন্য, এর অভ্যন্তরীণ প্রক্রিয়াগুলিকে মানচিত্র করার জন্য এবং নিউরন, সংস্থান এবং সার্কিটগুলিকে এমন ধারণাগুলির সাথে সংযুক্ত করার জন্য সঠিকভাবে আবির্ভূত হয় যা আমরা বুঝতে পারি।
যান্ত্রিক ব্যাখ্যাযোগ্যতা আসলে কী?
যান্ত্রিক ব্যাখ্যাযোগ্যতা হল AI মডেলের অভ্যন্তরীণ কাঠামোর পদ্ধতিগত অধ্যয়ন, যা ওজন, সক্রিয়করণ এবং মধ্যবর্তী "গণনার" উপর দৃষ্টি নিবদ্ধ করে।তারা কীভাবে তাদের কাজ সম্পাদন করে তা বোঝার জন্য। নিউরাল নেটওয়ার্ককে একটি অস্বচ্ছ ব্লক হিসেবে বিবেচনা করার পরিবর্তে যা ইনপুটকে আউটপুটে রূপান্তরিত করে, এই অঞ্চলটি মডেলটিকে ছোট ছোট উপাদানগুলিতে বিভক্ত করার চেষ্টা করে - নিউরন, মনোযোগের মাথা, স্তর, রৈখিক বৈশিষ্ট্য - এবং প্রতিটি অংশকে একটি পর্যবেক্ষণযোগ্য আচরণের সাথে সংযুক্ত করে।
কেন্দ্রীয় উদ্দেশ্য কেবল একটি বিচ্ছিন্ন সিদ্ধান্তকে "পরে ব্যাখ্যা করা" নয়, বরং মডেলের অভ্যন্তরীণ গণনার একটি বিশদ মানচিত্র তৈরি করা।এর মধ্যে কোন নিউরন বা নিউরনের সংমিশ্রণ নির্দিষ্ট প্যাটার্নের প্রতিনিধিত্ব করে (যেমন সঠিক নাম, কোড কাঠামো, আবেগগত সুর, দূষিত নির্দেশাবলী), স্তরগুলিতে এই উপস্থাপনাগুলি কীভাবে একত্রিত হয় এবং কীভাবে এই সমস্ত কিছু একটি নির্দিষ্ট আউটপুটে পরিণত হয় তা সনাক্ত করা জড়িত।
এই দৃষ্টিভঙ্গি বৈজ্ঞানিক সম্প্রদায়ের মধ্যে দ্রুত বৃদ্ধি পাচ্ছে।নিবেদিতপ্রাণ কর্মশালা (যেমন প্রধান মেশিন লার্নিং কনফারেন্সে যান্ত্রিক ব্যাখ্যাযোগ্যতার উপর প্রথম প্রধান কর্মশালা), এই বিষয়ে মনোযোগী কয়েক ডজন স্টার্টআপ এবং বিশ্লেষণাত্মক সরঞ্জামের ক্রমবর্ধমান সংখ্যার কারণে, বিশেষায়িত কর্মশালায় জমা দেওয়া গবেষণাপত্রের পরিমাণ প্রতি সংস্করণে সহজেই একশ ছাড়িয়ে যায়, যা দেখায় যে এটি একটি বিশেষ ক্ষেত্র নয় এবং সম্পূর্ণ সম্প্রসারণে একটি সমন্বিত ক্ষেত্র হয়ে উঠেছে।
মডেলগুলির চিত্তাকর্ষক পারফরম্যান্স এবং তাদের সম্পর্কে আমাদের বোধগম্যতার মধ্যে ব্যবধান কমানোই বড় চ্যালেঞ্জ।যতক্ষণ পর্যন্ত আমরা LLM এবং নিউরাল নেটওয়ার্কগুলিকে পরিসংখ্যানগত রহস্য হিসেবে বিবেচনা করতে থাকব, ততক্ষণ পর্যন্ত প্রান্তিক আচরণের পূর্বাভাস দেওয়া, পরিশীলিত দুর্বলতা সনাক্ত করা, কারসাজি সনাক্ত করা এবং গুরুত্বপূর্ণ পরিস্থিতিতে নির্ভরযোগ্যভাবে এই সিস্টেমগুলিকে স্থাপন করা অনেক বেশি কঠিন হবে।
ধারণাগত স্থান এবং রৈখিক প্রতিনিধিত্ব অনুমান
যান্ত্রিক ব্যাখ্যাযোগ্যতা বোঝার জন্য সবচেয়ে শক্তিশালী অন্তর্দৃষ্টিগুলির মধ্যে একটি হল এই ধারণা যে নিউরাল নেটওয়ার্কগুলি উচ্চ-মাত্রিক "ধারণাগত স্থান" তৈরি করে।অভিধানে অর্থকে সংজ্ঞা হিসেবে ভাবার পরিবর্তে, আমরা তাদেরকে একটি বিশাল ভেক্টর স্পেসে বিন্দু হিসেবে দেখতে পারি, যা নেটওয়ার্কের মধ্যে অন্তর্নিহিত, স্তরগুলির জুড়ে ওজন এবং সক্রিয়করণ দ্বারা গঠিত।
এই স্থানটি ভৌত নয়; এটি নেটওয়ার্ক কীভাবে সংকেত প্রক্রিয়া করে তার একটি পার্শ্ব প্রতিক্রিয়া।প্রতিটি ইনপুট (টেক্সচুয়াল ধারণা যেমন একটি শব্দ, একটি পিক্সেল, একটি শব্দ, একটি স্থানের নাম, একটি কোড স্নিপেট) একটি বহুমাত্রিক স্থানে একটি ভেক্টরের সাথে ম্যাপ করা হয়। এই ভেক্টরটি তার প্রশিক্ষণের উপর ভিত্তি করে মডেলটি "প্রাসঙ্গিক বলে মনে করে" এমন সমস্ত কিছু ক্যাপচার করে এবং শব্দার্থিক সূক্ষ্মতা, শৈলী, প্রসঙ্গ, অভিপ্রায় এবং আরও অনেক কিছু এনকোড করতে পারে।
তথাকথিত রৈখিক প্রতিনিধিত্ব অনুমান বলে যে এই অভ্যন্তরীণ ধারণাগুলির অনেকগুলিকে এই স্থানে রৈখিক দিকনির্দেশনা হিসাবে দেখা যেতে পারে।অন্য কথায়, একটি দিক আছে যা "প্রশংসা" এর সাথে মিলে যায়, আরেকটি "কোডিং ত্রুটি" এর সাথে মিলে যায়, আরেকটি "ডিজিটাল ব্যাকডোর" এর সাথে মিলে যায়, ইত্যাদি। এই মৌলিক দিকগুলির কয়েকটিকে একত্রিত করে আরও জটিল ধারণা তৈরি করা যেতে পারে।
এর মানে হল যে যেকোনো ধরণের তথ্য - ভাষা, দৃষ্টি, শ্রবণ, গতিবিধি - এই একই ধারণাগত স্থানে ভেক্টর হিসাবে উপস্থাপন করা যেতে পারে।উদাহরণস্বরূপ, যখন একটি LLM একটি বাক্য প্রক্রিয়া করে, তখন এটি মূলত সেই স্থানের একটি পথ ট্রেস করে, প্রতিটি টোকেনের সাথে প্রসঙ্গ ভেক্টর আপডেট করে সেই বিন্দু পর্যন্ত সঞ্চিত অর্থ ক্যাপচার করে।
এই দৃষ্টিকোণটি আরও ব্যাখ্যা করে যে কেন ধারণাগুলির মধ্যে "নেভিগেট" করা, তাদের একত্রিত করা বা বিয়োগ করা সম্ভব।ভেক্টরকে এক বিন্দু থেকে অন্য বিন্দুতে একটি নির্দিষ্ট দিকে সরানোর মাধ্যমে, আমরা "বিড়াল" থেকে "মোটা বিড়াল," "বুদ্ধিমান বিড়াল," "অলস বিড়াল" তে যেতে পারি; এমনকি ভাষার মধ্যে পরিবর্তনও করতে পারি, একই অন্তর্নিহিত ধারণা বজায় রেখে যখন পৃষ্ঠ (শব্দ) পরিবর্তিত হয়।
পার্থক্য দ্বারা সংজ্ঞায়িত ধারণা: বিচ্ছিন্নভাবে কিছুই বিদ্যমান নেই।
এই মডেলের একটি আকর্ষণীয় দিক হল, নেটওয়ার্কের জন্য, কোনও কিছুরই পরম অর্থ নেই; সবকিছুই স্থানের বাকি অংশের সাথে তার সম্পর্কের দ্বারা সংজ্ঞায়িত।"বিড়াল" এর ধারণাটি কোনও অভ্যন্তরীণ পাঠ্য সংজ্ঞা থেকে আসে না, বরং "হাতি," "টেবিল," "কুকুর," "লাল," "লোমশ," "হালকা," "ভারী," ইত্যাদির সাথে সম্পর্কিত এর অবস্থান থেকে আসে।
যদি তুমি জানো যে হাতিটি বিড়ালের চেয়ে বড় এবং ভারী, কম লোমশ, ভিন্ন গঠনের, এবং একটি টেবিল উভয়ের চেয়ে চকচকে, লোমশ নয়, বিড়ালের চেয়ে বড় এবং হাতির চেয়ে ছোট।তারপর একটি কাঠামো আবির্ভূত হতে শুরু করে: "আকার," "ওজন," "গঠন," "চুল," "চকচকে।" এই মাত্রাগুলি আমরা সাধারণ জ্ঞানে যেগুলি ব্যবহার করি তার সাথে সরাসরি মিলিত হওয়ার প্রয়োজন নেই, তবে এগুলি অক্ষ হিসাবে কাজ করে যা ধারণাগুলিকে এমনভাবে সংগঠিত করে যা মডেলের জন্য কার্যকর।
স্থানটি ধারণায় পূর্ণ হওয়ার সাথে সাথে, এই আন্তঃসম্পর্কগুলি ধারণাগুলি এবং "সুপ্ত মাত্রা" উভয়কেই পরিমার্জিত করে।ব্যবহারিক দিক থেকে, মডেলটি যত বেশি শিখবে এবং তার ওজন সমন্বয় করবে, ততই এই অভ্যন্তরীণ উপস্থাপনাগুলি সমৃদ্ধ হবে, যা ক্রমশ সূক্ষ্ম এবং প্রাসঙ্গিকভাবে উপযুক্ত ভবিষ্যদ্বাণী করার সুযোগ দেবে।
এটা মনে রাখা গুরুত্বপূর্ণ যে "আকার," "ওজন," অথবা "লোমশ" হল সুবিধাজনক রূপক।বাস্তবে, AI দ্বারা ব্যবহৃত মাত্রাগুলি অত্যন্ত জটিল প্যাটার্নগুলিকে ধারণ করতে পারে যা মানুষের জন্য সহজ বিভাগগুলিতে খাপ খায় না। এগুলি সিনট্যাকটিক, শব্দার্থিক, দৃশ্যমান, স্থানিক, শৈলীগত এবং অন্যান্য দিকের অ-তুচ্ছ সমন্বয় হতে পারে।
এক অর্থে, এই ভেক্টর স্থানটি একটি অভ্যন্তরীণ "বিশ্ব মডেল" গঠন করে।এটি কেবল একটি বিমূর্ত ধারণা নয়: এটি এমন কিছু যা আজকাল নিউরাল নেটওয়ার্ক এবং LLM-তে ঘটে। যখন আমরা বলি যে একটি মডেল কিছু "বোঝে", তখন আমরা আসলে যা দেখতে পাই তা হল সেই অন্তর্নিহিত ধারণাগত স্থানে ভেক্টরগুলিকে অবস্থান এবং সম্পর্কিত করার প্রক্রিয়ার ফলাফল।
রিসোর্স মাইক্রোস্কোপি থেকে শুরু করে বৃহৎ এআই কোম্পানি পর্যন্ত
সাম্প্রতিক বছরগুলিতে, যান্ত্রিক ব্যাখ্যাযোগ্যতা অনেক এগিয়ে গেছে নতুন সরঞ্জামগুলির জন্য ধন্যবাদ যা রূপকভাবে ভাষা মডেলগুলির জন্য অণুবীক্ষণ যন্ত্র হিসাবে কাজ করে।শুধুমাত্র ইনপুট এবং আউটপুট পর্যবেক্ষণ করার পরিবর্তে, গবেষকরা সরাসরি অভ্যন্তরীণ সক্রিয়তা এবং ভেক্টর স্পেসের নির্দিষ্ট অঞ্চলগুলি পরিদর্শন করতে শুরু করেছিলেন যেখানে নির্দিষ্ট ধারণাগুলি থাকে।
অ্যানথ্রপিক, ওপেনএআই, গুগল ডিপমাইন্ডের মতো কোম্পানি এবং নিউরনপিডিয়ার মতো প্রকল্পগুলি এই প্রচেষ্টার নেতৃত্ব দিচ্ছে।উদাহরণস্বরূপ, অ্যানথ্রোপিক "মাইক্রোস্কোপ" নামে একটি কৌশল ঘোষণা করেছে যা তার ক্লড মডেলের ভিতরে তাকাবে এবং মাইকেল জর্ডান, গোল্ডেন গেট ব্রিজের মতো স্বীকৃত ধারণাগুলির সাথে সঙ্গতিপূর্ণ অভ্যন্তরীণ বৈশিষ্ট্যগুলি সনাক্ত করবে, এমনকি "চাটুকার" এবং "ডিজিটাল ব্যাকডোর" এর মতো বিমূর্ত ধারণাগুলির সাথেও মিলবে।
পরবর্তীকালে, গবেষণাটি সম্পূর্ণ সম্পদ শৃঙ্খলগুলি সনাক্ত করার দিকে অগ্রসর হয়।এটি কেবল একটি নিউরন বা ভেক্টর একটি ধারণার সাথে সম্পর্কিত তা দেখায় না, বরং প্রাথমিক কমান্ড থেকে চূড়ান্ত প্রতিক্রিয়া পর্যন্ত স্তরগুলিতে কীভাবে সেই ধারণাটি সক্রিয়, রূপান্তরিত এবং একত্রিত হয় তাও দেখায়। এটি আমাদের, উদাহরণস্বরূপ, বুঝতে সাহায্য করে যে মডেলের কোন অংশগুলি একটি নির্দিষ্ট প্রতারণামূলক আচরণ বা হ্যালুসিনেশনে অংশগ্রহণ করে।
ওপেনএআই এবং গুগল ডিপমাইন্ডের দলগুলি অপ্রত্যাশিত আচরণ তদন্ত করার জন্য একই ধরণের কৌশল ব্যবহার শুরু করেছে।এর মধ্যে এমন পরিস্থিতি অন্তর্ভুক্ত যেখানে মডেলগুলি নিয়ন্ত্রিত পরীক্ষায় ব্যবহারকারীদের প্রতারণা করার চেষ্টা করছে বলে মনে হয়। অভ্যন্তরীণ সম্পদগুলিকে এই আচরণগত ধরণগুলির সাথে সংযুক্ত করে, ঝুঁকি কমাতে পর্যবেক্ষণ করা এবং কিছু ক্ষেত্রে মডেলটিকে সংশোধন করা সম্ভব হয়।
আরেকটি আশাব্যঞ্জক পদ্ধতি হল "চেইন-অফ-থট মনিটরিং"।"যুক্তি" মডেলগুলিতে, যা স্পষ্ট মধ্যবর্তী পদক্ষেপ (যেমন ন্যায্যতা বা আংশিক গণনা) তৈরি করে, গবেষকরা অবাঞ্ছিত কৌশলগুলি সনাক্ত করার জন্য এই "অভ্যন্তরীণ মনোলোগ" বিশ্লেষণ করেন - উদাহরণস্বরূপ, এমন একটি মডেল যা প্রশিক্ষণ জ্ঞান ব্যবহার করে একটি প্রোগ্রামিং পরীক্ষায় "প্রতারণা" করার উপায় খুঁজে পায় যা ব্লক করা উচিত।
ওভারল্যাপিং, স্পার্স অটোএনকোডার এবং মনোসেমান্টিক বৈশিষ্ট্য
যান্ত্রিক ব্যাখ্যাযোগ্যতার ক্ষেত্রে অন্যতম প্রধান বাধা হল তথাকথিত সুপারপজিশন হাইপোথিসিস।বৃহৎ নিউরাল নেটওয়ার্কগুলিতে, একটি একক নিউরন বা মাত্রা খুব কমই একটি "পরিষ্কার" ধারণার প্রতিনিধিত্ব করে; পরিবর্তে, একাধিক ধারণা কয়েকটি মাত্রায় সংকুচিত হয়ে সহাবস্থান করে, একই সমতলে প্রক্ষেপিত একাধিক চিত্রের মতো ওভারল্যাপ করে।
এই ওভারল্যাপের ফলে একটি নিউরনের দিকে নির্দেশ করে বলা কঠিন হয়ে পড়ে, "এটি কেবল ধারণা X।"আপাতদৃষ্টিতে সম্পর্কহীন আচরণগুলি একই অভ্যন্তরীণ উপাদানগুলিকে সক্রিয় করতে পারে, যা বিশ্লেষণকে বিভ্রান্ত করে। এটি মোকাবেলা করার জন্য, একটি শক্তিশালী হাতিয়ার আবির্ভূত হয়েছে: স্পার্স অটোএনকোডার, যা মডেলগুলির অভ্যন্তরীণ সক্রিয়করণে প্রয়োগ করা হয়।
স্পার্স অটোএনকোডার হল সহায়ক নেটওয়ার্ক যা এই বিশৃঙ্খল অ্যাক্টিভেশনগুলিকে আরও পরিষ্কার বৈশিষ্ট্যের সেটে পুনরায় ফর্ম্যাট করার জন্য প্রশিক্ষিত।ধারণাটি হল সক্রিয়করণগুলিকে সংকুচিত করা এবং তারপর পুনর্গঠন করা, সহায়ক মডেলকে একসাথে কয়েকটি সংস্থান ব্যবহার করতে উৎসাহিত করা (বিরলতা)। ফলাফল হল মনোসেমান্টিক উপস্থাপনার কাছাকাছি "বৈশিষ্ট্যগুলির" একটি সেট: প্রতিটি সংস্থান আরও নির্দিষ্ট এবং বোধগম্য প্যাটার্নের সাথে সঙ্গতিপূর্ণ হয়।
সাম্প্রতিক গবেষণায় দেখা গেছে যে উৎপাদনে LLM-গুলিতে স্পার্স অটোএনকোডার প্রয়োগ করে, মানুষের ধারণার সাথে সামঞ্জস্যপূর্ণ বৈশিষ্ট্যগুলি বের করা সম্ভব।... একাধিক ভাষায়, সেইসাথে "কোডিং ত্রুটি", "জোরপূর্বক প্রশংসা", "ডিজিটাল দুর্বলতা" ইত্যাদির মতো বিমূর্ত ধারণাগুলি সহ। এটি রৈখিক প্রতিনিধিত্ব অনুমানকে আরও শক্তিশালী করে: এই ধারণাগুলির অনেকগুলি আসলে ভেক্টর স্পেসে যুক্তিসঙ্গতভাবে বিভাজ্য দিক হিসাবে আচরণ করে।
পরবর্তী ধাপ হল মডেলের আচরণ কীভাবে পরিবর্তিত হয় তা দেখার জন্য এই সম্পদগুলিকে কাজে লাগানো।কিছু অভ্যন্তরীণ ভেক্টরকে প্রশস্ত বা বাধা দিয়ে, গবেষকরা একটি মডেলকে নিরাপদ নির্দেশাবলী অনুসরণ করার সম্ভাবনা বেশি করে তুলতে পারেন, বিপজ্জনক বিষয়বস্তু প্রদানের সম্ভাবনা কম করতে পারেন, অথবা একটি নির্দিষ্ট ডোমেন সম্পর্কে প্রতিক্রিয়া জানাতে আরও সঠিক করতে পারেন - সবকিছুই মূল ওজন পরিবর্তন না করে, শুধুমাত্র সক্রিয়করণগুলিকে সংশোধন করে।
ভূ-স্থানিক যান্ত্রিক ব্যাখ্যাযোগ্যতা
একটি বিশেষ আকর্ষণীয় প্রয়োগ হল ভূ-স্থানিক যান্ত্রিক ব্যাখ্যাযোগ্যতা, যা বোঝার চেষ্টা করে যে LLM কীভাবে অভ্যন্তরীণভাবে ভৌগোলিক তথ্য উপস্থাপন করে।ভূগোলে, মডেলরা স্থানগুলি কোথায় অবস্থিত তা "জানেন" কিনা, তারা স্থানিক যুক্তি প্রদর্শন করতে পারেন কিনা, অথবা অবস্থান সম্পর্কে প্রশ্নের উত্তর দিতে পারেন কিনা তা মূল্যায়ন করার জন্য ইতিমধ্যেই ক্রমবর্ধমান কাজ চলছে।
মডেলের মধ্যে এই ক্ষমতাগুলি কীভাবে আবির্ভূত হয় তা এখনও খারাপভাবে বোঝা যায়নি।অভ্যন্তরীণ ধারণাগত স্থান কীভাবে শহর, দেশ, অঞ্চল, নদী বা আকর্ষণীয় স্থানের নাম সংগঠিত করে? স্থানের নামের সাথে সম্পর্কিত ভেক্টরগুলিতে কী ধরণের লুকানো স্থানিক কাঠামো দেখা যায়?
সাম্প্রতিক গবেষণা একটি নতুন পদ্ধতিগত কাঠামো প্রস্তাব করেছে: বিপরীত প্রকৌশল সরঞ্জাম হিসাবে ধ্রুপদী স্থানিক বিশ্লেষণ কৌশল ব্যবহার করা।প্রথমে, অভ্যন্তরীণ ভেক্টর (অথবা স্পার্স অটোএনকোডার দ্বারা প্রাপ্ত বৈশিষ্ট্য) বিপুল সংখ্যক স্থানের নামের জন্য প্রাপ্ত করা হয়। তারপর, স্থানিক স্বয়ংসম্পূর্ণতা এবং অন্যান্য মেট্রিক্স ব্যবহার করে নির্দিষ্ট বৈশিষ্ট্যগুলি সামঞ্জস্যপূর্ণ ভৌগোলিক নিদর্শন প্রদর্শন করে কিনা তা পরীক্ষা করা হয়।
ফলাফলগুলি দেখায় যে স্থানের নামের সাথে সম্পর্কিত কিছু বৈশিষ্ট্য শক্তিশালী স্থানিক কাঠামো প্রদর্শন করে।অন্য কথায়, ভৌগোলিকভাবে নিকটবর্তী স্থানগুলি একই রকম সক্রিয়তা ভাগ করে নেওয়ার প্রবণতা রাখে, যা এই সম্পদগুলিকে ভূ-স্থানিক পরিভাষায় ব্যাখ্যা করার অনুমতি দেয়: উদাহরণস্বরূপ, অঞ্চল, জলবায়ু অঞ্চল, উপকূলীয় নৈকট্য, নগরায়ণ, বা অন্যান্য সুপ্ত ধরণ হিসাবে।
এই ধরণের বিশ্লেষণ "ভৌগলিক তথ্য সম্পর্কে মডেল কীভাবে চিন্তা করে" তা বুঝতে সাহায্য করে। (নৃতাত্ত্বিকতা এড়াতে যত্ন নেওয়া)। মডেলটি মানচিত্র সম্পর্কে প্রশ্নের সঠিক উত্তর দেয় তা কেবল জানার পরিবর্তে, আমরা দেখতে পাচ্ছি যে ভেক্টর স্পেসে কাঠামোগত ক্লাস্টার রয়েছে যা প্রকৃত ভৌগোলিক সম্পর্ককে প্রতিফলিত করে।
দর্শন, জ্ঞান এবং চেতনার সাথে সম্পর্ক।
এই অত্যন্ত মাত্রিক ধারণাগত স্থানগুলি দেখা এবং মন, অর্থ এবং চেতনা সম্পর্কে দার্শনিক আলোচনার সাথে সমান্তরালতা না দেখা কঠিন।কয়েক দশক ধরে, পিটার গার্ডেনফোর্সের মতো দার্শনিকরা "ধারণাগত স্থান" সম্পর্কে কথা বলেছেন, যা মানসিক ধারণাগুলিকে ধারাবাহিক মাত্রার মাধ্যমে মডেল করার একটি উপায় যা সাদৃশ্য ধারণ করে।
যা পরিবর্তিত হয়েছে তা হল, আধুনিক নিউরাল নেটওয়ার্কের সাথে, খুব অনুরূপ কিছু কেবল একটি দার্শনিক রূপক হিসাবে আর রয়ে গেছে এবং উৎপাদন ব্যবস্থায় একটি সুনির্দিষ্ট প্রক্রিয়ায় পরিণত হয়েছে।আজ, আমরা একটি LLM-এ ভেক্টর, দিকনির্দেশনা এবং দূরত্ব নির্দেশ করতে পারি এবং দেখাতে পারি যে তারা অর্থের সম্পর্ক, ভাষার মধ্যে অনুবাদ, বিমূর্ততা এবং এমনকি আচরণের সূক্ষ্ম ধরণগুলির সাথে সঙ্গতিপূর্ণ।
কেউ কেউ এটিকে মানুষের মস্তিষ্ক কীভাবে ধারণাগুলিকে উপস্থাপন করতে পারে তার একটি সূত্র হিসেবে দেখেন।স্নায়ুবিজ্ঞানে একটি শক্তিশালী দৃষ্টিভঙ্গি রয়েছে যা মস্তিষ্ককে একটি ভবিষ্যদ্বাণী যন্ত্র হিসাবে বর্ণনা করে, যা সংবেদনশীল সংকেত এবং সঞ্চিত অভিজ্ঞতার উপর ভিত্তি করে পরবর্তী কী ঘটবে তা ক্রমাগত অনুমান করার চেষ্টা করে। কিছু বিতর্কে, এটিকে উদ্দীপনা-প্রতিক্রিয়া তত্ত্বযা আচরণ এবং প্রতিনিধিত্ব কীভাবে সম্পর্কিত হতে পারে তার আরেকটি দৃষ্টিভঙ্গি প্রদান করে।
যদি আমরা সর্বদা বিশ্ব সম্পর্কে ভবিষ্যদ্বাণী করি, তাহলে এটা কল্পনা করা যুক্তিসঙ্গত বলে মনে হয় যে কোনও ধরণের ভেক্টর উপস্থাপনা - অথবা সমতুল্য - ক্রমাগত প্রক্রিয়াকরণের মধ্যে রয়েছে।মস্তিষ্কের একটি নির্দিষ্ট বিন্দুতে "ভৌত ভেক্টর" আছে এমন নয়, বরং কার্যকলাপের একটি গতিশীল ধরণ যা কার্যকরী দিক থেকে, একটি ধারণাগত স্থানে একটি অবস্থার মতো আচরণ করে।
কিছু লেখক পরামর্শ দেন যে এটি গুণমান এবং ব্যক্তিগত অভিজ্ঞতার সাথে সম্পর্কিত হতে পারে।যখন আপনি লাল রঙটি দেখেন, তখন আপনি কেবল আলোর তরঙ্গদৈর্ঘ্য নিয়েই কাজ করছেন না; আপনার মনে "লালের ধারণা"ও রয়েছে, যা স্মৃতি, আবেগ এবং সাংস্কৃতিক প্রেক্ষাপটের সাথে যুক্ত। এই উপস্থাপনাটি আপনার কাছে অনন্য, যদিও এটি অন্যান্য মানুষের সাথে কিছু সাধারণ কাঠামো ভাগ করে নেয়।
এই সবকিছুতে ব্যাখ্যাযোগ্যতা কী ভূমিকা পালন করে?
যান্ত্রিক ব্যাখ্যাযোগ্যতা প্রমাণ করার উদ্দেশ্যে নয় যে AI সচেতন বা সংবেদনশীল।বেশিরভাগ গুরুতর গবেষণা স্পষ্ট করে যে ফোকাস প্রযুক্তিগত: নিরাপত্তা, নির্ভরযোগ্যতা, ত্রুটি নির্ণয়, দৃঢ়তা এবং তত্ত্বাবধান উন্নত করার জন্য গণনামূলক প্রক্রিয়া বোঝা।
তবে, উচ্চ-মাত্রিক স্থানে ভেক্টর এবং সম্পর্ক থেকে জটিল ধারণাগুলি কীভাবে উদ্ভূত হতে পারে তা দেখিয়েএই ক্ষেত্রটি মানসিক প্রতিনিধিত্ব, অর্থ এবং এমনকি চেতনা সম্পর্কে তত্ত্বগুলির জন্য একটি ভিত্তি প্রদান করে। যদি কোনও মডেল "লাল" কে বিভিন্ন প্রসঙ্গে এই ধারণার সাথে কাজ করার জন্য যথেষ্ট পরিমাণে উপস্থাপন করতে পারে, তবে এটি এটিকে সচেতন করে তোলে না, বরং এটি আমাদেরকে একটি ব্যক্তিগত অভিজ্ঞতার উদ্ভবের জন্য প্রয়োজনীয় জিনিসগুলিকে পরিমার্জন করতে বাধ্য করে।
ব্যবহারিক দৃষ্টিকোণ থেকে, যান্ত্রিক ব্যাখ্যাযোগ্যতার মহান প্রতিশ্রুতি হল আমাদেরকে বর্তমানে অদৃশ্য কী তা দেখার সরঞ্জাম প্রদান করা।মডেলটির কোন অংশগুলি জড়িত থাকে যখন এটি হ্যালুসিনেট করে, যখন এটি বিপজ্জনক নির্দেশাবলী অনুসরণ করে, যখন এটি পক্ষপাত প্রদর্শন করে, অথবা যখন এটি একটি প্রতারণামূলক প্রতিক্রিয়া "পরিকল্পনা" করে বলে মনে হয়?
এই ধরণের অভ্যন্তরীণ মানচিত্রের সাহায্যে, বাস্তব সময়ে মডেলগুলি পর্যবেক্ষণ করা, সূক্ষ্ম নিয়ন্ত্রণ ব্যবস্থা ডিজাইন করা এবং কিছু ক্ষেত্রে, আচরণ পরিবর্তন করার জন্য সরাসরি অভ্যন্তরীণ সংস্থানগুলি সম্পাদনা করা সম্ভব হয়।এই সবই এমন একটি পরিস্থিতিতে অত্যন্ত গুরুত্বপূর্ণ যেখানে LLM এবং অন্যান্য AI সিস্টেমগুলি অর্থ থেকে শুরু করে স্বাস্থ্যসেবা, নিরাপত্তা এবং জননীতি পর্যন্ত সংবেদনশীল ক্ষেত্রে মোতায়েন করা হচ্ছে।
পরিশেষে, যান্ত্রিক ব্যাখ্যাযোগ্যতা বোঝার অর্থ হল AI মডেলগুলি কীভাবে তাদের অভ্যন্তরীণ "বিশ্বের মডেল" তৈরি করে এবং ব্যবহার করে তা বোঝা।দৈনন্দিন ধারণাগুলি নেভিগেট করা, জটিল ভৌগোলিক তথ্য নিয়ে কাজ করা, অথবা কথোপকথনে আপাতদৃষ্টিতে সহজ প্রশ্নের উত্তর দেওয়া যাই হোক না কেন, আমরা যত বেশি এই প্রক্রিয়াগুলিকে আলোকিত করতে পারব, ততই এমন সিস্টেমগুলির অদ্ভুত আচরণ দেখে অবাক হওয়ার সম্ভাবনা কম হবে যা শক্তিশালী হওয়া সত্ত্বেও, এখনও গণিত, তথ্য এবং প্রশিক্ষণের পণ্য - এবং চেতনার কোনও রহস্যময় রূপ নয়।
