Ai Model Verification
AI model verification अब MIT के SymGen टूल की मदद से और आसान हो गया है। यह अभिनव सिस्टम उपयोगकर्ताओं को बड़े भाषा मॉडल द्वारा संदर्भित डेटा को तेजी से सत्यापित करने की सुविधा देता है, जिससे AI त्रुटियों को आसानी से पहचाना जा सकता है। भले ही उनकी क्षमताएं प्रभावशाली हों, लेकिन बड़े भाषा मॉडल (large language models) अभी भी पूरी तरह से सही नहीं हैं। ये आर्टिफिशियल इंटेलिजेंस मॉडल कभी-कभी “हैलुसिनेट” करते हैं, जिससे वे गलत या बिना सपोर्ट वाली जानकारी बना देते हैं।
इस हैलुसिनेशन की प्रॉब्लम की वजह से, LLM की जवाबों को अक्सर इंसानी फैक्ट-चेकर्स द्वारा चेक किया जाता है, खासकर जब मॉडल को हेल्थकेयर या फाइनेंस जैसी इंपॉर्टेंट जगहों पर यूज़ किया जाता है। हालांकि, वेरिफिकेशन प्रोसेस में अक्सर लोगों को लंबे-लंबे डॉक्युमेंट्स को पढ़ना पड़ता है, जो मॉडल द्वारा रेफर किए गए होते हैं। यह काम इतना मुश्किल और एरर-प्रोन हो सकता है कि यह कुछ यूज़र्स को जनरेटिव AI मॉडल को अपनाने से रोक सकता है।
इंसानी वेरिफायर्स की मदद के लिए, MIT के रिसर्चर्स ने एक यूज़र-फ्रेंडली सिस्टम बनाया है, जो लोगों को LLM के जवाबों को जल्दी से चेक करने में मदद करता है। इस टूल को SymGen कहा जाता है, और यह एक LLM को उस सोर्स डॉक्युमेंट में सीधे उस जगह पर रेफरेंस देने की अनुमति देता है, जहां से उसने जानकारी ली थी, जैसे कि डेटाबेस में एक खास सेल।
यूज़र्स इसके टेक्स्ट के हाइलाइटेड हिस्सों पर होवर करते हैं ताकि मॉडल द्वारा बनाए गए उस खास शब्द या फ्रेज के लिए यूज़ किए गए डेटा को देख सकें। उसी समय, अनहाइलाइटेड हिस्से यूज़र्स को दिखाते हैं कि किन फ्रेज़ को ज्यादा ध्यान देकर चेक करने की जरूरत है।
“हम लोगों को यह ऑप्शन देते हैं कि वे टेक्स्ट के उन हिस्सों पर ध्यान दे सकें, जिनकी उन्हें ज्यादा फिक्र होनी चाहिए। अंत में, SymGen लोगों को मॉडल की जवाबों पर ज्यादा भरोसा दे सकता है, क्योंकि वे आसानी से चेक कर सकते हैं कि जानकारी सही है या नहीं,” कहते हैं शैनन शेन, जो इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर साइंस के स्टूडेंट हैं और SymGen पर पेपर के को-ऑथर हैं।
एक यूज़र स्टडी के माध्यम से, शेन और उनके कोलैबोरेटर्स ने पाया कि SymGen ने वेरिफिकेशन टाइम को लगभग 20 प्रतिशत तक तेज कर दिया, मैन्युअल मेथड्स की तुलना में। SymGen यूज़र्स को जनरेटिव AI मॉडल की गलतियों की पहचान करने में मदद कर सकता है, चाहे वह क्लिनिकल नोट्स बनाना हो या फाइनेंशियल मार्केट रिपोर्ट का सारांश।
SymGen को और बेहतर बनाने के लिए, रिसर्चर्स इसे फ्री टेक्स्ट और दूसरे डेटा फॉर्म्स के साथ काम करने के लिए डेवलप कर रहे हैं।