परिचय
Dify में, आप कुछ क्रॉलर टूल का उपयोग कर सकते हैं, जैसे कि जिना, जो वेब पेजों को मार्कडाउन प्रारूप में परिवर्तित कर सकता है जिसे एलएलएम पढ़ सकते हैं।
हाल ही में, वर्डवेयर.एआई इसने हमारे ध्यान में लाया है कि हम एलएलएम विश्लेषण के लिए सोशल मीडिया को खंगालने के लिए क्रॉलर का उपयोग कर सकते हैं, और अधिक दिलचस्प एप्लिकेशन बना सकते हैं।
हालाँकि, यह जानते हुए कि एक्स (पूर्व में ट्विटर) ने 2 फरवरी, 2023 को मुफ्त एपीआई एक्सेस प्रदान करना बंद कर दिया था और तब से अपने एंटी-क्रॉलिंग उपायों को अपग्रेड कर दिया है। जीना जैसे उपकरण सीधे एक्स की सामग्री तक पहुंचने में असमर्थ हैं।
9 फरवरी से, हम अब v2 और v1.1 दोनों, ट्विटर एपीआई तक मुफ्त पहुंच का समर्थन नहीं करेंगे। इसके स्थान पर एक सशुल्क बेसिक टियर उपलब्ध होगा
– डेवलपर्स (@XDevelopers) 2 फरवरी 2023
सौभाग्य से, Dify के पास एक HTTP टूल भी है, जो हमें HTTP अनुरोध भेजकर बाहरी क्रॉलिंग टूल को कॉल करने की अनुमति देता है। आएँ शुरू करें!
आवश्यक शर्तें
क्रॉलबेस पंजीकृत करें
क्रॉलबेस व्यवसायों और डेवलपर्स के लिए डिज़ाइन किया गया एक ऑल-इन-वन डेटा क्रॉलिंग और स्क्रैपिंग प्लेटफ़ॉर्म है।
इसके अलावा, क्रॉलबेस स्क्रैपर का उपयोग करने से आप एक्स, फेसबुक और इंस्टाग्राम जैसे सोशल प्लेटफॉर्म से डेटा स्क्रैप कर सकते हैं।
रजिस्टर करने के लिए क्लिक करें: Crawlbase.com
Dify को स्थानीय स्तर पर तैनात करें
Dify एक ओपन-सोर्स एलएलएम ऐप डेवलपमेंट प्लेटफॉर्म है। आप क्लाउड सेवा चुन सकते हैं या डॉकर कंपोज़ का उपयोग करके इसे स्थानीय रूप से तैनात कर सकते हैं।
कृपया विस्तृत मार्गदर्शन के लिए Dify – दस्तावेज़ देखें। Dify को तैनात करने के तरीके पर संक्षिप्त ट्यूटोरियल निम्नलिखित हैं:
क्लोन डिफाइ
कॉपीगिट क्लोन https://github.com/langgenius/dify.git
Dify प्रारंभ करें
Copycd diify/docker cp .env.example .env docker compose up -d
एलएलएम प्रदाताओं को कॉन्फ़िगर करें
खाता सेटिंग में मॉडल प्रदाता कॉन्फ़िगर करें:
एक चैटफ़्लो बनाएं
अब, आइए चैटफ़्लो शुरू करें।
शुरू करने के लिए ब्लैंक से क्रिएट पर क्लिक करें:
आरंभिक चैटफ़्लो इस प्रकार होना चाहिए:
चैटफ़्लो में नोड्स जोड़ें
नोड प्रारंभ करें
स्टार्ट नोड पर क्लिक करें और एक नया वेरिएबल जोड़ें:
कोड नोड
के अनुसार क्रॉलबेस दस्तावेज़वेरिएबल यूआरएल (इसका उपयोग निम्नलिखित नोड में किया जाएगा) https%3A%2F%2Ftwitter.com%2F + उपयोगकर्ता आईडी होना चाहिए, जैसे एलोन मस्क के लिए https%3A%2F%2Ftwitter.com%2Felonmusk।
उपयोगकर्ता आईडी को पूर्ण URL में बदलने के लिए, हम उपयोगकर्ता आईडी के साथ उपसर्ग https%3A%2F%2Ftwitter.com%2F को एकीकृत करने के लिए निम्नलिखित पायथन कोड का उपयोग कर सकते हैं:
प्रतिलिपि def मुख्य (आईडी: str) -> तानाशाही: वापसी { “यूआरएल”: “https%3A%2F%2Ftwitter.com%2F”+id, }
एक कोड नोड जोड़ें और पायथन चुनें, और इनपुट और आउटपुट वेरिएबल नाम सेट करें:
HTTP अनुरोध नोड
के आधार पर क्रॉलबेस दस्तावेज़किसी ट्विटर उपयोगकर्ता की प्रोफ़ाइल को http प्रारूप में स्क्रैप करने के लिए, हमें निम्नलिखित प्रारूप में HTTP अनुरोध नोड को पूरा करना होगा:
महत्वपूर्ण बात यह है कि सुरक्षा कारणों से टोकन मूल्य को सीधे सादे पाठ के रूप में दर्ज नहीं करना सबसे अच्छा है, क्योंकि यह एक अच्छा अभ्यास नहीं है। दरअसल, Dify के नवीनतम संस्करण में, हम टोकन मान सेट कर सकते हैं पर्यावरण चर. टोकन मान सेट करने के लिए env – वेरिएबल जोड़ें पर क्लिक करें, ताकि सादा पाठ नोड में दिखाई न दे।
जाँच करना आपकी क्रॉलबेस एपीआई कुंजी के लिए।
/ टाइप करके, आप आसानी से एपीआई कुंजी को एक वेरिएबल के रूप में सम्मिलित कर सकते हैं।
यह सही ढंग से काम करता है या नहीं यह जांचने के लिए इस नोड के प्रारंभ बटन को टैप करें:
एलएलएम नोड
अब, हम क्रॉलबेस द्वारा स्क्रैप किए गए परिणाम का विश्लेषण करने और अपने कमांड को निष्पादित करने के लिए एलएलएम का उपयोग कर सकते हैं।
मान संदर्भ HTTP अनुरोध नोड से मुख्य भाग होना चाहिए।
निम्नलिखित एक नमूना सिस्टम प्रॉम्प्ट है.
परीक्षण के लिए चलाना
टेस्ट रन शुरू करने के लिए पूर्वावलोकन पर क्लिक करें और आईडी में ट्विटर यूजर आईडी इनपुट करें
उदाहरण के लिए, मैं एलोन मस्क के ट्वीट का विश्लेषण करना चाहता हूं और उनके लहजे में ग्लोबल वार्मिंग के बारे में एक ट्वीट लिखना चाहता हूं।
क्या यह एलोन जैसा लगता है? ज़ोर-ज़ोर से हंसना
ऊपरी दाएं कोने में प्रकाशित करें पर क्लिक करें और इसे अपनी वेबसाइट में जोड़ें।
मस्ती करो!
अंततः…
अन्य एक्स(ट्विटर) क्रॉलर
ट्विटर क्रॉलर सेवा का उपयोग किया जाता है वर्डवेयर.एआई पहले उल्लेख किया गया है ट्वीट स्क्रेपर V2लेकिन होस्ट किए गए प्लेटफ़ॉर्म के लिए सदस्यता क्षमा करें $49 प्रति माह है.
लिंक
अंतिम बार 6 मिनट पहले अपडेट किया गया