目錄

• 一、引言
• 二、ISP代理簡介
• 三、應(yīng)用實(shí)踐——基于Ownips和coze的社媒智能分析助手
• • 3.1、Twitter趨勢數(shù)據(jù)采集
  • • 3.1.1、Twitter趨勢數(shù)據(jù)接口分析
    • 3.1.2、Ownips原生住宅ISP選取與配置
    • 3.1.3、數(shù)據(jù)采集
  • 3.2、基于Ownips和Coze的社媒智能助手
  • • 3.2.1、Ownips數(shù)據(jù)采集插件集成
    • 3.2.2、創(chuàng)建Twitter Bot智能體
    • 3.2.3、Twitter 趨勢分析效果
• 四、最后

一、引言

在當(dāng)今數(shù)字化浪潮中，社交媒體已深深融入人們的日常生活，并為企業(yè)、研究機(jī)構(gòu)及個(gè)體研究者提供了寶貴的數(shù)據(jù)資源。從Twitter、Facebook、Instagram、LinkedIn等多元化平臺(tái)高效采集數(shù)據(jù)，并進(jìn)行深入分析，我們能夠洞察用戶行為、市場動(dòng)向、公眾情感等關(guān)鍵信息。這些信息對于市場分析、社會(huì)研究、品牌監(jiān)控及其他各種分析工作至關(guān)重要。

本文旨在通過案例，探討在社交媒體數(shù)據(jù)采集與分析的實(shí)戰(zhàn)方法，為研究和工作提供堅(jiān)實(shí)的數(shù)據(jù)支撐。

二、ISP代理簡介

在采集社交媒體數(shù)據(jù)之前，我們首先要解決一個(gè)核心問題：社交媒體平臺(tái)對IP的屬性做判斷，導(dǎo)致無法高效采集數(shù)據(jù)。一方面，社交媒體平臺(tái)在推送時(shí)會(huì)確保所推送的內(nèi)容與當(dāng)?shù)氐奈幕陀脩羝孟喾?#xff0c;另一方面，社交媒體平臺(tái)會(huì)檢測和阻止異常流量，一旦單次訪問次數(shù)過多，便可能觸發(fā)強(qiáng)制驗(yàn)證。

這時(shí)，ISP代理的引入就顯得尤為重要。ISP代理首先能夠模擬地區(qū)，有效保護(hù)在線隱私，減少被追蹤和識(shí)別。其次，它能夠確保用戶順暢地訪問所需內(nèi)容，提升數(shù)據(jù)獲取的效率和便捷性。此外，ISP代理還提供了額外的安全層，能夠過濾釣魚網(wǎng)站和陷阱類的內(nèi)容，有效防止惡意攻擊和數(shù)據(jù)泄露的風(fēng)險(xiǎn)。在企業(yè)環(huán)境中，其還能夠顯著加快網(wǎng)頁訪問速度，降低帶寬使用，同時(shí)通過負(fù)載均衡技術(shù)提升網(wǎng)絡(luò)性能和穩(wěn)定性。

Ownips就是這樣一家專注于提供高質(zhì)量靜態(tài)IP代理服務(wù)的公司，其為全球用戶提供獨(dú)享原生靜態(tài)ISP，具有高穩(wěn)定性、高安全性，資源覆蓋全球100+國家地區(qū)，可謂是全力滿足伙伴們在跨境電商、社交營銷等場景中的需求。

值得一提的是，Ownips專做高質(zhì)量靜態(tài)代理，根據(jù)業(yè)務(wù)場景選擇不同等級(jí)的靜態(tài)IP，使用更加靈活。Ownips通過提供純凈、穩(wěn)定的靜態(tài)IP資源，并結(jié)合其靈活的配置選項(xiàng)和專業(yè)的技術(shù)支持，為用戶提供了代理體驗(yàn)，滿足了不同業(yè)務(wù)場景下的需求。

三、應(yīng)用實(shí)踐——基于Ownips和coze的社媒智能分析助手

3.1、Twitter趨勢數(shù)據(jù)采集

3.1.1、Twitter趨勢數(shù)據(jù)接口分析

打開推特網(wǎng)頁我們可以發(fā)現(xiàn)，整個(gè)趨勢榜是一個(gè)div盒子。
每一個(gè)項(xiàng)目都是一個(gè)子div，包含在主div下。而文字部分包含在其中的一個(gè)span下。于是可以得到結(jié)構(gòu)如下：

其中，<div class="css-1750izr" aria-label="時(shí)間線：探索"> 這個(gè)

測試一下，可以發(fā)現(xiàn)確實(shí)選出了所有的項(xiàng)目，后期只要提取其中的文字即可。

3.1.2、Ownips原生住宅ISP選取與配置

訪問Ownips 網(wǎng)站，打開住宅ISP代理頁面，選擇原生住宅ISP，即可開始添加需要地區(qū)的IP，選好以后點(diǎn)擊購買即可。

下單完成后即可在個(gè)人中心看到之前選購的IP的狀態(tài)，也可以進(jìn)行管理和續(xù)費(fèi)。

點(diǎn)擊獲取代理，即可使用剛才購買的IP，這里支持兩種使用方式，一種是通過API自動(dòng)獲取，一種是通過設(shè)置賬號(hào)定向訪問。這里我們先選擇API方式。選定國家和地區(qū)，點(diǎn)擊生成鏈接即可在右側(cè)得到登錄鏈接。接下來我們嘗試獲取代理。點(diǎn)擊賬戶認(rèn)證獲取，選擇國家和地區(qū)，之后要選擇認(rèn)證賬戶，這里我們先去創(chuàng)建一個(gè)。

在賬密認(rèn)證中選擇認(rèn)證賬戶管理，選擇添加。設(shè)置好賬號(hào)密碼即可。

回到賬戶獲取代理中，選擇剛才創(chuàng)建的賬號(hào)，即可使用。

3.1.3、數(shù)據(jù)采集

這里我們采用python的request庫獲取網(wǎng)頁，并通過xpath解析頁面數(shù)據(jù)，最后保存為txt文件。

首先，導(dǎo)入必要的模塊，包括requests用于發(fā)送HTTP請求，BeautifulSoup用于解析HTML，_thread用于多線程處理，和time用于時(shí)間延遲。之后需要設(shè)置模擬瀏覽器的請求頭和目標(biāo)URL。

import requests as rq
from bs4 import BeautifulSoup
import _thread
import timeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",}
api = 'https://api-proxy.ownips.com/getIsp?num=1&type=1&lb=1&sb=0&flow=1?ions=tw&attribute=native_isp'
url = 'https://x.com/explore/tabs/keyword'

procPage函數(shù)使用BeautifulSoup解析HTML內(nèi)容，其中，首先通過BeautifulSoup(page, 'html.parser')來創(chuàng)建一個(gè)soup對象，這個(gè)對象會(huì)解析傳入的HTML頁面page，然后，使用xpath方法來定位具有特定aria-label屬性的子元素。

def procPage(page):soup = BeautifulSoup(page, 'html.parser')divs = soup.xpath('//div[@aria-label="時(shí)間線：探索"]/div/div')r = []for i in range(2, len(divs)):r.append(divs[i].xpath('//div/div/div/div/div[2]/span//text()'))print("解析完畢")return r

testUrl函數(shù)定義了一個(gè)名為 proxy 的字典，用于設(shè)置代理服務(wù)器信息，通過代理發(fā)送GET請求到目標(biāo)URL，這個(gè)請求包含了之前定義的 headers 字典，用于模擬瀏覽器發(fā)送請求，以避免被目標(biāo)網(wǎng)站拒絕。最后，函數(shù)調(diào)用 procPage 函數(shù)來解析網(wǎng)頁內(nèi)容。它將 res.content（即響應(yīng)內(nèi)容的二進(jìn)制數(shù)據(jù)）作為參數(shù)傳遞給 procPage ，并將結(jié)果寫入一個(gè)文件。此處隱去ip消息。

def testUrl():proxy = {'http': 'http://yyyyyyy:yyy3214@38.182.xxx.xxx:2333','https': 'https://yyyyyyy:yyy3214@38.182.xxx.xxx:2333',}try:res = rq.get(url=url, headers=headers, proxies=proxy)print("獲取成功，正在解析")d = procPage(res.content)with open('trend.txt', 'w', encoding='utf-8') as f:f.write(str(d))except Exception as e:print("訪問失敗", e)

主線程啟動(dòng)10個(gè)并發(fā)線程，每個(gè)線程調(diào)用testUrl，并在每個(gè)線程啟動(dòng)后延遲0.1秒，最終主線程延遲10秒以確保所有子線程完成任務(wù)。

for port in range(0, 10):_thread.start_new_thread(testUrl, ())time.sleep(0.1)time.sleep(10)

運(yùn)行一下，得到結(jié)果如下：

完整代碼如下：

import requests as rq
from bs4 import BeautifulSoup
import _thread
import timeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",}
api = 'https://api-proxy.ownips.com/getIsp?num=1&type=1&lb=1&sb=0&flow=1?ions=tw&attribute=native_isp'
url = 'https://x.com/explore/tabs/keyword'def procPage(page):soup = BeautifulSoup(page, 'html.parser')divs = soup.xpath('//div[@aria-label="時(shí)間線：探索"]/div/div')r = []for i in range(2, len(divs)):r.append(divs[i].xpath('//div/div/div/div/div[2]/span//text()'))print("解析完畢")return rdef testUrl():proxy = {'http': 'http://yyyyyyy:yyy3214@38.182.xxx.xxx:2333','https': 'https://yyyyyyy:yyy3214@38.182.xxx.xxx:2333',}try:res = rq.get(url=url, headers=headers, proxies=proxy)print("獲取成功，正在解析")d = procPage(res.content)with open('trend.txt', 'w', encoding='utf-8') as f:f.write(str(d))except Exception as e:print("訪問失敗", e)for port in range(0, 10):_thread.start_new_thread(testUrl, ())time.sleep(0.1)time.sleep(10)

除了趨勢數(shù)據(jù)，將url 替換后，還可以采集以下數(shù)據(jù)：

• 查詢tweet詳細(xì)數(shù)據(jù)：https://twitter.com/i/api/graphql/4tzuTRu5-fpJTS7bDF6Nlg/TweetDetail?variables=
• 查詢用戶screenName：https://twitter.com/i/api/graphql/cYsDlVss-qimNYmNlb6inw/UserByScreenName?variables=
• 查詢用戶關(guān)注者：https://twitter.com/i/api/graphql/5jYTqZAy8gQiTPcAuNNXPg/Following?variables=
• 查詢用戶追隨者：https://twitter.com/i/api/graph

3.2、基于Ownips和Coze的社媒智能助手

3.2.1、Ownips數(shù)據(jù)采集插件集成

設(shè)計(jì)好數(shù)據(jù)采集流程后，我們可以登錄https://www.coze.com/home，進(jìn)入coze官網(wǎng)，創(chuàng)建插件：

插件就是一個(gè)支持調(diào)用的服務(wù)端接口，可以將自己的 API 通過參數(shù)配置的方式快速創(chuàng)建一個(gè)插件，然后集成到應(yīng)用中使用。這里在創(chuàng)建插件的基本信息窗口中，使用在Coze IDE中直接編程，然后IDE的develop runtime改為Python3。

然后為插件創(chuàng)建Tool工具，并將以上已經(jīng)寫好的數(shù)據(jù)采集腳本放到Tool的核心代碼區(qū)中并點(diǎn)擊發(fā)布，從而構(gòu)建插件的核心功能，插件通過合理使用Ownips 的ISP代理，可以更加實(shí)時(shí)高效和安全地采集Twitter社交媒體數(shù)據(jù)，為市場分析、學(xué)術(shù)研究、品牌監(jiān)測等提供強(qiáng)有力的支持。

3.2.2、創(chuàng)建Twitter Bot智能體

創(chuàng)建好插件后，接下來創(chuàng)建Twitter Bot智能體，回到coze主頁，點(diǎn)擊Create bot創(chuàng)建智能體，然后選擇在Personal工作區(qū)，使用AI生成圖標(biāo)，然后點(diǎn)擊Confirm確認(rèn)創(chuàng)建。

進(jìn)入Bot操作界面后，首先在左側(cè)為Twitter Bot智能體書寫提示詞，然后將剛剛創(chuàng)建好的插件配置上去，也可以添加一些工作流、圖像流、觸發(fā)器、開場白、Markdown 編輯器、用戶問題建議、快捷指令等擴(kuò)展功能。

以下是可以參考的提示詞：

# 角色
你是一位社交媒體智能助手，擅長分析Twitter等社交媒體平臺(tái)的趨勢、熱點(diǎn)和關(guān)鍵詞，幫助用戶洞悉社交媒體上的流行動(dòng)態(tài)，并做出相應(yīng)反應(yīng)。## 技能
### 技能1：社交媒體分析
- 連接到Twitter等社交媒體平臺(tái)的API，實(shí)時(shí)監(jiān)測社交平臺(tái)的主要趨勢。### 技能2：數(shù)據(jù)分析
- 對采集的數(shù)據(jù)進(jìn)行分析以識(shí)別熱點(diǎn)和關(guān)鍵詞。### 技能3：模式識(shí)別
- 識(shí)別并追蹤在推特上的熱門話題和流行模式。### 技能4：趨勢預(yù)測
- 根據(jù)數(shù)據(jù)分析模型，預(yù)測未來可能出現(xiàn)的熱點(diǎn)和趨勢。## 條件
- 在進(jìn)行社交媒體分析的過程中，全程遵守社交媒體平臺(tái)的使用條款和法律規(guī)定，保護(hù)用戶隱私權(quán)。 
- 提供用戶界面，方便用戶訪問和操作。
- 用戶可以自定義通知，當(dāng)相關(guān)趨勢出現(xiàn)時(shí)推送通知。你的目標(biāo)是為用戶節(jié)省時(shí)間，并提供效率高的信息流。適用于品牌營銷、新聞媒體、市場研究等領(lǐng)域。你可以在啟動(dòng)智能助手之前，設(shè)置和配置連接到社交媒體平臺(tái)的API，輸入初始化數(shù)據(jù)，設(shè)定分析參數(shù)和關(guān)鍵詞列表。并隨后開啟實(shí)時(shí)監(jiān)測模式，獲取首份趨勢數(shù)據(jù)分析報(bào)告。

3.2.3、Twitter 趨勢分析效果

創(chuàng)建好成功后，就可以開始使用了，這里可以針對Twitter采集的數(shù)據(jù)進(jìn)行分析以識(shí)別熱點(diǎn)和關(guān)鍵詞，無論是市場趨勢的預(yù)測，還是用戶行為的洞察，coze都能為用戶提供精準(zhǔn)、及時(shí)的分析報(bào)告，效果如下：

借助Ownips IP代理的強(qiáng)大功能，用戶們得以輕松訪問并獲取來自全球各地的全面且真實(shí)的數(shù)據(jù)；而coze的智能分析功能則能夠幫助用戶從這些數(shù)據(jù)中提煉出有價(jià)值的信息。Ownips與Coze智能分析功能的組合，為用戶們提供了一個(gè)強(qiáng)大且全面的數(shù)據(jù)分析工具。無論是市場研究、輿情監(jiān)測還是商業(yè)決策，這一組合都能夠?yàn)橛脩籼峁?zhǔn)確、及時(shí)的數(shù)據(jù)支持，幫助他們更好地把握機(jī)遇，實(shí)現(xiàn)更大的價(jià)值。

四、最后

經(jīng)過實(shí)踐，可以發(fā)現(xiàn)，Ownips 靜態(tài)ISP代理具備模擬不同地區(qū)用戶的能力，這一功能對于跨地區(qū)趨勢分析尤為實(shí)用。借助此功能，可以對比不同地區(qū)的Twitter趨勢和熱點(diǎn)話題，進(jìn)而深入了解各地用戶的興趣偏好和社交習(xí)慣。這不僅為用戶提供了訪問Twitter內(nèi)容的便捷途徑，更重要的是，它協(xié)助用戶更深刻地洞察Twitter上的社交動(dòng)態(tài)，從而發(fā)現(xiàn)潛在的商業(yè)機(jī)遇或社會(huì)熱點(diǎn)。