您現(xiàn)在的位置：首頁(yè) > IT資訊 > 軟件研發(fā) > Python for Data Science：如何通過(guò)Internet的前300個(gè)API來(lái)抓取網(wǎng)站數(shù)據(jù)的？

Python for Data Science：如何通過(guò)Internet的前300個(gè)API來(lái)抓取網(wǎng)站數(shù)據(jù)的？

2020-07-16 16:28:47　|　來(lái)源：中培企業(yè)IT培訓(xùn)網(wǎng)

Python爬蟲(chóng)是很多編程人員都了解的。但是對(duì)于Python for Data Science：如何通過(guò)Internet的前300個(gè)API來(lái)抓取網(wǎng)站數(shù)據(jù)的知道的人就不多了。今天我們將通過(guò)API World前300個(gè)API 抓取網(wǎng)站以收集數(shù)據(jù)。這樣做的主要目的是，進(jìn)行網(wǎng)絡(luò)抓取可以節(jié)省時(shí)間并避免手動(dòng)收集數(shù)據(jù)，還可以使您以結(jié)構(gòu)化形式保存所有數(shù)據(jù)。

要求

就像我經(jīng)常提到的，網(wǎng)絡(luò)抓取很容易，它分為兩個(gè)簡(jiǎn)單的部分：

1.使用網(wǎng)絡(luò)抓取工具發(fā)出HTTP請(qǐng)求以進(jìn)行數(shù)據(jù)提取。

2.通過(guò)解析抓取的HTML數(shù)據(jù)來(lái)提取重要的JSON數(shù)據(jù)。

對(duì)于網(wǎng)絡(luò)抓取，我們將使用某些python庫(kù)和工具：

1.BeautifulSoup是一個(gè)Python庫(kù)，用于從HTML和XML文件中提取數(shù)據(jù)。

2.通過(guò)請(qǐng)求，您可以非常輕松地發(fā)送HTTP請(qǐng)求。

3.Scrapingdog-這是一個(gè)網(wǎng)絡(luò)抓取工具。

建立

我們的設(shè)置非常簡(jiǎn)單。只需創(chuàng)建一個(gè)文件夾并安裝Beautiful Soup和請(qǐng)求即可。要?jiǎng)?chuàng)建文件夾并安裝庫(kù)，請(qǐng)?jiān)诮o定命令下方鍵入。我假設(shè)您已經(jīng)安裝了Python3.x。

mkdir scraperpip install beautifulsoup4pip install requests

現(xiàn)在，使用您喜歡的任何名稱(chēng)在該文件夾中創(chuàng)建一個(gè)文件。我正在使用scraping.py。

首先，您必須注冊(cè) scrapingdog API。它將為您提供1000個(gè)免費(fèi)積分。然后，只需在文件中導(dǎo)入Beautiful Soup和請(qǐng)求即可像這樣。

from bs4 import BeautifulSoupimport requests

　　準(zhǔn)備刮

現(xiàn)在，我們必須閱讀Scrapingdog的API文檔才能使用它。為了使您更輕松，我們將使用此處提供的最基本的API 。要探索更多選項(xiàng)，您應(yīng)該閱讀此API 的完整文檔。這將使您清楚了解此API的工作方式。現(xiàn)在，我們將為最頂級(jí)的API 抓取 API World。

從中收集數(shù)據(jù) API的世界，你可以檢查感興趣的元素通過(guò)右鍵單擊頁(yè)面，并選擇檢查。這將顯示HTML代碼，我們可以在其中看到每個(gè)字段所包含的元素。

由于數(shù)據(jù)存儲(chǔ)在表中，因此只需幾行代碼即可直接進(jìn)行抓取。如果您想熟悉抓取網(wǎng)站，這是一個(gè)很好的例子，也是一個(gè)很好的起點(diǎn)，但是請(qǐng)記住，它并不總是那么簡(jiǎn)單！

所有300個(gè)結(jié)果都包含在元素的行中，并且所有這些都在一頁(yè)上可見(jiàn)。情況并非總是如此，當(dāng)結(jié)果跨越許多頁(yè)面時(shí)，您可能需要更改網(wǎng)頁(yè)上顯示的結(jié)果數(shù)，或者循環(huán)遍歷所有頁(yè)面以收集所有信息。

因此，現(xiàn)在我們將從Scrapingdog API中提取HTML，然后使用Beautifulsoup生成JSON響應(yīng)，其中將包含公司名稱(chēng)，API名稱(chēng)和類(lèi)別。現(xiàn)在只需一行，我們就可以抓取API World。對(duì)于請(qǐng)求API，我將使用請(qǐng)求。

r=requests.get('https://api.scrapingdog.com/scrape?api_key=&url=https://apiworld.co/awards/api-300-top-industry-innovations/').text

這將為您提供該目標(biāo)URL的HTML代碼。現(xiàn)在，您必須使用BeautifulSoup解析HTML。

soup = BeautifulSoup(r,'html.parser')

首先，我們收集了所有“ tr”標(biāo)簽元素，因?yàn)樗袛?shù)據(jù)。您可以通過(guò)右鍵單擊任何API行來(lái)找到它。這可以通過(guò)下面的python代碼來(lái)完成。

allapis = soup.find_all("tr")

l={}

u=list()

然后，我們將開(kāi)始循環(huán)，使用變量“ allapis”的長(zhǎng)度到達(dá)每個(gè)API的所有行。啟動(dòng)循環(huán)后，我們將使用“ td”標(biāo)簽存儲(chǔ)“公司名稱(chēng)”，“ API名稱(chēng)”和“技術(shù)類(lèi)別”的文本。因此，我們?cè)陂_(kāi)始for循環(huán)后將這些標(biāo)簽存儲(chǔ)在其他變量中。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

現(xiàn)在，您會(huì)注意到“ td”標(biāo)簽中有一個(gè)序列。您會(huì)發(fā)現(xiàn)每個(gè)第一個(gè)“ td”標(biāo)記為“公司名稱(chēng)”，第二個(gè)為“ API名稱(chēng)”，最后一個(gè)為“類(lèi)別”。我們還將在我們的代碼中使用此登錄名。

for i in range(0,len(allapis)):

try:

api = allapis[i].find_all("td")

except:

api=None

try:

l["company"]=api[0].text.replace(" ","")

except:

l["company"]=None

try:

l["api"]=api[1].text.replace(" ","")

except:

l["api"]=None

try:

l["category"]=api[2].text.replace(" ","")

except:

l["category"]=None

u.append(l)

l={}

數(shù)據(jù)清理

我們使用了替換功能，因?yàn)樗恍枰淖址缒_注符號(hào)，這些字符將對(duì)刪除有用。

我們將從列表中刪除第一項(xiàng)，因?yàn)榈谝粋€(gè)“ tr”標(biāo)簽具有“ th”標(biāo)簽，而不是“ td”，這是我們目前不需要的。最后，當(dāng)我們打印列表“ u”時(shí)，我們得到了這個(gè)。

{

"Top 300": [

{

"category": "APIInfrastructure",

"company": "Amio",

"api": "Amio"

{

"category": "APIInfrastructure",

"company": "Authlete,Inc.",

"api": "Authlete"

{

"category": "APIInfrastructure",

"company": "CiscoSystems",

"api": "CiscoDevNet"

{

"category": "APIInfrastructure",

"company": "Fastly",

"api": "terrium"

{

"category": "APIInfrastructure",

"company": "Postman",

"api": "APIDevelopmentEnvironment"

{

"category": "APIInfrastructure",

"company": "TanganyGmbH",

"api": "WalletasaService"

{

"category": "APIManagement",

"company": "DellBoomi",

"api": "BoomiAPIManagement"

{

"category": "APIManagement",

"company": "GraviteeSource",

"api": "Gravitee.ioAPIPlatform"

{

"category": "APIManagement",

"company": "IBM",

"api": "APIConnect"

{

"category": "APIManagement",

"company": "KongInc.",

"api": "Kong"

{

"category": "APIManagement",

"company": "LinkApi",

"api": "APIManagementandIPaaS"

{

"category": "APIManagement",

"company": "MuleSoft",

"api": "AnypointPlatform"

{

"category": "APIManagement",

"company": "RapidValueSolutions",

"api": "End-to-endAPIintegrationandmanagementservices"

{

"category": "APIManagement",

"company": "Rebrandly",

"api": "RebrandlyAPI[v1]"

{

"category": "APIManagement",

"company": "WSO2",

"api": "WSO2APIManager"

{

"category": "APIMiddleware",

"company": "AloiInc",

"api": "Aloi"

{

"category": "APIMiddleware",

"company": "APIGATE",

"api": "APIGATEMint"

{

"category": "APIMiddleware",

"company": "BeAPI",

"api": "APIChaining"

{

"category": "APIMiddleware",

"company": "Envia.com",

"api": "EnviaShippingSolutions"

{

"category": "APIMiddleware",

"company": "MailTechnologies,Inc",

"api": "DocuSendPostalAPI"

{

"category": "APIMiddleware",

"company": "PocketNetworkInc.",

"api": "PocketNetwork"

{

"category": "APIMiddleware",

"company": "RedHatSoftware,Inc.",

"api": "RedHatIntegration"

{

"category": "APIMiddleware",

"company": "ScaleDynamics",

"api": "WarpJSserver"

{

"category": "APIMiddleware",

"company": "Site-Shot",

"api": "RESTAPI"

{

"category": "APIMiddleware",

"company": "Teapot,LLC",

"api": "Xilution"

{

"category": "APIMiddleware",

"company": "TheLinuxFoundation",

"api": "EdgeXFoundry"

{

"category": "APIMiddleware",

"company": "Transposit",

"api": "Transposit"

{

"category": "APISecurity",

"company": "42Crunch",

"api": "42CrunchAPISecurityPlatform"

{

"category": "APISecurity",

"company": "Axiomatics",

"api": "AxiomaticsPolicyServer"

{

"category": "APISecurity",

"company": "CritcalBlue",

"api": "APPROOV"

{

"category": "APISecurity",

"company": "CryptoMove",

"api": "CryptoMoveAPIs"

{

"category": "APISecurity",

"company": "CurityAB",

"api": "CurityIdentityServer"

{

"category": "APISecurity",

"company": "ForumSystems",

"api": "ForumSentryAPISecurityGateway"

{

"category": "APISecurity",

"company": "FXLabs,inc",

"api": "APISec"

{

"category": "APISecurity",

"company": "IDFConnect,Inc.",

"api": "SSO/Rest"

{

"category": "APISecurity",

"company": "monapi.io",

"api": "IPAddressAnomalyAPI"

{

"category": "APISecurity",

"company": "OneLogin",

"api": "OneLogin"

{

"category": "APISecurity",

"company": "SoftwareAG",

"api": "Microgateway"

{

"category": "AutomotiveAPIs",

"company": "Allstate",

"api": "AllstateRoadsideServicesRescueAPI"

{

"category": "AutomotiveAPIs",

"company": "DaimlerAG",

"api": "Mercedes-BenzCarData"

{

"category": "AutomotiveAPIs",

"company": "InfiniteLoopDevelopmentLtd",

"api": "vehicleregistrationapi.com"

{

"category": "AutomotiveAPIs",

"company": "SmartcarInc.",

"api": "SmartcarAPI"

{

"category": "AutomotiveAPIs",

"company": "SmartMonkey.io",

"api": "Flake"

{