大數(shù)據(jù)分析Python API入門教程

　　在有關大數(shù)據(jù)分析Python API的本教程中，我們將學習如何從遠程網(wǎng)站檢索數(shù)據(jù)以進行數(shù)據(jù)科學項目。像baidu，Twitter和Facebook之類的網(wǎng)站都通過其應用程序編程接口(API)向程序員提供某些數(shù)據(jù)。要使用API??，您需要向遠程Web服務器發(fā)出請求，然后檢索所需的數(shù)據(jù)。
 

　　但是，為什么要使用API??而不是可以下載的靜態(tài)數(shù)據(jù)集呢?API在以下情況下很有用：
 

　　a.數(shù)據(jù)變化很快。股票價格數(shù)據(jù)就是一個例子。重新生成數(shù)據(jù)集并每分鐘下載一次并沒有實際意義-這會占用大量帶寬，而且速度很慢。

　　b.您需要一小部分更大的數(shù)據(jù)。Reddit評論就是一個例子。如果您只想在Reddit上發(fā)表自己的評論該怎么辦?下載整個Reddit數(shù)據(jù)庫，然后僅過濾您自己的注釋并沒有多大意義。

　　c.涉及重復計算。Spotify的API可以告訴您音樂的流派。從理論上講，您可以創(chuàng)建自己的分類器，并使用它對音樂進行分類，但您將永遠不會擁有Spotify所擁有的數(shù)據(jù)。
 

　　在上述情況下，API是正確的解決方案。對于本數(shù)據(jù)科學教程，我們將查詢一個簡單的API，以檢索有關國際空間站(ISS)的數(shù)據(jù)。使用API??可以節(jié)省我們自己進行所有計算的時間和精力。
 

　　大數(shù)據(jù)分析Python中的API請求
 

　　API托管在Web服務器上。當您www.google.com在瀏覽器的地址欄中鍵入內(nèi)容時，您的計算機實際上是在向www.google.com服務器詢問網(wǎng)頁，然后該網(wǎng)頁返回到您的瀏覽器。
 

　　API的工作方式幾乎相同，除了您的程序要求數(shù)據(jù)而不是您的Web瀏覽器詢問網(wǎng)頁之外。這些數(shù)據(jù)通常以JSON格式返回(有關更多信息，請參閱有關使用JSON數(shù)據(jù)的教程)。
 

　　為了獲取數(shù)據(jù)，我們向Web服務器發(fā)出請求。然后，服務器將回復我們的數(shù)據(jù)。在大數(shù)據(jù)分析Python中，我們將使用請求庫來執(zhí)行此操作。在此大數(shù)據(jù)分析Python API教程中，我們將為所有示例使用大數(shù)據(jù)分析Python 3.4。
 

　　請求類型
 

　　有許多不同類型的請求。最常用的一個GET請求用于檢索數(shù)據(jù)。
 

　　我們可以使用一個簡單的GET請求從OpenNotify API 檢索信息。
 

　　OpenNotify具有多個API端點。端點是用于從API檢索不同數(shù)據(jù)的服務器路由。例如，/commentsReddit API上的端點可能會檢索有關注釋的信息，而/users端點可能會檢索有關用戶的數(shù)據(jù)。要訪問它們，您可以將端點添加到API 的基本URL中。
 

　　我們將在OpenNotify上看到的第一個端點是iss-now.json端點。該端點獲取國際空間站的當前緯度和經(jīng)度。如您所見，檢索此數(shù)據(jù)不適用于數(shù)據(jù)集，因為它涉及服務器上的一些計算，并且變化很快。
 

　　您可以在此處查看OpenNotify上所有端點的列表。
 

　　OpenNotify API 的基本網(wǎng)址是http://api.open-notify.org，因此我們將其添加到所有端點的開頭。

　　狀態(tài)碼
 

　　我們剛剛發(fā)出的請求的狀態(tài)碼為200。向Web服務器發(fā)出的每個請求都返回狀態(tài)代碼。狀態(tài)代碼指示有關請求發(fā)生的情況的信息。以下是與GET請求相關的一些代碼：

　　a)200 -一切正常，結果已返回(如果有)

　　b)301—服務器正在將您重定向到其他端點。當公司切換域名或更改端點名稱時，可能會發(fā)生這種情況。

　　c)401-服務器認為您未通過身份驗證。當您沒有發(fā)送正確的憑據(jù)來訪問API時就會發(fā)生這種情況(我們將在以后的文章中討論身份驗證)。

　　d)400-服務器認為您提出了錯誤的請求。當您沒有正確發(fā)送數(shù)據(jù)時，可能會發(fā)生這種情況。

　　e)403 —您嘗試訪問的資源被禁止—您沒有正確的權限查看它。

　　f)404 -在服務器上找不到您嘗試訪問的資源。
 

　　現(xiàn)在http://api.open-notify.org/iss-pass，根據(jù)API文檔，向不存在的端點發(fā)出GET請求。
 

　　擊中正確的終點
 

　　iss-pass不是有效的端點，因此我們得到了一個404狀態(tài)碼作為響應。.json正如API文檔所述，我們忘記在最后添加。
 

　　現(xiàn)在，我們將向發(fā)出GET請求http://api.open-notify.org/iss-pass.json。

　　查詢參數(shù)
 

　　您將在上一個示例中看到，我們得到了一個400狀態(tài)碼，表示請求錯誤。如果您查看OpenNotify API的文檔，我們會發(fā)現(xiàn)ISS Pass端點需要兩個參數(shù)。
 

　　當ISS下次通過地球上的給定位置時，將返回ISS Pass端點。為了對此進行計算，我們需要將位置的坐標傳遞給API。為此，我們傳遞了兩個參數(shù)-緯度和經(jīng)度。
 

　　為此，我們可以在params請求中添加可選的關鍵字參數(shù)。在這種情況下，我們需要傳遞兩個參數(shù)：
 

　　1)lat —我們想要的位置的緯度。

　　2)lon —我們想要的位置的經(jīng)度。
 

　　我們可以使用這些參數(shù)制作字典，然后將它們傳遞給requests.get函數(shù)。
 

　　我們還可以通過將查詢參數(shù)添加到url中來直接做同樣的事情，如下所示：http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74。
 

　　將參數(shù)設置為字典幾乎總是可取的，因為requests它可以處理一些事情，例如正確設置查詢參數(shù)的格式。
 

　　我們將使用紐約市的坐標進行請求，然后查看得到的答復。

　　b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 330, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'
 

　　b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 329, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'
 

　　使用JSON數(shù)據(jù)
 

　　您可能已經(jīng)注意到，響應的內(nèi)容之前是a string(盡管它顯示為bytes對象，但是我們可以使用輕松地將內(nèi)容轉換為字符串response.content.decode("utf-8"))。
 

　　字符串是我們將信息來回傳遞給API的方式，但是很難從字符串中獲取我們想要的信息。我們?nèi)绾沃廊绾谓獯a返回的字符串并在大數(shù)據(jù)分析Python中使用它?我們?nèi)绾蝍ltitude從字符串響應中找出ISS的含義?
 

　　幸運的是，有一種名為JavaScript Object Notation(JSON)的格式。JSON是一種將列表和字典之類的數(shù)據(jù)結構編碼為字符串的方法，以確保它們易于被機器讀取。JSON是將數(shù)據(jù)來回傳遞給API的主要格式，大多數(shù)API服務器將以JSON格式發(fā)送其響應。
 

　　json套件隨附大數(shù)據(jù)分析Python強大的JSON支持。該json軟件包是標準庫的一部分，因此我們無需安裝任何程序即可使用它。我們既可以將列表和字典轉換為JSON，也可以將字符串轉換為列表和字典。就我們的ISS Pass數(shù)據(jù)而言，它是一個字典，編碼為JSON格式的字符串。
 

　　json庫有兩種主要方法：
 

　　1)dumps —接收一個大數(shù)據(jù)分析Python對象，并將其轉換為字符串。
 

　　2)loads —接收JSON字符串，并將其轉換為大數(shù)據(jù)分析Python對象。

　　從API請求獲取JSON
 

　　通過使用.json()響應上的方法，您可以將響應的內(nèi)容作為大數(shù)據(jù)分析Python對象獲取。

　　{'response': [{'risetime': 1441456672, 'duration': 369}, {'risetime': 1441462284, 'duration': 626}, {'risetime': 1441468104, 'duration': 581}, {'risetime': 1441474000, 'duration': 482}, {'risetime': 1441479853, 'duration': 509}], 'message': 'success', 'request': {'latitude': 37.78, 'passes': 5, 'longitude': -122.41, 'altitude': 100, 'datetime': 1441417753}}
 

　　內(nèi)容類型
 

　　服務器不僅會在生成響應時發(fā)送狀態(tài)碼和數(shù)據(jù)。它還發(fā)送包含有關如何生成數(shù)據(jù)以及如何對其進行解碼的信息的元數(shù)據(jù)。這存儲在響應頭中。在大數(shù)據(jù)分析Python中，我們可以使用headers響應對象的屬性來訪問它。
 

　　標頭將顯示為字典。在標題中，content-type是目前最重要的鍵。它告訴我們響應的格式以及如何對其進行解碼。對于OpenNotify API，格式為JSON，這就是為什么我們可以json更早地使用包對其進行解碼的原因。

　　尋找太空中的人數(shù)
 

　　OpenNotify還有一個API端點astros.json。它告訴您當前有多少人在太空中。響應的格式可以在這里找到。
 

　　9
 

　　{'number': 9, 'people': [{'name': 'Gennady Padalka', 'craft': 'ISS'}, {'name': 'Mikhail Kornienko', 'craft': 'ISS'}, {'name': 'Scott Kelly', 'craft': 'ISS'}, {'name': 'Oleg Kononenko', 'craft': 'ISS'}, {'name': 'Kimiya Yui', 'craft': 'ISS'}, {'name': 'Kjell Lindgren', 'craft': 'ISS'}, {'name': 'Sergey Volkov', 'craft': 'ISS'}, {'name': 'Andreas Mogensen', 'craft': 'ISS'}, {'name': 'Aidyn Aimbetov', 'craft': 'ISS'}], 'message': 'success'}
 

　　大數(shù)據(jù)分析Python API數(shù)據(jù)科學教程：后續(xù)步驟
 

　　現(xiàn)在，您已經(jīng)完成了大數(shù)據(jù)分析Python API教程，現(xiàn)在應該可以訪問簡單的API并發(fā)出get請求了。requests在我們的dataquest API和抓取課程中，還有其他幾種類型，您可以了解更多信息以及與API身份驗證一起使用。
 

　　建議的其他后續(xù)步驟是閱讀請求文檔，并使用Reddit API。有一個名為PRAW 的程序包，它使在大數(shù)據(jù)分析Python中使用Reddit API更加容易，但是建議requests首先使用它來了解一切的工作原理。