curl使用代理伺服器

❶ curl請求公網IP或域名會卡死，請求伺服器內網IP不會

504-網關超時來，說明伺服器自作為網關或代理，未及時從上游伺服器接收請求。
你請求的公網IP是同一個嗎？一直在用curl進行請求嗎？
內網IP在你的網路環境內部，不需要經過網關出去，所以肯定不會出現網關超時的錯誤。

❷ 瀏覽器設置代理127.0.0.1，訪問網站顯示「無法連接到代理服務器」怎麼辦

1、首先打開瀏覽器；

❸ php curl使用代理的時候，如何影藏HTTP_VIA

這些都不能隱藏的，這些頭信息是代理伺服器添加上去的，除非你控制代理伺服器，設置禁止傳遞這些東西。

❹ 怎麼樣用php語言實現通過proxy代理伺服器訪問網站呢

function curl_string ($url,$timeout = 3,$proxy=1){
$ua = array('Mozilla','Opera','Microsoft Internet Explorer','ia_archiver');
$op = array('Windows','Windows XP','Linux','Windows NT','Windows 2000','OSX');
$agent = $ua[rand(0,3)].'/'.rand(1,8).'.'.rand(0,9).' ('.$op[rand(0,5)].' '.rand(1,7).'.'.rand(0,9).'; en-US;)';
Tor 地址與埠
$tor = 'http://www.aimilife.com'; //這里是你的代理伺服器
連接超時設置
$timeout = 3;
$ack = curl_init();
if($proxy)
{
curl_setopt($ack, CURLOPT_PROXY, $tor);
}
curl_setopt($ack, CURLOPT_URL, $url);
curl_setopt($ack, CURLOPT_HEADER, 0);
curl_setopt($ack, CURLOPT_USERAGENT, $agent);
curl_setopt($ack, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ack, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ack, CURLOPT_TIMEOUT, $timeout);
$result = curl_exec($ack);
curl_close($ack);
return $result;

}

❺ curl的用法

curl是一個利用URL語法在命令行方式下工作的文件傳輸工具。本文介紹了它的簡單用法。

*******************************************************************************************************************************************************

curl是一個利用URL語法在命令行方式下工作的文件傳輸工具。

它支持很多協議：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。
curl同樣支持HTTPS認證，HTTP POST方法, HTTP PUT方法, FTP上傳, kerberos認證, HTTP上傳, 代理伺服器, cookies, 用戶名/密碼認證, 下載文件斷點續傳, 上載文件斷點續傳, http代理伺服器管道（ proxy tunneling）, 甚至它還支持IPv6, socks5代理伺服器, 通過http代理伺服器上傳文件到FTP伺服器等等，功能十分強大。

Windows操作系統下的網路螞蟻，網際快車(FlashGet)的功能它都可以做到。准確的說，curl支持文件的上傳和下載，所以是一個綜合傳輸工具，但是按照傳統，用戶習慣稱curl為下載工具。

curl是瑞典curl組織開發的，您可以訪問: http://curl.haxx.se/
獲取它的源代碼和相關說明。

鑒於curl在Linux上的廣泛使用，IBM在AIX Linux Toolbox的光碟中包含了這個軟體，並且您可以訪問IBM網站:

http://www- 1.ibm.com/servers/aix/procts/aixos/linux/altlic.html 下載它。

curl的最新版本是 7.10.8，IBM網站上提供的版本為7.9.3。

在AIX下的安裝很簡單，IBM網站上下載的rpm格式的包。

在 http://curl.haxx.se/docs/，您可以下載到UNIX格式的man幫助，裡面有詳細的curl工具的使用說明。
curl的用法為：curl [options] [URL...]
其中options是下載需要的參數，大約有80多個，curl的各個功能完全是依靠這些參數完成的。
具體參數的使用，用戶可以參考curl的man幫助。
下面，本文就將結合具體的例子來說明怎樣利用curl進行下載。

1、獲得一張頁面

使用命令：curl http://curl.haxx.se
這是最簡單的使用方法。用這個命令獲得了http://curl.haxx.se指向的頁面，同樣，如果這里的URL指向的是一個文件或者一幅圖都可以直接下載到本地。如果下載的是HTML文檔，那麼預設的將不顯示文件頭部，即HTML文檔的header。要全部顯示，請加參數 -i，要只顯示頭部，用參數 -I。任何時候，可以使用 -v 命令看curl是怎樣工作的，它向伺服器發送的所有命令都會顯示出來。為了斷點續傳，可以使用-r參數來指定傳輸范圍。

2、表單（Form）的獲取

在WEB頁面設計中，form是很重要的元素。Form通常用來收集並向網站提交信息。提交信息的方法有兩種，GET方法和POST方法。先討論GET方法，例如在頁面中有這樣一段：
<form method="GET" action="junk.cgi">
<input type=text name="birthyear">
<input type=submit name=press value="OK">
</form>
那麼瀏覽器上會出現一個文本框和一個標為「OK」的按鈕。按下這個按鈕，表單就用GET方法向伺服器提交文本框的數據。
例如原始頁面是在 www.hotmail.com/when/birth.html看到的，然後您在文本框中輸入1905，然後按OK按鈕，那麼瀏覽器的URL現在應該是：「www.hotmail.com/when/junk.cgi?birthyear=1905&;press=OK」
對於這種網頁，curl可以直接處理，例如想獲取上面的網頁，只要輸入：

curl "www.hotmail.com/when/junk.cgi?birthyear=1905&;press=OK"

就可以了。

表單用來提交信息的第二種方法叫做POST方法，POST方法和GET方法的區別在於GET方法使用的時候，瀏覽器中會產生目標URL，而POST不會。類似GET，這里有一個網頁：
<form method="POST" action="junk.cgi">
<input type=text name="birthyear">
<input type=submit name=press value="OK">
</form>
瀏覽器上也會出現一個文本框和一個標為「OK」的按鈕。按下這個按鈕，表單用POST方法向伺服器提交數據。

這時的URL是看不到的，因此需要使用特殊的方法來抓取這個頁面：

curl -d "birthyear=1905&press=OK" www.hotmail.com/when/junk.cgi
這個命令就可以做到。
1995年年末，RFC 1867定義了一種新的POST方法，用來上傳文件。主要用於把本地文件上傳到伺服器。此時頁面是這樣寫的：
<form method="POST" enctype='multipart/form-data' action="upload.cgi">
<input type=file name=upload>
<input type=submit name=press value="OK">
</form>

對於這種頁面，curl的用法不同：
curl -F upload=@localfilename -F press=OK URL

這個命令的實質是將本地的文件用POST上傳到伺服器。
有關POST還有不少用法，用戶可以自己摸索。

3、使用PUT方法。

HTTP協議文件上傳的標准方法是使用PUT，此時curl命令使用-T參數：
curl -T uploadfile www.uploadhttp.com/receive.cgi

4、有關認證。

curl可以處理各種情況的認證頁面，例如下載用戶名/密碼認證方式的頁面（在IE中通常是出現一個輸入用戶名和密碼的輸入框）：
curl -u name:password www.secrets.com
如果網路是通過http代理伺服器出去的，而代理伺服器需要用戶名和密碼，那麼輸入：
curl -U proxyuser:proxypassword http://curl.haxx.se
任何需要輸入用戶名和密碼的時候，只在參數中指定用戶名而空著密碼，curl可以互動式的讓用戶輸入密碼。

5、引用。

有些網路資源訪問的時候必須經過另外一個網路地址跳轉過去，這用術語來說是：referer，引用。
對於這種地址的資源，curl也可以下載：
curl -e http://curl.haxx.se daniel.haxx.se

6、指定用戶客戶端。

有些網路資源首先需要判斷用戶使用的是什麼瀏覽器，符合標准了才能夠下載或者瀏覽。
此時curl可以把自己「偽裝」成任何其他瀏覽器：
curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" URL

這個指令表示curl偽裝成了IE5.0，用戶平台是Windows 2000。（對方伺服器是根據這個字串來判斷客戶端的類型的，所以即使使用AIX也無所謂）。
使用：
curl -A "Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)" URL

此時curl變成了Netscape，運行在PIII平台的Linux上了。

7、COOKIES

Cookie是伺服器經常使用的一種記憶客戶信息的方法。如果cookie被記錄在了文件中，那麼使用命令：
curl -b stored_cookies_in_file www.cookiesite.com
curl可以根據舊的cookie寫出新cookie並發送到網站：
curl -b cookies.txt -c newcookies.txt www.cookiesite.com

8、加密的HTTP——HTTPS。

如果是通過OpenSSL加密的https協議傳輸的網頁，curl可以直接訪問：
curl https://that.secure.server.com

9、http認證。

如果是採用證書認證的http地址，證書在本地，那麼curl這樣使用：
curl -E mycert.pem https://that.secure.server.com

參考讀物和注意事項：

curl非常博大，用戶要想使用好這個工具，除了詳細學習參數之外，還需要深刻理解http的各種協議與URL的各個語法。
這里推薦幾個讀物：

RFC 2616 HTTP協議語法的定義。
RFC 2396 URL語法的定義。
RFC 2109 Cookie是怎樣工作的。
RFC 1867 HTTP如何POST，以及POST的格式。

文字

curl是免費軟體，IBM公司對curl不提供技術支持。

curl官方網站:
http://curl.haxx.se

❻ python中，進行爬蟲抓取怎麼樣能夠使用代理IP

在python中用爬蟲再用到代理伺服器，有兩個辦法，①直接在布署該python爬蟲的電腦上設置代理伺服器，這樣從該電腦上出站的信息就只能由代理伺服器處理了，爬蟲的也不例外，可以搜"windows設置代理伺服器"、"Linux設置代理伺服器"。通常是」設置->網路->連接->代理「。
②若想讓python單獨使用這個代理伺服器，可以搜一下"python proxy config"，"python配置代理伺服器"，有一些庫支持簡單的BM代理伺服器連接。

❼ 如何判斷自己是否成功使用代理伺服器

看你用的是什麼代理伺服器

是不是這軟體來代理的

參考參考

❽ 如何使用curl

curl使用筆記
CURLOPT_HEADER：設為1，則在返回的內容里包含http header；
CURLOPT_FOLLOWLOCATION：設為0，則不會自動301，302跳轉；
*CURLOPT_INFILESIZE: 當你上傳一個文件到遠程站點，這個選項告訴PHP你上傳文件的大小。
*CURLOPT_VERBOSE: 如果你想CURL報告每一件意外的事情，設置這個選項為一個非零值。
*CURLOPT_HEADER: 如果你想把一個頭包含在輸出中，設置這個選項為一個非零值。
*CURLOPT_NOPROGRESS: 如果你不會PHP為CURL傳輸顯示一個進程條，設置這個選項為一個非零值。
注意：PHP自動設置這個選項為非零值，你應該僅僅為了調試的目的來改變這個選項。
*CURLOPT_NOBODY: 如果你不想在輸出中包含body部分，設置這個選項為一個非零值。
*CURLOPT_FAILONERROR: 如果你想讓PHP在發生錯誤(HTTP代碼返回大於等於300)時，不顯示，設置這個選項為一人非零值。默認行為是返回一個正常頁，忽略代碼。
*CURLOPT_UPLOAD: 如果你想讓PHP為上傳做准備，設置這個選項為一個非零值。
*CURLOPT_POST: 如果你想PHP去做一個正規的HTTP POST，設置這個選項為一個非零值。這個POST是普通的 application/x-www-from-urlencoded 類型，多數被HTML表單使用。
*CURLOPT_FTPLISTONLY: 設置這個選項為非零值，PHP將列出FTP的目錄名列表。
*CURLOPT_FTPAPPEND: 設置這個選項為一個非零值，PHP將應用遠程文件代替覆蓋它。
*CURLOPT_NETRC: 設置這個選項為一個非零值，PHP將在你的 ~./netrc 文件中查找你要建立連接的遠程站點的用戶名及密碼。
*CURLOPT_FOLLOWLOCATION: 設置這個選項為一個非零值(象 「Location: 「)的頭，伺服器會把它當做HTTP頭的一部分發送(注意這是遞歸的，PHP將發送形如 「Location: 「的頭)。
*CURLOPT_PUT: 設置這個選項為一個非零值去用HTTP上傳一個文件。要上傳這個文件必須設置CURLOPT_INFILE和CURLOPT_INFILESIZE選項.
*CURLOPT_MUTE: 設置這個選項為一個非零值，PHP對於CURL函數將完全沉默。
*CURLOPT_TIMEOUT: 設置一個長整形數，作為最大延續多少秒。
*CURLOPT_LOW_SPEED_LIMIT: 設置一個長整形數，控制傳送多少位元組。
*CURLOPT_LOW_SPEED_TIME: 設置一個長整形數，控制多少秒傳送CURLOPT_LOW_SPEED_LIMIT規定的位元組數。
*CURLOPT_RESUME_FROM: 傳遞一個包含位元組偏移地址的長整形參數，(你想轉移到的開始表單)。
*CURLOPT_SSLVERSION: 傳遞一個包含SSL版本的長參數。默認PHP將被它自己努力的確定，在更多的安全中你必須手工設置。
*CURLOPT_TIMECONDITION: 傳遞一個長參數，指定怎麼處理CURLOPT_TIMUE參數。你可以設置這個參數為TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。這僅用於HTTP。
*CURLOPT_TIMUE: 傳遞一個從1970-1-1開始到現在的秒數。這個時間將被CURLOPT_TIMUE選項作為指定值使用，或被默認TIMECOND_IFMODSINCE使用。
下列選項的值將被作為字元串：
*CURLOPT_URL: 這是你想用PHP取回的URL地址。你也可以在用curl_init()函數初始化時設置這個選項。
*CURLOPT_USERPWD: 傳遞一個形如[username]:[password]風格的字元串,作用PHP去連接。
*CURLOPT_PROXYUSERPWD: 傳遞一個形如[username]:[password] 格式的字元串去連接HTTP代理。
*CURLOPT_RANGE: 傳遞一個你想指定的范圍。它應該是」X-Y」格式，X或Y是被除外的。HTTP傳送同樣支持幾個間隔，用逗句來分隔(X-Y,N-M)。
*CURLOPT_POSTFIELDS: 傳遞一個作為HTTP 「POST」操作的所有數據的字元串。
*CURLOPT_REFERER: 在HTTP請求中包含一個」referer」頭的字元串。
*CURLOPT_USERAGENT: 在HTTP請求中包含一個」user-agent」頭的字元串。
*CURLOPT_FTPPORT: 傳遞一個包含被ftp 「POST」指令使用的IP地址。這個POST指令告訴遠程伺服器去連接我們指定的IP地址。這個字元串可以是一個IP地址，一個主機名，一個網路界面名(在UNIX下)，或是『-』(使用系統默認IP地址)。
*CURLOPT_COOKIE: 傳遞一個包含HTTP cookie的頭連接。
*CURLOPT_SSLCERT: 傳遞一個包含PEM格式證書的字元串。
*CURLOPT_SSLCERTPASSWD: 傳遞一個包含使用CURLOPT_SSLCERT證書必需的密碼。
*CURLOPT_COOKIEFILE: 傳遞一個包含cookie數據的文件的名字的字元串。這個cookie文件可以是Netscape格式，或是堆存在文件中的HTTP風格的頭。
*CURLOPT_CUSTOMREQUEST: 當進行HTTP請求時，傳遞一個字元被GET或HEAD使用。為進行DELETE或其它操作是有益的，更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request.
注意: 在確認你的伺服器支持命令先不要去這樣做。
下列的選項要求一個文件描述(通過使用fopen()函數獲得)：
*CURLOPT_FILE: 這個文件將是你放置傳送的輸出文件，默認是STDOUT.
*CURLOPT_INFILE: 這個文件是你傳送過來的輸入文件。
*CURLOPT_WRITEHEADER: 這個文件寫有你輸出的頭部分。
*CURLOPT_STDERR: 這個文件寫有錯誤而不是stderr。
轉載，僅供參考。

❾ 如何用爬蟲爬網路代理伺服器地址

這有工具,自行獲取了,發任意含有主題，內容的郵件（主題、內容隨便寫點東西版吧，別權為空）至下面郵箱，就行,發封信到 [email protected] ,會自動回復最新版工具(電腦和手機版)注:如果用163.126發送的,可能會自動回復到垃圾箱里,注意查看