java代理伺服器緩存
1. 如何用JAVA實現一個代理服務器
代理伺服器的應用非常廣泛。比如,在企業網內部,它可以用來控制員工在工作時瀏覽的Internet內容,阻止員工訪問某些類型的內容或某些指定的網站。代理伺服器實際上扮演著瀏覽器和Web伺服器之間的中間人的角色,能夠對瀏覽器請求進行各種各樣的處理,能夠過濾廣告和Cookie,能夠預先提取Web頁面,使得瀏覽器訪問頁面的速度更快,等等。
一、基礎知識
不管以哪種方式應用代理伺服器,其監控HTTP傳輸的過程總是如下:
步驟一:內部的瀏覽器發送請求給代理伺服器。請求的第一行包含了目標URL。
步驟二:代理伺服器讀取該URL,並把請求轉發給合適的目標伺服器。
步驟三:代理伺服器接收來自Internet目標機器的應答,把應答轉發給合適的內部瀏覽器。
例如,假設有一個企業的雇員試圖訪問www.cn.ibm.com網站。如果沒有代理伺服器,雇員的瀏覽器打開的Socket通向運行這個網站的Web伺服器,從Web伺服器返回的數據也直接傳遞給雇員的瀏覽器。如果瀏覽器被配置成使用代理伺服器,則請求首先到達代理伺服器;隨後,代理伺服器從請求的第一行提取目標URL,打開一個通向www.cn.ibm.com的Socket。當www.cn.ibm.com返回應答時,代理伺服器把應答轉發給雇員的瀏覽器。
當然,代理伺服器並非只適用於企業環境。作為一個開發者,擁有一個自己的代理伺服器是一件很不錯的事情。例如,我們可以用代理伺服器來分析瀏覽器和Web伺服器的交互過程。測試和解決Web應用中存在的問題時,這種功能是很有用的。我們甚至還可以同時使用多個代理伺服器(大多數代理伺服器允許多個伺服器鏈接在一起使用)。例如,我們可以有一個企業的代理伺服器,再加上一個用java編寫的代理伺服器,用來調試應用程序。但應該注意的是,代理伺服器鏈上的每一個伺服器都會對性能產生一定的影響。
二、設計規劃
正如其名字所示,代理伺服器只不過是一種特殊的伺服器。和大多數伺服器一樣,如果要處理多個請求,代理伺服器應該使用線程。下面是一個代理伺服器的基本規劃:
等待來自客戶(Web瀏覽器)的請求。
啟動一個新的線程,以處理客戶連接請求。
讀取瀏覽器請求的第一行(該行內容包含了請求的目標URL)。
分析請求的第一行內容,得到目標伺服器的名字和埠。
打開一個通向目標伺服器(或下一個代理伺服器,如合適的話)的Socket。
把請求的第一行發送到輸出Socket。
把請求的剩餘部分發送到輸出Socket。
把目標Web伺服器返回的數據發送給發出請求的瀏覽器。
當然,如果考慮細節的話,情況會更復雜一些。實際上,這里主要有兩個問題要考慮:第一,從Socket按行讀取數據最適合進一步處理,但這會產生性能瓶頸;第二,兩個Socket之間的連接必需高效。有幾種方法可以實現這兩個目標,但每一種方法都有各自的代價。例如,如果要在數據進入的時候進行過濾,這些數據最好按行讀取;然而,大多數時候,當數據到達代理伺服器時,立即把它轉發出去更適合高效這一要求。另外,數據的發送和接收也可以使用多個獨立的線程,但大量地創建和拆除線程也會帶來性能問題。因此,對於每一個請求,我們將用一個線程處理數據的接收和發送,同時在數據到達代理伺服器時,盡可能快速地把它轉發出去。
三、實例
在用java編寫這個代理伺服器的過程中,注意可重用性是很重要的。因為這樣的話,當我們想要在另一個工程中以不同的方式處理瀏覽器請求時,可以方便地重用該代理伺服器。當然,我們必須注意靈活性和效率之間的平衡。
圖一顯示了本文代理伺服器實例(HttpProxy.java)的輸出界面,當瀏覽器訪問http://www-900.ibm.com/cn/時,代理伺服器向默認日誌設備(即標准輸出設備屏幕)輸出瀏覽器請求的URL。圖二顯示了SubHttpProxy的輸出。SubHttpProxy是HttpProxy的一個簡單擴展。
圖一
圖二
為了構造代理伺服器,我從Thread基類派生出了HttpProxy類(文章正文中出現的代碼是該類的一些片斷,完整的代碼請從本文最後下載)。HttpProxy類包含了一些用來定製代理伺服器行為的屬性,參見Listing 1和表一。
【Listing 1】
/*************************************
* 一個基礎的代理伺服器類
*************************************
*/
import java.net.*;
import java.io.*;
public class HttpProxy extends Thread {
static public int CONNECT_RETRIES=5;
static public int CONNECT_PAUSE=5;
static public int TIME-OUT=50;
static public int BUFSIZ=1024;
static public boolean logging = false;
static public OutputStream log=null;
// 傳入數據用的Socket
protected Socket socket;
// 上級代理伺服器,可選
static private String parent=null;
static private int parentPort=-1;
static public void setParentProxy(String name, int pport) {
parent=name;
parentPort=pport;
}
// 在給定Socket上創建一個代理線程。
public HttpProxy(Socket s) { socket=s; start(); }
public void writeLog(int c, boolean browser) throws IOException {
log.write(c);
}
public void writeLog(byte[] bytes,int offset,
int len, boolean browser) throws IOException {
for (int i=0;i<len;i++) writeLog((int)bytes[offset+i],browser);
}
// 默認情況下,日誌信息輸出到
// 標准輸出設備,
// 派生類可以覆蓋它
public String processHostName(String url, String host, int port, Socket sock) {
java.text.DateFormat cal=java.text.DateFormat.getDateTimeInstance();
System.out.println(cal.format(new java.util.Date()) + " - " +
url + " " + sock.getInetAddress()+"<BR>");
return host;
}
表一
變數/方法 說明
CONNECT_RETRIES 在放棄之前嘗試連接遠程主機的次數。
CONNECT_PAUSE 在兩次連接嘗試之間的暫停時間。
TIME-OUT 等待Socket輸入的等待時間。
BUFSIZ Socket輸入的緩沖大小。
logging 是否要求代理伺服器在日誌中記錄所有已傳輸的數據(true表示「是」)。
log 一個OutputStream對象,默認日誌常式將向該OutputStream對象輸出日誌信息。
setParentProxy 用來把一個代理伺服器鏈接到另一個代理伺服器(需要指定另一個伺服器的名稱和埠)。
當代理伺服器連接到Web伺服器之後,我用一個簡單的循環在兩個Socket之間傳遞數據。這里可能出現一個問題,即如果沒有可操作的數據,調用read方法可能導致程序阻塞,從而掛起程序。為防止出現這個問題,我用setSoTimeout方法設置了Socket的超時時間(參見Listing 2)。這樣,如果某個Socket不可用,另一個仍舊有機會進行處理,我不必創建一個新的線程。
【Listing 2】
// 執行操作的線程
public void run() {
String line;
String host;
int port=80;
Socket outbound=null;
try {
socket.setSoTimeout(TIMEOUT);
InputStream is=socket.getInputStream();
OutputStream os=null;
try {
// 獲取請求行的內容
line="";
host="";
int state=0;
boolean space;
while (true) {
int c=is.read();
if (c==-1) break;
if (logging) writeLog(c,true);
space=Character.isWhitespace((char)c);
switch (state) {
case 0:
if (space) continue;
state=1;
case 1:
if (space) {
state=2;
continue;
}
line=line+(char)c;
break;
case 2:
if (space) continue; // 跳過多個空白字元
state=3;
case 3:
if (space) {
state=4;
// 只分析主機名稱部分
String host0=host;
int n;
n=host.indexOf("//");
if (n!=-1) host=host.substring(n+2);
n=host.indexOf('/');
if (n!=-1) host=host.substring(0,n);
// 分析可能存在的埠號
n=host.indexOf(":");
if (n!=-1) {
port=Integer.parseInt(host.substring(n+1));
host=host.substring(0,n);
}
host=processHostName(host0,host,port,socket);
if (parent!=null) {
host=parent;
port=parentPort;
}
int retry=CONNECT_RETRIES;
while (retry--!=0) {
try {
outbound=new Socket(host,port);
break;
} catch (Exception e) { }
// 等待
Thread.sleep(CONNECT_PAUSE);
}
if (outbound==null) break;
outbound.setSoTimeout(TIMEOUT);
os=outbound.getOutputStream();
os.write(line.getBytes());
os.write(' ');
os.write(host0.getBytes());
os.write(' ');
pipe(is,outbound.getInputStream(),os,socket.getOutputStream());
break;
}
host=host+(char)c;
break;
}
}
}
catch (IOException e) { }
} catch (Exception e) { }
finally {
try { socket.close();} catch (Exception e1) {}
try { outbound.close();} catch (Exception e2) {}
}
}
和所有線程對象一樣,HttpProxy類的主要工作在run方法內完成(見Listing 2)。run方法實現了一個簡單的狀態機,從Web瀏覽器每次一個讀取字元,持續這個過程直至有足夠的信息找出目標Web伺服器。然後,run打開一個通向該Web伺服器的Socket(如果有多個代理伺服器被鏈接在一起,則run方法打開一個通向鏈裡面下一個代理伺服器的Socket)。打開Socket之後,run先把部分的請求寫入Socket,然後調用pipe方法。pipe方法直接在兩個Socket之間以最快的速度執行讀寫操作。
如果數據規模很大,另外創建一個線程可能具有更高的效率;然而,當數據規模較小時,創建新線程所需要的開銷會抵消它帶來的好處。
Listing 3顯示了一個很簡單的main方法,可以用來測試HttpProxy類。大部分的工作由一個靜態的startProxy方法完成(見Listing 4)。這個方法用到了一種特殊的技術,允許一個靜態成員創建HttpProxy類(或HttpProxy類的子類)的實例。它的基本思想是:把一個Class對象傳遞給startProxy類;然後,startProxy方法利用映像API(Reflection API)和getDeclaredConstructor方法確定該Class對象的哪一個構造函數接受一個Socket參數;最後,startProxy方法調用newInstance方法創建該Class對象。
【Listing 3】
// 測試用的簡單main方法
static public void main(String args[]) {
System.out.println("在埠808啟動代理伺服器\n");
HttpProxy.log=System.out;
HttpProxy.logging=false;
HttpProxy.startProxy(808,HttpProxy.class);
}
}
【Listing 4】
static public void startProxy(int port,Class clobj) {
ServerSocket ssock;
Socket sock;
try {
ssock=new ServerSocket(port);
while (true) {
Class [] sarg = new Class[1];
Object [] arg= new Object[1];
sarg[0]=Socket.class;
try {
java.lang.reflect.Constructor cons = clobj.getDeclaredConstructor(sarg);
arg[0]=ssock.accept();
cons.newInstance(arg); // 創建HttpProxy或其派生類的實例
} catch (Exception e) {
Socket esock = (Socket)arg[0];
try { esock.close(); } catch (Exception ec) {}
}
}
} catch (IOException e) {
}
}
利用這種技術,我們可以在不創建startProxy方法定製版本的情況下,擴展HttpProxy類。要得到給定類的Class對象,只需在正常的名字後面加上.class(如果有某個對象的一個實例,則代之以調用getClass方法)。由於我們把Class對象傳遞給了startProxy方法,所以創建HttpProxy的派生類時,就不必再特意去修改startProxy。(下載代碼中包含了一個派生得到的簡單代理伺服器)。
結束語
利用派生類定製或調整代理伺服器的行為有兩種途徑:修改主機的名字,或者捕獲所有通過代理伺服器的數據。processHostName方法允許代理伺服器分析和修改主機名字。如果啟用了日誌記錄,代理伺服器為每一個通過伺服器的字元調用writeLog方法。如何處理這些信息完全由我們自己決定——可以把它寫入日誌文件,可以把它輸出到控制台,或進行任何其他滿足我們要求的處理。writeLog輸出中的一個Boolean標記指示出數據是來自瀏覽器還是Web主機。
和許多工具一樣,代理伺服器本身並不存在好或者壞的問題,關鍵在於如何使用它們。代理伺服器可能被用於侵犯隱私,但也可以阻隔偷窺者和保護網路。即使代理伺服器和瀏覽器不在同一台機器上,我也樂意把代理伺服器看成是一種擴展瀏覽器功能的途徑。例如,在把數據發送給瀏覽器之前,可以用代理伺服器壓縮數據;未來的代理伺服器甚至還可能把頁面從一種語言翻譯成另一種語言……可能性永無止境。
2. java游戲java實現代理伺服器怎麼實現熱更新
在Java中,要實現熱部署,首先,你得明白,Java中類的載入方式。每一個應用程序的類都會被ClassLoader載入,所以,要實現一個支持熱部署的應用,我們可以對每一個用戶自定義的應用程序使用一個單獨的ClassLoader進行載入。然後,當某個用戶自定義的應用程序發生變化的時候,我們首先銷毀原來的應用,然後使用一個新的ClassLoader來載入改變之後的應用。而所有其他的應用程序不會受到一點干擾。
3. 求助!!java編寫代理伺服器加cookie插入功能!!!
代理可以使用Proxy類。
加入cookie使用如下:
HttpURLConnection的.setRequestProperty("cookie","user=xxx");
.setDoOutput(true);//這個應該專是DoInput還是DoOutput啊,忘屬記了
.connect();
4. 緩存伺服器的緩存概念
這是兩種主要的Web緩存:
直接緩存,將用戶頻繁訪問的來自Internet伺服器的Web對象的拷貝保存在企業本地網路中。
反向緩存,企業內部Web伺服器的Web對象的拷貝保存在企業網路邊緣的代理伺服器上以提高外界訪問企業站點的性能。
Web緩存可以根據不同等級進行配置:
本地緩存:將Web對象緩存的拷貝保存在本地計算機中。大多數流行的Web瀏覽器默認情況下保留一個先前訪問對象的緩存。例如,Internet Explorer稱之為「臨時Internet文件」。本地緩存拷貝只是在用戶頻繁地從同一台機器訪問頁面時有用。
代理緩存:代理伺服器是為公司內的多個用戶/客戶計算機緩存Web對象的單獨機器。它們是位於客戶端和託管的Web伺服器之間的計算機,而且它們比本地緩存效率更高,因為在企業本地網路中的任何用戶或計算機訪問某個Web對象時,緩存拷貝對想訪問該對象的任何其他用戶/計算機是可用的,無需到Internet伺服器上再次下載它。代理緩存可以在網路邊緣與防火牆結合使用。
微軟的ISA Server和BlueCoat的工具一樣,既包括防火牆也包括緩存代理伺服器。緩存伺服器也可以是單獨的機器,運行免費的緩存軟體或商業產品,例如:
Linux版的Squid免費緩存代理
MOWS基於Java分布式web和緩存伺服器
Vicomsoft RapidCache Server for Windows或Macintosh
WinProxy for Windows
可升級的緩存解決方案
隨著公司的擴大,單一的Web緩存伺服器可能無法處理所有的通信或存儲足夠的Web對象。在這種情況下,可以擴展緩存解決方案以建立一個緩存陣列——一組共同工作以便在組內分配緩存負載的緩存代理伺服器。萬一某個緩存伺服器停機,還提供預設的容量。
要在陣列中操作,緩存伺服器必須能夠彼此使用協議進行通信,例如:
WCCP(Web緩存協調協議),Cisco緩存產品以及諸如Squid這樣的開源代理使用。
ICP(Internet緩存協議),被Squid和BlueCoat支持。
CARP(緩存陣列路由協議),被ISA Server Enterprise Edition用來管理緩存伺服器陣列的失效轉移和負載平衡。
CARP能夠支持幾乎無限的線性擴展以滿足快速增長型企業的需求。當向某個陣列中添加或移除一台伺服器時,CARP自動調整並再指定URL以有效地分布負載。
緩存陣列能夠以等級的或分布式的架構排列。在分布式緩存中,陣列中所有代理伺服器處在一個「平等地位」而且負載在它們之間進行分配。在分等級的緩存中,代理以鏈式進行配置,它們處在不同的等級,所以伺服器或陣列連接到其它離Internet更近的伺服器或陣列(離Internet最近的那些伺服器或陣列被看作「上游的」,那些最遠的被看作「下游的」)。這樣,緩存內容會盡可能地靠近需要它的用戶。
陣列是高度可升級的,因為可以向陣列添加伺服器,或向分等級的架構增加陣列等級,而無需擾亂目 前的緩存解決方案。
另一個可擴展性問題是使用緩存減少分支機構網路帶寬的能力。分支機構代理可能沒有直接連接到Internet,但是可以使用撥號連接或辦公室到辦公室的WAN連接以便從總公司的上游代理伺服器上請求Web對象。
另一個選擇是為需要向消費者提供基於Web的應用,可使用諸如由Akamai提供的服務。他們的Web Application Accelerator服務通過下列方法優化性能:
向他們的邊緣伺服器動態映射請求,並監視Internet路由以便在最快和最可靠的路由上傳輸。
利用壓縮技術和預取技術(pre-fetching)以最小化帶寬使用率。
用安全套接層(SSL)保護Web傳輸。
緩存支持的有些硬體標准:
目前緩存支持的硬體標准:
內存不超過4G,超過的只識別4G。
硬碟不超過2T,超過的只識別2T
存儲硬碟數量最大支持4塊(如果系統盤是電子盤不包含在內)
另外推薦使用INTEL的機器和網卡。
5. 想用java編寫個代理伺服器,求具體一些思路,詳細一些,謝謝
在編寫代理伺服器之前,首先應該明白一點,Java的代理機制,如圖所示:
那麼Java就處於中間這層代理伺服器,代理伺服器所作的事情如下:
1、接收客戶端請求,進行處理,然後發送給服務端
2、接收服務端響應,進行處理,然後發送給客戶端
這樣,就更清晰了,Java提供了代理的API為,java.net.Proxy類。此類表示代理設置,通常為類型(http、socks)和套接字地址。Proxy 是不可變對象。
也就是說Java可以製作高級協議的代理,如 HTTP 或 FTP。也可以製作SOCKS(V4 或 V5)代理。
首先,使用到了URL類,HttpURLConnection類及其我們的代理類Proxy類。他們都位於java.net包中。
第一步:生成代理,指定埠為8888:
第二步:使用URLConnection類進行連接www.moonsos.com
第三步:打開URL,並且讀取HTML源碼
6. 哪位了解java數據緩存技術有哪些
一、什麼是緩存
1、Cache是高速緩沖存儲器 一種特殊的存儲器子系統,其中復制了頻繁使用的數據以利於快速訪問
2、凡是位於速度相差較大的兩種硬體/軟體之間的,用於協調兩者數據傳輸速度差異的結構,均可稱之為 Cache
常見的緩存技術有哪些?
一、操作系統緩存
1、文件系統提供的Disk Cache:操作系統會把經常訪問到的文件內容放入到內存當中,由文件系統來管理
2、當應用程序通過文件系統訪問磁碟文件的時候,操作系統從Disk Cache當中讀取文件內容,加速了文件讀取速度
3、Disk Cache由操作系統來自動管理,一般不用人工干預,但應當保證物理內存充足,以便於操作系統可以使用盡量多的內存充當Disk Cache,加速文件讀取速度
4、特殊的應用程序對文件系統Disk Cache有很高的要求,會繞開文件系統Disk Cache,直接訪問磁碟分區,自己實現Disk
5、Cache策略
Oracle的raw device(裸設備) – 直接拋棄文件系統
MySQL的InnoDB: innodb_flush_method = O_DIRECT
二、資料庫緩存
緩存策略:a、Query Cache;b、Data Buffer
三、應用程序緩存
包括對象緩存、查詢緩存、頁面緩存
四、web伺服器端緩存
基於代理伺服器模式的Web伺服器端緩存,如squid/nginx
Web伺服器緩存技術被用來實現CDN(內容分發網路 content delivery network)
被國內主流門戶網站大量採用
不需要編程,但僅限於新聞發布類網站,頁面實時性要求不高
五、基於ajax的瀏覽器緩存
使用AJAX調用的時候,將資料庫在瀏覽器端緩存
只要不離開當前頁面,不刷新當前頁面,就可以直接讀取緩存數據
只適用於使用AJAX技術的頁面
7. JAVA中如何設置代理伺服器,取消代理伺服器
在JAVA中怎麼設置代理伺服器呢,非常簡單
publicvoidsetServiceProxy(Configconfig){
this.config=config;
System.setProperty("http.proxyHost",config.getProxyHost());
System.setProperty("http.proxyPort",config.getProxyPort());
System.setProperty("https.proxyHost",config.getProxyHost());
System.setProperty("https.proxyPort",config.getProxyPort());
}
然後在每一個請求中,設置代理伺服器用戶名和密碼,並進行Base64加密(看你代理伺服器的要求,可能因代理伺服器不同而不同),代碼如下
()throwsIOException{
Stringauthorization=config.getProxyUser()+":"
+config.getProxyPassword();
URLurl=newURL(config.getRequestUrl());
HttpURLConnectionconn=(HttpURLConnection)url.openConnection();
conn.setRequestProperty("Proxy-Authorization",
"Basic"+Base64.encodeBase64String(authorization.getBytes()));
returnconn;
}
8. 用JAVA編寫一個web代理伺服器
了解http協議,主要是了解發送接收報文的格式。
語言方面可以看看scoket編程
9. Java 中怎樣在程序中設置代理伺服器
importjava.io.BufferedReader;
importjava.io.InputStreamReader;
importjava.net.Authenticator;
importjava.net.HttpURLConnection;
importjava.net.InetSocketAddress;
importjava.net.PasswordAuthentication;
importjava.net.Proxy;
importjava.net.URL;
publicclassProxyDemo2{
publicstaticvoidmain(String[]args)throwsException{
URLurl=newURL("http://www.3lai8.com");
///創建代理伺服器
InetSocketAddressaddr=newInetSocketAddress("192.168.0.254",8080);
//Proxyproxy=newProxy(Proxy.Type.SOCKS,addr);//Socket代理
Proxyproxy=newProxy(Proxy.Type.HTTP,addr);//http代理
Authenticator.setDefault(newMyAuthenticator("username","password"));//設置代理的用戶和密碼
HttpURLConnectionconnection=(HttpURLConnection)url.openConnection(proxy);//設置代理訪問
InputStreamReaderin=newInputStreamReader(connection.getInputStream());
BufferedReaderreader=newBufferedReader(in);
while(true){
Strings=reader.readLine();
if(s!=null){
System.out.println(s);
}
}
}
{
privateStringuser="";
privateStringpassword="";
publicMyAuthenticator(Stringuser,Stringpassword){
this.user=user;
this.password=password;
}
(){
(user,password.toCharArray());
}
}
}
10. 怎麼用java實現一個代理伺服器,需要支持htt
怎麼用java實現一個代理伺服器,需要支持htt
代理伺服器的應用非常廣泛。比如,在企業網內部,它可以用來控制員工在工作時瀏覽的Internet內容,阻止員工訪問某些類型的內容或某些指定的網站。代理伺服器實際上扮演著瀏覽器和Web伺服器之間的中間人的角色,能夠對瀏覽器請求進行各種各樣的處理,能夠過濾廣告和Cookie,能夠預先提取Web頁面,使得瀏覽器訪問頁面的速度更快,等等。