看到帖子有網友問如何使用C#程序訪問百度指數（網站的站長對這個指標一定不陌生）。如下圖，顯示了CSDN的用戶關注度和媒體關注度。但很可惜的是，用戶只能通過瀏覽的方式得到某天的指數，如果想批量檢查多個關鍵詞的百度指數，就很麻煩了。而且如果想得到具體每天的數值也不是那么容易。

正好自己也有需要，所以研究了下，寫了個簡單的Demo實現此功能，歡迎各位朋友指正。

 

由于百度指數是以Flash的形式在客戶端展現出來的，不方便直接取到，開始我以為要用C#程序和Flash客戶端交互。但按常理，我們需要分析發(fā)送客戶度請求是發(fā)送到服務器的數據和返回的響應結果（其實基本所有的外掛都是這樣做的）。

 

我使用的抓包工具是HTTP Analyzer，通過查看Post Data，可以看到客戶端是發(fā)送了一個Post請求到http://index.baidu.com/gateway.php

發(fā)送的數據是一個AMF Message

那么我們需要研究下我們如何能讓我們的程序發(fā)送出相同的請求。

再此之前我們需要了解下AMF的概念，AMF是Adobe公司開發(fā)的數據交互和遠程過程調用的協議，全稱為Action Message Format，很類似于WebService。但WebService傳遞的是XML文本數據，而AMF使用Http傳輸的是二進制數據。

AMF中主要使用的數據類型如下：

[c-sharp] view plaincopyprint?
  1. public enum DataType  
  2. {  
  3.     Number = 0,  
  4.     Boolean = 1,  
  5.     String = 2,  
  6.     UntypedObject = 3,  
  7.     MovieClip = 4,  
  8.     Null = 5,  
  9.     Undefined = 6,  
  10.     ReferencedObject = 7,  
  11.     MixedArray = 8,  
  12.     End = 9,  
  13.     Array = 10,//0x0A      
  14.     Date = 11,//0x0B      
  15.     LongString = 12,//0x0C      
  16.     TypeAsObject = 13,//0x0D      
  17.     Recordset = 14,//0x0E      
  18.     Xml = 15,//0x0F      
  19.     TypedObject = 16,//0x10      
  20.     AMF3data = 17//0x11      
  21. }  

我們看下向服務器發(fā)送的AMF Message信息，HEX顯示如下

這些二進制數據的分析如下
0003 說明使用的AMF版本，目前AMF有兩個版本，0000 表示 AMF0，0003表示AMF3
0000 表示AMF Header的數量0
0001 表示AMF Body的數量1
0017 表示調用的方法的長度占23個字節(jié)(17的16進制就是23)
接下來
4461 7461 4163 6365 7373 6f72 2e67 6574 496e 6465 7865 73
這23個字節(jié)表示調用服務器端的方法是DataAccessor.getIndexes(44的16進制就是68，也就是D，后面不再做類似解釋)
接下來的 00 022f 31 表示target作為標識實現請求和響應的聯系，一般是自增整數。00表示數據類型為Number，02表示長度為兩個字節(jié)，2f 31其實就是/1

00 0000 2d Body的長度為Number類型，長度為45

0a 0000 0003 0a表示數組類型（類似于C#中的Dictionary，鍵值對，鍵總是string類型），長度為3

數組的第一部分
0200 0ce5 a881 e8bf 85e6 9599 e882 b2 02表示字符串類型，0c表示此字符串長度為12，后面的e5 a881 e8bf 85e6 9599 e882 b2
表示傳遞的數據,可以用下段代碼查看

[c-sharp] view plaincopyprint?
  1. byte[] buffer = new byte[] { 0xe5, 0xa8, 0x81, 0xe8, 0xbf, 0x85, 0xe6, 0x95, 0x99, 0xe8, 0x82, 0xb2 };  
  2. string str = System.Text.Encoding.UTF8.GetString(buffer);  
  3. Console.Write(str); //廣告  

數組的第二部分
02 0001 30 字符串0，不知道有什么意義

數組的第三部分
02 0012 3230 3130 2d36 2d31 7c32 3031 302d 362d 3131
長度為18的字符串，內容為2010-6-1|2010-6-11

至此，請求的數據我們已經分析完畢，再簡單說下返回的數據(Response Content)


返回的AMF Message當然也包括Header和Body(數組類型)
Body的Target為/1/onResult
Body的Content包括
key String類型 就是我們傳進去的關鍵詞
area Number類型 0
areaName String類型 可以用上面的代碼看到內容，就是全國
userIndexes String類型 這里都是百度指數(用戶關注度)，用逗號分隔開
mediaIndexes String類型 這里都是媒體指數(媒體關注度)，用逗號分隔開(由于圖中userIndexes 占位較多，所以未顯示出來，在userIndexes數據下方)

如果想得到Z后一天的百度指數，只要找到mediaIndexes前面Z后一個逗號后跟的數字即可（當然要排除mediaIndexes本身數據類型及長度的占位字節(jié)）

前面我們已經分析了發(fā)送給服務器的數據，下面就是我們怎樣把這些數據post到服務器了，我們看到對AMF的二進制數據處理（序列化及反序列化）很麻煩，有興趣的朋友可以使

用FluroineFx
FluroineFx官方網站：http://www.fluorinefx.com/   
FluroineFx下載地址：http://www.fluorinefx.com/download.html
FluroineFx在線文檔：http://www.fluorinefx.com/docs/fluorine/index.html

但由于我們的應用非常簡單，所以使用網上流傳的一個模擬AMF Post的類，做了些修改，主要是我們現在應用的編碼為UTF8

[c-sharp] view plaincopyprint?
  1. class AMFPostData  
  2. {  
  3.     public List<byte> Message;  
  4.   
  5.     /// <summary>      
  6.     /// 初始化Message      
  7.     /// </summary>      
  8.     /// <param name="amftype"></param>      
  9.     /// <param name="headers"></param>      
  10.     /// <param name="bodies"></param>      
  11.     public AMFPostData(AMFType amftype, int headers, int bodies)  
  12.     {  
  13.         //AMF版本      
  14.         if (amftype == AMFType.AMF0)  
  15.         {  
  16.             Message = new List<byte>(new byte[] { 0x00, 0x00 });  
  17.         }  
  18.         else if (amftype == AMFType.AMF3)  
  19.         {  
  20.             Message = new List<byte>(new byte[] { 0x00, 0x03 });  
  21.         }  
  22.   
  23.         //header數量      
  24.         Message.Add(BitConverter.GetBytes(headers)[1]);  
  25.         Message.Add(BitConverter.GetBytes(headers)[0]);  
  26.         //body數量      
  27.         Message.Add(BitConverter.GetBytes(bodies)[1]);  
  28.         Message.Add(BitConverter.GetBytes(bodies)[0]);  
  29.     }  
  30.   
  31.     /// <summary>      
  32.     /// 添加Target      
  33.     /// </summary>      
  34.     /// <param name="target"></param>      
  35.     /// <param name="response"></param>      
  36.     public void AddTargetAndResponse(string target, string response)  
  37.     {  
  38.         //添加Target長度      
  39.         Message.Add(BitConverter.GetBytes(target.Length)[1]);  
  40.         Message.Add(BitConverter.GetBytes(target.Length)[0]);  
  41.         //添加Target內容      
  42.         Message.AddRange(Encoding.UTF8.GetBytes(target));  
  43.   
  44.         //添加Response長度      
  45.         Message.Add(BitConverter.GetBytes(response.Length)[1]);  
  46.         Message.Add(BitConverter.GetBytes(response.Length)[0]);  
  47.         //添加Response內容      
  48.         Message.AddRange(Encoding.UTF8.GetBytes(response));  
  49.     }  
  50.   
  51.     /// <summary>      
  52.     /// 添加Body      
  53.     /// </summary>      
  54.     /// <param name="length"></param>      
  55.     /// <param name="Content"></param>      
  56.     public void AddBody(AMFPostDataBody amfpostdatabody)  
  57.     {  
  58.         Message.AddRange(amfpostdatabody.GetLength());  
  59.         Message.AddRange(amfpostdatabody.Content.ToArray());  
  60.     }  
  61. }  
  62.   
  63. class AMFPostDataBody  
  64. {  
  65.     private byte[] length = new byte[4];  
  66.     public List<byte> Content = new List<byte>();  
  67.   
  68.     /// <summary>      
  69.     /// 初始化Body      
  70.     /// </summary>      
  71.     /// <param name="datatype"></param>      
  72.     /// <param name="arraylength"></param>      
  73.     public AMFPostDataBody(DataType datatype, int arraylength)  
  74.     {  
  75.         //添加類型標識      
  76.         Content.Add((byte)datatype);  
  77.   
  78.         //數組的話添加長度      
  79.         if (datatype == DataType.Array)  
  80.         {  
  81.             Content.Add(BitConverter.GetBytes(arraylength)[3]);  
  82.             Content.Add(BitConverter.GetBytes(arraylength)[2]);  
  83.             Content.Add(BitConverter.GetBytes(arraylength)[1]);  
  84.             Content.Add(BitConverter.GetBytes(arraylength)[0]);  
  85.         }  
  86.     }  
  87.   
  88.     public void AddData(DataType datatype, string value)  
  89.     {  
  90.         //添加類型標識      
  91.         Content.Add((byte)datatype);  
  92.   
  93.         switch (datatype)  
  94.         {  
  95.             case DataType.Number:  
  96.                 AddData(double.Parse(value));  
  97.                 break;  
  98.             case DataType.String:  
  99.                 AddData(value);  
  100.                 break;  
  101.             case DataType.Boolean:  
  102.                 AddData(Boolean.Parse(value));  
  103.                 break;  
  104.         }  
  105.     }  
  107.     #region 各種類型處理方法   
  108.     /// <summary>      
  109.     /// Boolean      
  110.     /// </summary>      
  111.     /// <param name="flag"></param>      
  112.     private void AddData(bool flag)  
  113.     {  
  114.         if (flag)  
  115.             Content.Add(0x01);  
  116.         else  
  117.             Content.Add(0x00);  
  118.     }  
  119.     /// <summary>      
  120.     /// String      
  121.     /// </summary>      
  122.     /// <param name="value"></param>      
  123.     private void AddData(string value)  
  124.     {  
  125.         //添加長度      
  126.         Content.Add(BitConverter.GetBytes(Encoding.UTF8.GetBytes(value).Length)[1]);  
  127.         Content.Add(BitConverter.GetBytes(Encoding.UTF8.GetBytes(value).Length)[0]);  
  128.         //添加內容      
  129.         Content.AddRange(Encoding.UTF8.GetBytes(value));  
  130.     }  
  131.     /// <summary>      
  132.     /// Number      
  133.     /// </summary>      
  134.     /// <param name="number"></param>      
  135.     private void AddData(double number)  
  136.     {  
  137.         byte[] b = new byte[8];  
  138.         b = BitConverter.GetBytes(number);  
  139.         for (int i = 7; i > -1; i--)  
  140.         {  
  141.             Content.Add(b[i]);  
  142.         }  
  143.     }  
  144.     #endregion   
  145.   
  146.     public byte[] GetLength()  
  147.     {  
  148.         length[0] = BitConverter.GetBytes(Content.Count)[3];  
  149.         length[1] = BitConverter.GetBytes(Content.Count)[2];  
  150.         length[2] = BitConverter.GetBytes(Content.Count)[1];  
  151.         length[3] = BitConverter.GetBytes(Content.Count)[0];  
  152.   
  153.         return length;  
  154.     }  
  155. }  
  156.   
  157. public enum AMFType  
  158. {  
  159.     AMF0,  
  160.     AMF3  
  161. }  
  162.   
  163. public enum DataType  
  164. {  
  165.     Number = 0,  
  166.     Boolean = 1,  
  167.     String = 2,  
  168.     UntypedObject = 3,  
  169.     MovieClip = 4,  
  170.     Null = 5,  
  171.     Undefined = 6,  
  172.     ReferencedObject = 7,  
  173.     MixedArray = 8,  
  174.     End = 9,  
  175.     Array = 10,//0x0A      
  176.     Date = 11,//0x0B      
  177.     LongString = 12,//0x0C      
  178.     TypeAsObject = 13,//0x0D      
  179.     Recordset = 14,//0x0E      
  180.     Xml = 15,//0x0F      
  181.     TypedObject = 16,//0x10      
  182.     AMF3data = 17//0x11      
  183. }  

根據前文分析結果，我們生成數據的方法如下

[c-sharp] view plaincopyprint?
  1. private static byte [] GetData(string key, string startdate, string enddate)  
  2. {  
  3.     AMFPostData amfpostdata = new AMFPostData(AMFType.AMF3, 0, 1);  
  4.     amfpostdata.AddTargetAndResponse("DataAccessor.getIndexes", "/1");  
  5.   
  6.     AMFPostDataBody amfpostdatabody = new AMFPostDataBody(DataType.Array, 3);  
  7.     amfpostdatabody.AddData(DataType.String, key);  
  8.     amfpostdatabody.AddData(DataType.String, "0");  
  9.     amfpostdatabody.AddData(DataType.String, startdate + "|" + enddate);  
  10.   
  11.     amfpostdata.AddBody(amfpostdatabody);  
  12.   
  13.     byte[] data = amfpostdata.Message.ToArray();  
  14.   
  15.     return data;  
  16. }  

可以使用以下方法發(fā)送數據及得到返回響應的二進制數據

[c-sharp] view plaincopyprint?
  1. public static byte[] GetFlashData(string gateway, byte[] data)  
  2. {  
  3.     HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(gateway);  
  4.     request.Method = "Post";  
  5.     request.ContentType = "application/x-amf";  
  6.     CookieContainer cookie = new CookieContainer();  
  7.     request.CookieContainer = cookie;  
  8.   
  9.     byte[] requestData = data;  
  10.     request.ContentLength = requestData.Length;  
  11.   
  12.     byte[] responseData = null;  
  13.   
  14.     try  
  15.     {  
  16.         using (Stream requestStream = request.GetRequestStream())  
  17.         {  
  18.             requestStream.Write(requestData, 0, requestData.Length);  
  19.         }  
  20.   
  21.         HttpWebResponse response = (HttpWebResponse)request.GetResponse();  
  22.         using (Stream responseStream = response.GetResponseStream())  
  23.         {  
  24.      //StreamToBytes是將流轉換為二進制字節(jié)數組的方法，下文補上   
  25.             responseData = StreamToBytes(responseStream);  
  26.         }  
  27.     }  
  28.     catch (Exception ex)  
  29.     {  
  30.         Console.WriteLine(DateTime.Now.ToString() + "," + ex.Message);  
  31.         //Log.WriteLine(DateTime.Now.ToString() + "," + ex.Message);   
  32.     }  
  33.     return responseData;  
  34. }  

    由于返回的Stream只能Read，所以轉換為二進制流麻煩一些，并且考慮到AMF中流結束的標記為00 00 09，所以寫了如下方法得到返回的二進制流

    [c-sharp] view plaincopyprint?
    1. /// <summary>    
    2. /// 將 Stream 轉成 byte[]    
    3. /// </summary>    
    4. public static byte[] StreamToBytes(Stream stream)  
    5. {  
    6.     List<byte> bytes = new List<byte>();  
    7.     byte b = (byte)stream.ReadByte();  
    8.     byte b1 = 0, b2 = 0, b3 = 0;  
    9.     while (true)  
    10.     {  
    11.         if (b1 == 0 && b2 == 0 && b3 == 9)  
    12.         {  
    13.             break;  
    14.         }  
    15.         b1 = b2;  
    16.         b2 = b3;  
    17.         b3 = b;  
    18.         bytes.Add(b3);  
    19.         b = (byte)stream.ReadByte();  
    20.     }  
    21.   
    22.     return bytes.ToArray();  
    23. }  

    對返回數據的分析第一篇已經說過了，考慮到分析二進制數據比較麻煩，而實際上我們需要的數據就在userIndexes和mediaIndexes之間，所以我用了如下的方法返回Z后7天的百度指數

    [c-sharp] view plaincopyprint?
    1. private static List<int> GetIndexs(byte[] data)  
    2. {  
    3.     if (data == null)  
    4.     {  
    5.         return null;  
    6.     }  
    7.     List<int> result = new List<int>();  
    8.     string str = Encoding.UTF8.GetString(data);  
    9.   
    10.     string start = "userIndexes";  
    11.     string end = "mediaIndexes";  
    12.     int startIndex = str.IndexOf(start) + start.Length;  
    13.     int endIndex = str.IndexOf(end);  
    14.   
    15.     string[] temp = str.Substring(startIndex, endIndex - startIndex).Split(',');  
    16.   
    17.     result.Add(StringToInt(temp[temp.Length - 1]));  
    18.   
    19.     int number = 0;  
    20.     for (int index = temp.Length - 2; index > temp.Length - 8; index--)  
    21.     {  
    22.         int.TryParse(temp[index], out number);  
    23.         result.Add(number);  
    24.     }  
    25.   
    26.     return result;  
    27.   
    28.     //以下為測試代碼   
    29.     //int count = 0;   
    30.     //foreach (byte item in data)   
    31.     //{   
    32.     //    Log.Write(item.ToString("X2"));   
    33.     //    Log.Write(" ");   
    34.     //    count++;   
    35.     //    if (count == 16)   
    36.     //    {   
    37.     //        count = 0;   
    38.     //        Log.Write(System.Environment.NewLine);   
    39.     //    }   
    40.     //}   
    41. }  
    42. //Z后一天的數據由于和mediaIndexes中有包含數據類型長度的字節(jié)，特殊處理下   
    43. public static int StringToInt(string str)  
    44. {  
    45.     int result = 0;  
    46.     int number = 0;  
    47.     for (int i = 0; i < str.Length; i++)  
    48.     {  
    49.         number = str[i] - '0';  
    50.         if (number >= 0 && number <= 9)  
    51.         {  
    52.             result = result * 10 + number;  
    53.         }  
    54.         else  
    55.         {  
    56.             break;  
    57.         }  
    58.     }  
    59.     return result;  
    60. }  

    下面是主函數的調用

    [c-sharp] view plaincopyprint?
    1. static void Main(string[] args)  
    2. {  
    3.     string keyword = "威迅教育";  
    4.     string start = "2010-6-1";  
    5.     string end = "2010-6-11";  
    6.   
    7.     List<int> result = Run(keyword, start, end);  
    8.     foreach (int item in result)  
    9.     {  
    10.         Console.Write(item + " ");  
    11.     }  
    12. }  
    13. public static List<int> Run(string keyword, string start, string end)  
    14. {  
    15.     byte[] data = GetData(keyword, start, end);  
    16.             string gateway = "http://index.baidu.com/gateway.php";  
    17.   
    18.     byte[] responseData = WebFunc.GetFlashData(gateway, data);  
    19.       
    20.     if (responseData == null)  
    21.     {  
    22.         return null;  
    23.     }  
    24.   
    25.     List<int> result = GetIndexs(responseData);  
    26.     return result;  
    27. }  

     

    如果還是無法得到的，可以留言我會提供代碼樣例

    Z后，實際上，以上的算法效率并不高，百度指數可以同時查詢三個關鍵詞，有興趣的朋友可以研究下處理的方式。