c#编程是怎样抓取html网页数据的?(代码实例)
Vivian 2018-05-22 来源 : 阅读 1511 评论 0

摘要:本次的c#编程向大家介绍了如何去抓取html网页数据,通过具体的源码案例,希望对大家学习c#编程有所帮助。

本次的c#编程向大家介绍了如何去抓取html网页数据,通过具体的源码案例,希望对大家学习c#编程有所帮助。

//方法一
using System.Text.RegularExpressions;
 
public static void webClientMethod1()
        {
            WebClient wc = new WebClient();
            wc.Encoding = Encoding.UTF8;
            //以字符串的形式返回数据
            string html = wc.DownloadString("https://www.baidu.com/");
 
            //以正则表达式的形式匹配到字符串网页中想要的数据
            MatchCollection matches = Regex.Matches(html, "(.*)");
            //依次取得匹配到的数据
            foreach (Match item in matches)
            {
                Console.WriteLine(item.Groups[1].Value);
            }
            Console.ReadKey();
        }
 
 
//方法二
 public static string SendRequest()
        {
            string url = "https://www.baidu.com/";
            Uri httpURL = new Uri(url);
 
            ///HttpWebRequest类继承于WebRequest,并没有自己的构造函数,需通过WebRequest的Creat方法 建立,并进行强制的类型转换  
            HttpWebRequest httpReq = (HttpWebRequest)WebRequest.Create(httpURL);
            //httpReq.Headers.Add("cityen", "tj");
 
            ///通过HttpWebRequest的GetResponse()方法建立HttpWebResponse,强制类型转换  
            HttpWebResponse httpResp = (HttpWebResponse)httpReq.GetResponse();
 
            ///GetResponseStream()方法获取HTTP响应的数据流,并尝试取得URL中所指定的网页内容  
            ///若成功取得网页的内容,则以System.IO.Stream形式返回,若失败则产生ProtoclViolationException错 误。
            System.IO.Stream respStream = httpResp.GetResponseStream();
 
            ///返回的内容是Stream形式的,所以可以利用StreamReader类获取GetResponseStream的内容
            System.IO.StreamReader respStreamReader = new System.IO.StreamReader(respStream, Encoding.UTF8);
            //从流的当前位置读取到结尾
            string  strBuff = respStreamReader.ReadToEnd();
 
            //简单写法,跟上面的结果一样
            //using (var sr = new System.IO.StreamReader(httpReq.GetResponse().GetResponseStream()))
            //{
            //    var result = sr.ReadToEnd();
            //    Console.WriteLine("微信--" + DateTime.Now.ToString() + "--" + result);
            //}
            respStreamReader.Close();
            respStream.Close();
            return strBuff;
        }</a.*>

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标编程语言C#.NET频道

本文由 @Vivian 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程