美文网首页
算不上虫

算不上虫

作者: ouyounger | 来源:发表于2018-08-21 08:55 被阅读0次

爬虫这个东西,以前只是听说过,并不曾认真了解过,本来只是想能做单机的程序就好了,所以对网络这方面一直躲躲闪闪,尤其是多线程异步这一块始终在隐隐作痛,思维还停留在面向过程编程,哎~
好吧,昨天写的这个根本就算不上个虫吧,最多就是行模拟网络请求的C井代码?
当然,代码是copy来的,但是出处忘记了。。。

  static void main(string[] args){
    string url = "http://blog.sina.com.cn/s/articlelist_1240149507_0_2.html";
    HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url); // 这里Create() 返回的是WebRequest

    using(HttpResponse response = (HttpWebResponse)request.GetResponse()){
      if(response.StatusCode == HttpStateCode.OK){  // 状态码 200
        using(Stream stream = response.GetResponseStream()){
          using(StreamReader reader = new StreamReader(stream)){

            string html = reader.ReadToEnd();
            string regstr = @"(?is)<a(?:(?!href=).)*href=(['""]?)(?<url>[^""\s>]*)\1[^>]*>恩恩怨怨(?<text>(?:(?!</?a\b).)*)</a>";   //提取链接的内容

            Regex reg = new Regex(regstr, RegexOptions.IgnoreCase | RegexOptions.Singleline);
            MatchCollection mc = reg.Matches(html);

            foreach (Match m in mc){
              Console.WriteLine(m.Groups["url"].ToString() + ":" + m.Groups["text"].ToString());
              Console.WriteLine("------------------------------");
            }

          }
        }
      }
      else{
        Console.WriteLine("服务器返回错误:{0}", response.StatusCode);
      }
    } 
  }

其实也就是回去html 字符串,然后根据自己需要的规则进行匹配,就是这个样子吧,当然后面可以进行更深层次的搜索,不过有几点还是蛮有意思的:

1 C# HttpWebRequest 类,随然在C# 中类的属性定义形式可以不同于Java,但是F12 或者ReSharper 下Ctrl + B 看类属性的定义,还是和Java 一致的。
2 Stream,Reader 这些个概念还是不能丢,越来越发现基础的东西很重要
3 正则表达式,超级有用,超级有用
4 纯粹是一个功能验证~


好困~

相关文章

  • 算不上虫

    爬虫这个东西,以前只是听说过,并不曾认真了解过,本来只是想能做单机的程序就好了,所以对网络这方面一直躲躲闪闪,尤其...

  • 《萤火虫之墓》这个小男孩算不上无辜

    这个小男孩说真的不算无辜。 有米的时候阿姨给五人盛的都是米,吃了几天后那个阿姨给三人盛的才都是米汤,因为丈夫和女儿...

  • 算不上故事

    昨晚,12点过的样子,杭州,我在天猫24小时无人超市。进来了一个40左右的大叔,带着安全帽,皮肤黝黑肚子微鼓。 他...

  • 算不上初恋

    今天看了朋友圈,而且我隐身看了QQ你的和你女朋友的,也许比较配吧,哈哈,不知道当初的我为什么会选你,有病吧,对,有...

  • 算不上情书

    当你看到这段称不上情书的文字时,请不要离开,也不要好奇我是谁,我只希望你可以用几分钟时间用心将它看完,因为...

  • 尊重孩子,从“低声教育”开始

    作家毛利分享自己与儿子艾文相处的故事,许多细节很有意思。 在她的描述里,儿子虽然成绩算不上优秀,但对花鸟虫鱼的热情...

  • 心灵算不上鸡汤

    真实的感情,主观上不具有被动强迫性。相约是美好的,存在是安心的,即便长久的不相见,但心是靠近的。并不是用一种假定的...

  • 算不上的半夜

    总有那么一类人 喜欢和着月光 喜欢和着雨天 喜欢和着微风 喜欢...

  • 算不上的艳遇

    高考成绩下来后,我很平静。在快要报考时,我和妹妹去了呼市,对家里人说是去找二哥报考,其实,主要是想去走走。那天的...

  • 算不上噩梦了

    楼顶上,一张床铺,摇摇晃晃,四周没有任何遮挡物,随时有掉下去的危险,半跪在摇晃的小床上,抓着旁边的小栏杆,她对男友...

网友评论

      本文标题:算不上虫

      本文链接:https://www.haomeiwen.com/subject/eufdiftx.html