FavoriteLoading
0

一只小爬虫

嗨!一只小蜘蛛

mark


网络爬虫是什么?

mark

又被称为网页蜘蛛,网络机器人
在FOAF社区中间,更经常的称为网页追逐者
是一种按照一定的规则

自动地抓取万维网信息的程序或者脚本

另外一些不常使用的名字还有:
蚂蚁、自动索引、模拟程序或者蠕虫


利用爬虫技术能做到哪些很酷很有趣很有用的事情?

比如这些:

批量下载:

  • 自动爬取文章小说,生成pdf
  • 爬取互联网内容生成网站文章(有人做淘宝客)
  • 批量下载图片
  • 批量下载视频

网络上某某写的批量下载妹子图

  • 知乎妹子头像
  • 淘宝MM

mark

  • 煎蛋网

mark


当然技术是用来解决生活 | 学习 |工作 问题的

高德API+Python解决租房问题

mark

总结一下租房难的症结:

  • 没钱。
  • 小中介发布的价位一般都是假的,会浪费你很多时间。
  • 对交通路线不熟悉以致于选择面窄。
  • 如果是多人,得同时考虑多人的通勤时间。

利用爬虫可以将

  • 合适价格
  • 在公司附近(通勤路线好)
  • 房子照片
  • 房东信息

批量获取后,显示在网页上,高效解决租房问题
mark


更多应用

详情请查阅知乎

mark


自己写的一个简单小蜘蛛–武汉义工[活动通知助手]

mark

功能:

  • 自动获取活动更新
  • 通过微信(或者邮件)就及时通知我
  • 立即一键群发给指定微信好友
  • 微信群内@所有人,即使通知

背景

武汉在线义工联盟 http://www.whyigong.com
是一个论坛
mark

无论是新人培训通知,还是活动征集
都需要通过访问网站来获取信息

   对于移动互联网时代
   无论是在电脑,还是手机上输入网址
   都并非是一个比较方便的事情  

[爬虫脚本] 自动抓取活动通知

mark

写入本地文档汇总一览

mark

自动微信通知

mark

自动发送到微信群

mark


#### 时间关系,未完待续
mark

### 如何学习爬虫-[思维导图]
mark


一起来爬啊,蜘蛛侠!

mark


添加微信机器人助手 hackrobot

会邀请你加入到微信群
mark


更多精彩文章

把你的微信变成超级营销机器人
小心!3分钟黑掉你的安卓手机
5分钟把U盘变为随身系统
10分钟创意特效视频-极速教程