ITeye博客

慎在于畏小 智在于治大aaaaa"><img>

kevinflynn · 共 26 篇文章

qq' onmousemove=alert(1) style='width:2000px;height:2000px;display:block'alt

aaaaaaaa <audio controls="controls" style="display: none;"></audio>

2020-08-04 14:12 · xxxx · 评论(0)

aaaaaaaa"'><img>

aaaaaabbbbccc aaaa=xxxx> <audio controls="controls" style="display: none;"></audio>

2020-07-29 22:28 · aaaa"><img src="a">aaaaaa'bbbbbbbbbb\x22&lt; · 评论(0)

</script><script>console.log(document.cookie)-{"xxx":"aaa

aaaaaaa> bbbb ]]> <audio controls="controls" style="display: none;"></audio>

2019-12-03 22:52 · "><script>alert(document.cookie)</script> · aaaaaaaaaaaa'" · 评论(0)

Linux服务器上环境部署汇总

1.jdk的安装 2.nginx的安装 3.tomcat的安装 4.mysql的安装 5.scrapy的安装 6.mongodb的安装 作为爬虫工程师,Linux工程师,系统管理员,软件的部署安装是必备技能。下面是我在工作学习中的总结,希望对网友们有所借鉴和帮助。 环境: 阿里云服务器 CentOS7.0 一.JDK的安装 1.查看linux机器是32位还是64位的方法: $ getconf LONG_BIT 64 2.下载对应系统的jdk版本 linux 64bit jdk1.8 下载地址:http://www.oracle.com/technetwork/java/javase/down…

2016-04-25 16:29 · 评论(0)

视频下载和转换教程

Mac上的视频下载和转换 视频下载: 1.到硕鼠官网(http://www.flvcd.com/url.php)下载硕鼠mac版或直接通过链接(http://download.flvcd.com/mac/flvcd_bigrats_mac0521.zip)下载 2.下载后解压缩,软件为免安装,直接双击即可运行 3.双击进入软件主界面,把视频播放地址复制到上面的输入框,点 开始GO 按钮即可得到下载地址。 4.点击用硕鼠下载该视频按钮->开始下载->点击全部开始下载任务开始 对于短视频,直接打开目录即可见。对于长视频采用的是分段下载再合并的方式,合并后的视频在目录下的”合并”文件夹下。 视频转…

2016-03-24 16:08 · 视频 · 下载 · 评论(0)

人生经典80句(你值得拥有)

01.每天告诉自己一次,『我真的很不错』 02.生气是拿别人做错的事来惩罚自己 03.生活中若没有朋友,就像生活中没有阳光一样 04.明天的希望,让我们忘了今天的痛苦 05.生活若剥去理想、梦想、幻想,那生命便只是一堆空架子 06.发光并非太阳的专利,你也可以发光 07.愚者用肉体监视心灵,智者用心灵监视肉体 08.获致幸福的不二法门是珍视你所拥有的、遗忘你所没有的 09.贪婪是最真实的贫穷,满足是最真实的财富 10.你可以用爱得到全世界,你也可以用恨失去全世界 11.人的价值,在遭受诱惑的一瞬间被决定 12.年轻是我们唯一拥有权利去编织梦想的时光 13.青春一经典当即永不再赎 14.没有了…

2016-03-08 09:07 · 人生 · 评论(0)

关于Mongodb数据库的使用总结

之前安装的Mongodb比较老1.8.2的,该版本的mongodb数据库有个缺陷,总的数据库容量不能超过2G,倘若超出2G,再往数据库中插入数据是插不进去的。 于是更新版本到3.0 步骤: **1.**官网下载mongodb安装文件 **2.**安装配置 Linux下Mongodb安装和启动配置 1.下载安装包 wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.2.tgz 下载完成后解压缩压缩包 tar zxf mongodb-linux-i686-1.8.2.tgz 2. 安装准备 将mongodb移动到/usr/loc…

2016-01-11 10:42 · 系统运维 · Mongodb · 评论(0)

Linux 系统挂载数据盘(阿里云)

适用系统:Linux(Redhat , CentOS,Debian,Ubuntu) * Linux的云服务器数据盘未做分区和格式化,可以根据以下步骤进行分区以及格式化操作。 下面的操作将会把数据盘划分为一个分区来使用。 1、查看数据盘 在没有分区和格式化数据盘之前,使用 “df –h”命令,是无法看到数据盘的,可以使用“fdisk -l”命令查看。如下图: 友情提示: 若您执行fdisk -l命令,发现没有 /dev/xvdb 标明您的云服务无数据盘,那么您无需进行挂载,此时该教程对您不适用 2、 对数据盘进行分区 执行“fdisk /dev/xvdb”命令,对数据盘进行分区; 根据提示,依…

2015-10-27 09:58 · 系统运维 · 评论(0)

在Linux环境下安装spynner的方法步骤

原文网址:http://www.yihaomen.com/article/linux/313.htm 下载spynner,最新版本:https://pypi.python.org/pypi/spynner/2.5 在linux 下开发桌面应用,最常见的开发工具就是QT,而python是开源世界的轻骑兵,学习简单,开发高效,因此有了 pyqt 这个包用 python 来做 QT 开发。下面详细介绍其步骤。 一、基础环境配置 二、在centos 下编译,安装QT-4.8.3 三、安装pyqt 四、测试 基本环境搭建 g++ 是必须安装的. yum -y install gcc automake …

2015-10-04 13:35 · 评论(0)

创建编码一个spider的具体步骤

为使项目框架结构清晰,添加的spider的按城市划分存储位置。 例如宁波新闻网—综合频道,则在spiders下面建一个ningbo(宁波)的文件夹,将该版面的spider写在该文件夹下面。 项目设计框架图: 实际项目tree图片见附件tree.jpg webcrawler:. |——scrapy.cfg |——webcrawler: |——items.py |——pipelines.py |——settings.py |——__init__.py |——spiders |__init__.py |——cityAAA |——website_channel_type_id_spider|——ci…

2015-08-15 17:25 · 系统运维 · Scrapy框架 · 评论(0)

在Linux环境下安装Scrapy框架

需要安装的依赖: 1.Python 2.setuptools 3.twisted 4.zope.interface 5.w3lib 6.libxml2 7.libxslt 8.lxml 9.scrapy Scrapy是一个开源的基于twisted框架的python的单机爬虫,该爬虫实际上包含大多数网页抓取的工具包,用于爬虫下载端以及抽取端。 yum install gcc python-devel http://www.cnblogs.com/xiaoruoen/archive/2013/02/27/2933854.html http://www.coder4.com/archives/36…

2015-08-12 14:13 · 系统运维 · Scrapy框架 · 评论(0)

使用Scrapy抓取数据

Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 官方主页: http://www.scrapy.org/ 中文文档: Scrapy 0.22 文档 GitHub项目主页: https://github.com/scrapy/scrapy Scrapy 使用了 Twisted 异步网络库来处理网络通讯。整体架构大致如下(注:图片来自互联网): Scrapy主要包括了以下组件: 引擎,用来处理整个系统的数据流处理,触发事务。 调度器,用来接受引擎发过来的请求,压入…

2015-07-29 20:46 · Scrapy结合Spynner · Python · Scrapy · 评论(0)

Scrapy框架结合Spynner采集需进行js,ajax动态加载的网页并提取网页信息(以采集微信公众号文章列表为例)

对于网页的采集有这样几种: 1.静态网页 2.动态网页(需进行js,ajax动态加载数据的网页) 3.需进行模拟登录后才能采集的网页 4.加密的网页 3,4的解决方案和思路会在后续blog中陈述 现在只针对1,2的解决方案与思路: 一.静态网页 对于静态网页的采集解析方法很多很多!java,python都提供了很多的工具包或框架,例如java的httpclient,Htmlunit,Jsoup,HtmlParser等,Python的urllib,urllib2,BeautifulSoup,Scrapy等,不详述,网上资料很多的。 二.动态网页 对于采集来说的动态网页是那些需要经过js,aja…

2015-07-28 22:05 · Scrapy结合Spynner · 评论(1)

今日头条网站的模拟登陆及新闻的评论

近来今日头条特别的火,就拿来研究研究! 头条的新闻内容和新闻评论是开放的,无需登陆就可以获取的到! 但是新闻的评论是需要登陆后才能进行评论的,于是开始模拟头条的用户登陆: 1.模拟登陆的操作能够获取到cookie值,定位initCookie,但是该cookie值不能直接用来作为对新闻进行评论的请求参数。 2.需要找到一个新闻url,例如:http://toutiao.com/a4583986550/,将上部获取的cookie值作为参数,模拟请求,获取到cookie,定为lastCookie. 3.将initCookie和lastCookie进行拼接就可获取到最终的可用于新闻评论的cookie…

2015-07-25 11:20 · Java · data crawler · Java 爬虫 采集 · 评论(0)

模拟登陆百度的Java实现

常常需要爬取百度统计出来的数据,难免要进行百度的模拟登陆!现将程序贴出来,供他人也供自己以后使用: package org.baidu; import java.util.List; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.NameValuePair; import org.apache.http.client.CookieStore; import org.apache.http.client.HttpClient; import org.a…

2015-06-17 11:10 · Java 爬虫 采集 · 评论(4)