python的scrapy爬抓安装与教程
scrapy讲解scrapy是python的一个爬虫框架,本质就是封装好了很多处理的功能,比如网页解析、数据存储等。当然使用时还是要懂一定的爬虫知识,懒猫没事看到喜欢的也会使用,这一篇就是懒猫的复习一遍教学之旅。
接下来具体介绍下:
Scrapy是一个用Python编写的高级Web爬虫框架,旨在帮助开发人员快速、高效地从网站上提取结构化数据。
Scrapy提供了一组功能强大的工具和库,包括HTTP请求处理、数据提取、数据存储和导出等,可以轻松地提取各种类型的数据,并将其保存到CSV文件、JSON文件或数据库中。
Scrapy采用异步网络框架Twisted来处理请求和响应,并提供了多线程和分布式处理能力,具有很高的性能和可扩展性。它还支持自定义中间件和扩展,方便用户根据自己的需求对其进行定制和扩展。
安装scrapy安装Scrapy之前,需要确保你已经安装了Python(必须3.7以上版本吧)和pip包管理工具。
使用pycharm安装
首页要安装pycharm下载安装,激活工具可以查看下方(也可以不是使用,有7天使用是免费),创建运行文件的目录即可。
引用站外地址,不保证 ...
最新版Adobe全家桶下载 免激活 适合Windows和Mac-Adobe CC 2023
Adobe CC 2023 Win Mac破解版Adobe CC 2023,一个个人网站,专门收集最新版Adobe全家桶、Adobe CC 2023,适合 Win/Mac破解版,目前该网站站收集了包括 Photoshop、Illustrator、InDesign、Premiere Pro 和 Acrobat Pro 在内的 16 余款创意应用程序破解版,提供百度网盘、天翼云盘下载地址给需要的朋友下载,而且软件还支持苹果的M1芯片版本。
资源由国内大神 @vposy 嬴政天下整理提供,集成破解补丁一键安装,无需登录ID,无需断网改HOST,支持简体中文,支持自定义安装路径,只需解压安装即可轻松使用。——解压密码:@vposy
最新版Adobe全家桶下载
引用站外地址,不保证站点的可用性和安全性
Adobe CC 2023
绿色破解软件,放心下载
免费百度网盘不限速下载-教程
现在很多资源文件大头都在百度云盘上,但百度吃相太难看了!!!限速,还侮辱人的5分钟高速下载收费,真的是太过分了,所以懒猫要替猫行盗,翻找调查了很久终于找到了解决方案,亲自尝试可用!唯一缺点还没找到mac版本,待后续更新吧!
接下来介绍当前百度云盘资源解析工具
免费百度网盘不限速下载就是加速
引用站外地址,不保证站点的可用性和安全性
就是加速
百度网盘不限速下载工具
TT快下在线解析TT快下在线解析是一个免费百度网盘不限速下载工具,和以往发过的百度网盘不限速工具差不多,工具把真实的文件链接解析出来,然后借助第三方工具IDM、Aria2或者Motrix等等工具进行下载,速度直接拉满,而且工具目前还是免费的,不设限制,低调用。
百度网盘不限速下载工具使用方法
打开TT快下在线解析
引用站外地址,不保证站点的可用性和安全性
TT快下在线解析
...
Road 2 Coding-编程自学路线和自学编程资源大聚合
Road 2 Codingr2coding,即 Road To Coding,意为编程自学之路,是自学编程以来所用资源和分享内容的大聚合。旨在为编程自学者提供一系列清晰的学习路线、靠谱的资源、高效的工具、和务实的文章,方便自己也方便他人,而且网站内容会持续保持更新,有自学需求的同学的可以去看一下,非常丰富。
内容主要包含但不限于:Java后端、前端开发、嵌入式开发、大数据开发、数据结构、算法题、leetcode、计算机网络、操作系统、设计模式、编译原理、计算机组成原理、C语言、C++、Spring Boot、Spring Cloud、Git、SVN、Linux、Node、IDEA、Python、MySQL、Redis、Tomcat、Nginx、Kubernetes、Elasticsearch、Kafka、微服务分布式、高可用架构、中间件、数据库、缓存、消息队列、系统监控等知识分享。
编程自学路线和自学编程资源大聚合
引用站外地址,不保证站点的可用性和安全性
Road 2 Coding
...
flysheep资源避难所-免费游戏资源下载站
flysheep资源避难所flysheep资源避难所是一个免费的二次元风格游戏资源下载站,整合大型单机游戏,目前网站收录steam游戏、epic游戏、VR游戏、模拟器整合游戏、单机资源、switch游戏等等大型系列游戏,而且网站界面整洁,没有花里胡哨的套路,游戏资源都是免费直接下载的,不过游戏存放的网盘不是流行的网盘。
免费游戏资源下载站地址
引用站外地址,不保证站点的可用性和安全性
flysheep资源避难所
免费游戏资源下载站
装机心历路程-包含windows10激活工具
首先给个大家福利 云萌 – Windows 10 激活工具 永久数字权利激活工具 懒猫自己亲自测试重官方下载win10安装到系统,傻瓜式点击即可激活系统。
何谓数字权利激活什么是“数字权利激活”?数字许可证激活是 Windows 10 中新加入的激活方式,是一种授权方法的分类。数字许可证会记录您的硬件设备信息,只要在CPU和主板设备没有更换的情况下就可以连接微软服务器自动永久性的激活系统,重新安装系统时无需再次输入产品密钥,安装后会自动永久激活。“数字权利激活”在不更换电脑硬件的情况下一直有效,无论您安装的系统是正式版还是预览版,不影响永久激活效果。
云萌下载地址
引用站外地址,不保证站点的可用性和安全性
云萌 Windows 10 激活工具
软件主页
引用站外地址,不保证站点的可用性和安全性
GitHub项目地址
CMWTA ...
Hexo 网址卡片外置标签
makdown 的超链接显示 其实我看的真不怎么喜欢,就想找找看有没有好的,这不发现一篇相关的修改也进行了尝试,当然想看原版 张洪Heo网址卡片外置标签 点击查看,很多步骤都相似,但是css是我自己更改的,适用于我自己的博客。
效果预览
引用站外地址,不保证站点的可用性和安全性
获取网站的Favicon图标并显示在你的网页上
owen0o0
1{% link 获取网站的Favicon图标并显示在你的网页上,owen0o0,https://github.com/owen0o0/getFavicon %}
添加外置标签新建文件themes/butterfly/scripts/tag/link.js
123456789101112131415161718192021222324function link(args) { args = args.join(' ').spl ...
装机小白指导 先了解后再研究 最后选择,当然希望大佬指正或推荐
最近懒猫要买一台新电脑,可是网上直接买整机的感觉都是被深深的坑惨了,很多水货,要不就是阉割版,要不就是啥也不咋地牌子货,甚至货不对版更多,所以懒猫就打算要好好研究了解下,先从最基本理解开始,在慢慢深入。
显卡好坏关系到什么?显卡好坏关系到电脑的图形处理、游戏性能和显示效果等方面.如果经常玩游戏或需要进行大量图形处理工作,那么高性能的显卡将会对您的体验产生很大的影响。而如果您只是进行一般办公或娱乐用途,一款中低端的显卡已经足够满足您的需求。
一个好的显卡应该有以下特点:
显存足够:显存(VRAM)是显卡中用于存储图形数据和其他计算所需信息的内存。通常,显存越大,显卡就可以处理更复杂、更高分辨率的游戏或应用程序。
高效能:显卡的效能决定了它在高负荷运行时的表现。这涉及到GPU核心数、时钟速度、架构和其他因素。
散热系统:显卡需要一个良好的散热系统来保持温度稳定。如果显卡过热,它的性能和寿命可能会受到影响。
噪音水平:一些显卡可能会发出很大的噪音。这对于娱乐和工作都是不利的,因此选择一个噪音低的显卡可能更好。
支持技术:一些新技术可以提高游戏体验和图形性能,如光线追踪和DLSS技术等。在 ...
商品历史价格查询 识破商家假促销 购物利器-购物党
商品历史价格查询一个在线商品历史价格查询工具,由购物党提供的,能够支持淘宝、天猫、京东、苏宁、小米商城、亚马逊、当当、唯品会、网页考拉、华为商城、小米有品等等平台的商品历史价格查询,使用简单,只需要复制商品的链接粘贴到查询窗口,即可查询出该商品最近一段时间的价格走势,618、双十一等等购物节利器,一秒识破商家假促销。
商品历史价格查询工具地址
引用站外地址,不保证站点的可用性和安全性
商品历史价格查询工具地址
购物党
暗网地址大全-666暗网导航 【凝视深渊,深渊也将凝视你】
666暗网导航666暗网导航,一个收集整理最受欢迎的暗网地址大全的在线导航网站,上面收集了各种类型的暗网地址大全,可以按照类型查看,需要知道的是,暗网地址是以onion结尾的,使用普通浏览是打不开的,需要下载Tor浏览器连接上才可以打开,而且上面的鱼龙混杂,在线学习的时候注意安全。
最受欢迎的暗网地址大全666暗网导航:https://onion666.com/
暗网地址版:http://666666666tjjjeweu5iikuj7hkpke5phvdylcless7g4dn6vma2xxcad.onion
CSDNGreener CSDN广告完全过滤 去除登陆弹窗
CSDN广告完全过滤简介CSDNGreener 是一个优化 CSDN 广告(CSDN广告完全过滤),去除登陆弹窗的脚本,拥有自定义背景图,分辨率自适配,原创文章免登录展开,免登录复制,独家防外链重定向,全面净化csdn,让你沉浸阅读等等功能的脚本。
特色⚡️全新4.0版本!拥有数项独家功能的最强CSDN脚本,不服比一比⚡️|🕶无需登录CSDN,获得比会员更佳的体验|🖥自定义背景图,分辨率自适配,分屏不用滚动|💾超级预优化|🔖独家超级免会员|🏷独家原创文章免登录展开|🔌独家推荐内容自由开关|📠独家免登录复制|🔗独家防外链重定向|📝独家论坛未登录自动展开文章、评论|🌵全面净化|📈沉浸阅读|🧴净化剪贴板|📕作者信息文章顶部展示
效果对比
使用前
使用后
插件设置
📱 兼容性CSDNGreener 是一个优化 CSDN 广告、使用体验的脚本,有口皆碑。在使用脚本之前,你需要为浏览器安装油猴(Tampermonkey)插件。经过测试,我们确定兼容以下浏览器和插件用于安装此脚本。
脚本安装🌐 浏览器支持(任选其一即可)Chrome 或 基于 Chromium 内核 ...
Hexo的Butterfly下如何隐藏部分文章不在首页显示
修改主题文件地址:themes/butterfly/layout/includes/mixins/post-ui.pug
注意,主要是添加了if article.hide !== true这一行,然后这一行后全部需要按下tab缩进一层。
1234mixin postUI(posts) each article , index in page.posts.data if article.hide !== true .recent-post-item
修改文章在md文件的头部信息中添加hide: true
123456---title: Hexo的Butterfly下如何隐藏部分文章不在首页显示author: 懒猫hide: true...---
大功告成现在你可以发现只要在头部信息中包含hide: true的文章均不会出现在首页中,其他页面不影响。
问题:这个只影响了渲染,但是不影响生成器生成,所以如果你每页文章为10篇,而你第一页隐藏了4篇,那么首页第一页只会展示6篇。
Twikoo评论回复邮件模板:Acrylic Mail 粉
Twikoo默认的比较简洁,所以需要改的好看些了。有需要的小伙伴可以自取。
邮件样式
其实也是比较偏简洁的那种吧。兼容移动端和电脑端。
移动端样式:
移动端
电脑端样式:
电脑端
代码1<div class="page flex-col"><div class="box_3 flex-col" style=" display: flex; position: relative; width: 100%; height: 206px; background: #ef859d2e; top: 0; left: 0; justify-content: center;"><div class="section_1 flex-col" style=" background-image: url("这里更改为你的网站图标"); position: absolute; width: 152px; height: 1 ...
Butterfly:国外网络访问检测,用js判断国外网络执行函数
var foreignTips = (function () {
var onSuccess = function (geoipResponse) {
if (!geoipResponse.country.iso_code) {
return;
}
var code = geoipResponse.country.iso_code.toLowerCase();
if (code != 'cn'){
btf.snackbarShow('你翻了耶,恭喜被检测处理了,就这些了,那我在睡会了.')
}
};
var onError = function (error) {
};
return function () {
geoip2.country(onSuccess, onError);
};
}());
foreignTips();
懒猫在此文章内也加入了识别测试,小伙伴们如果翻了的话就会有提示哦!
外网小伙伴无法访问任何图片,很多人以为是本站的图床挂了,然而可能是因为用户自己是用的 ...
Moben 墨本-可视化的MidJourney关键词助手
Moben 墨本是什么Moben 墨本(墨本关键词助手)是一个由国内用户开发的可视化MidJourney关键词助手,全中文界面,支持关键词翻译和ChatGPT自动续写扩充功能。它提供了丰富的提示词生成功能,可以准确生成midjourney提示词,并且支持中英文转换、关键词提示和参数调整。这个工具特别适合新手用户使用,方便易用。同时,它还拥有1600多种midjourney关键词和中英文对照,点击关键词即可粘贴到discord生成相应图片,并支持ChatGPT生成midjourney提示。总之,墨本关键词助手是一个功能强大的工具,为用户提供了便捷的midjourney关键词生成和扩展功能。
可视化的MidJourney关键词助手Moben 墨本:https://www.mbprompt.com/
DM Ticket-大麦网自动购票工具 支持Docker一键部署
大麦网自动购票工具 DM TicketDM Ticket,一个大麦网演唱会自动购票工具,支持Docker一键部署,不过小白想要操作的话需要一点命令知识,作者的GitHub项目页面有很详细的介绍,感兴趣的同学可以到GitHub页面进行交流学习,低调学习。
使用说明
下载docker-compose配置文件: wget https://github.com/ClassmateLin/dm-ticket/releases/download/v0.1.3/dm-ticket.zip
解压zip: unzip dm-ticket.zip && cd dm-ticket
运行容器: docker-compose up -d
修改配置: vim config/config.yaml, 配置项在config/config.yaml中有详细注释。
命令列表自动购票: docker exec -it dm-ticket dm-ticket扫码登录: docker exec -it dm-ticket dm-login
大麦网自动购票工具GitHub页面详细的使用和疑难杂症可以 ...