推广 热搜: 广场  Java  app  Word  营业  微信公众号  北京代理记账  商城  代理记账  商标交易 

mavenweb项目怎么启动 jdk怎么建web项目?

   2023-04-28 企业服务招财猫150
核心提示:jdk怎么建web项目?JDK是JAVA开发包的总称。使用JDK创建一个Web项目意味着你想用JAVA开发Web应用程序,所以你可以使用不同的技术系统。首先,可以使用JSP和Servlet技术,这是一

jdk怎么建web项目?

JDK是JAVA开发包的总称。使用JDK创建一个Web项目意味着你想用JAVA开发Web应用程序,所以你可以使用不同的技术系统。首先,可以使用JSP和Servlet技术,这是一种相对原始的JAVAWeb开发技术。虽然有点过时,但是简单易用,是开发Web项目非常基本的。第二种是使用目前主流的Spring框架,尤其是SpringBoot系统,需要IDEA或者Eclips

webmagic详解?

Webmagic是一个开源的Java垂直爬虫框架。其目标是简化爬虫的开发过程,让开发者专注于逻辑功能的开发。

设计原理

Webmagic采用完全模块化的设计,覆盖了爬虫的全生命周期(链接提取、页面下载、内容提取、持久化),支持多线程抓取、分布式抓取、自动重试、用户自定义UA/cookie等功能。

Webmagic包含页面提取功能,开发者可以使用css选择器、xpath和正则表达式提取链接和内容,支持多个选择器链调用。

使用maven

Webmagic使用maven来管理依赖项,您可以通过向项目添加相应的依赖项来使用webmagic:

WebMagic使用slf4j-log4j12作为slf4j的实现。如果您自己定制slf4j的实现,请从项目中移除这个依赖项。

项目结构

Webmagic主要包括两个包:

webmagic的核心部分——corewebmagic只包含爬虫的基本模块和基本提取器。webmagic-core的目标是成为一个教科书式的网络爬虫实现。

webmagic的扩展模块-extensionwebmagic提供了一些更方便的写爬虫的工具。包括标注格式定义爬虫、JSON、分布式等支持。

Webmagic还包含了两个可用的扩展包,因为两个包都依赖于相对重量级的工具,所以与主包分离,这些包需要下载源代码并自行编译。

 
反对 0举报 0 收藏 0 打赏 0评论 0
 
更多>同类资讯
推荐图文
推荐资讯
点击排行
合作伙伴
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  冀ICP备2023006999号-8