香蕉人人精品,国产精品一二三视频,99天天综合性

主頁 > 知識庫 > c# 正則表達式對網(wǎng)頁進行有效內(nèi)容抽取

c# 正則表達式對網(wǎng)頁進行有效內(nèi)容抽取

搜索引擎中一個比較重要的環(huán)節(jié)就是從網(wǎng)頁中抽取出有效內(nèi)容。簡單來說，就是吧HTML文本中的HTML標記去掉,留下我們用IE等瀏覽器打開HTML文檔看到的部分（我們這里不考慮圖片）.
將HTML文本中的標記分為:注釋,script ,style，以及其他標記分別去掉：
1.去注釋,正則為:
output = Regex.Replace(input, @"!--[^-]*-->", string.Empty, RegexOptions.IgnoreCase);
2.去script,正則為:
ouput = Regex.Replace(input, @"script[^>]*?>.*?/script>", string.Empty, RegexOptions.IgnoreCase | RegexOptions.Singleline);
output2 = Regex.Replace(ouput , @"noscript[^>]*?>.*?/noscript>", string.Empty, RegexOptions.IgnoreCase | RegexOptions.Singleline);
3.去style,正則為:
output = Regex.Replace(input, @"style[^>]*?>.*?/style>", string.Empty, RegexOptions.IgnoreCase | RegexOptions.Singleline);
4.去其他HTML標記
result = result.Replace("nbsp;", " ");
result = result.Replace("quot;", "\"");
result = result.Replace("lt;", "");
result = result.Replace("gt;", ">");
result = result.Replace("amp", "");
result = result.Replace("br>", "\r\n");
result = Regex.Replace(result, @"[\s\S]*?>", string.Empty, RegexOptions.IgnoreCase);
以上的代碼中大家可以看到,我使用了RegexOptions.Singleline參數(shù)，這個參數(shù)很重要，他主要是為了讓"."(小圓點)可以匹配換行符.如果沒有這個參數(shù)，大多數(shù)情況下，用上面列正則表達式來消除網(wǎng)頁HTML標記是無效的.
HTML發(fā)展至今，語法已經(jīng)相當(dāng)復(fù)雜,上面只列出了幾種最主要的標記,更多的去HTML標記的正則我將在
Rost WebSpider 的開發(fā)過程中補充進來。
下面用c#實現(xiàn)了一個從HTML字符串中提取有效內(nèi)容的類:
using System;
using System.Collections.Generic;
using System.Text;
using System.Text.RegularExpressions;
class HtmlExtract
{
#region private attributes
private string _strHtml;
#endregion
#region public mehtods
public HtmlExtract(string inStrHtml)
{
_strHtml = inStrHtml
}
public override string ExtractText()
{
string result = _strHtml;
result = RemoveComment(result);
result = RemoveScript(result);
result = RemoveStyle(result);
result = RemoveTags(result);
return result.Trim();
}
#endregion
#region private methods
private string RemoveComment(string input)
{
string result = input;
//remove comment
result = Regex.Replace(result, @"!--[^-]*-->", string.Empty, RegexOptions.IgnoreCase);
return result;
}
private string RemoveStyle(string input)
{
string result = input;
//remove all styles
result = Regex.Replace(result, @"style[^>]*?>.*?/style>", string.Empty, RegexOptions.IgnoreCase | RegexOptions.Singleline);
return result;
}
private string RemoveScript(string input)
{
string result = input;
result = Regex.Replace(result, @"script[^>]*?>.*?/script>", string.Empty, RegexOptions.IgnoreCase | RegexOptions.Singleline);
result = Regex.Replace(result, @"noscript[^>]*?>.*?/noscript>", string.Empty, RegexOptions.IgnoreCase | RegexOptions.Singleline);
return result;
}
private string RemoveTags(string input)
{
string result = input;
result = result.Replace("nbsp;", " ");
result = result.Replace("quot;", "\"");
result = result.Replace("lt;", "");
result = result.Replace("gt;", ">");
result = result.Replace("amp", "");
result = result.Replace("br>", "\r\n");
result = Regex.Replace(result, @"[\s\S]*?>", string.Empty, RegexOptions.IgnoreCase);
return result;
}
#endregion

您可能感興趣的文章:

使用C# Winform應(yīng)用程序獲取網(wǎng)頁源文件的解決方法
C#基于正則表達式實現(xiàn)獲取網(wǎng)頁中所有信息的網(wǎng)頁抓取類實例
使用C#正則表達式獲取必應(yīng)每日圖片地址
C#正則表達式獲取下拉菜單(select)的相關(guān)屬性值
C#使用正則表達式抓取網(wǎng)站信息示例
C#通過正則表達式實現(xiàn)提取網(wǎng)頁中的圖片
常用正則常用的C#正則表達式
C#的正則表達式Regex類使用簡明教程
C# 正則表達式經(jīng)典分類整理集合手冊
C#中的正則表達式學(xué)習(xí)資料
WinForm使用正則表達式提取內(nèi)容的方法示例

標簽：秦皇島茂名怒江西寧玉林昆明河北吉林

巨人網(wǎng)絡(luò)通訊聲明：本文標題《c# 正則表達式對網(wǎng)頁進行有效內(nèi)容抽取》，本文關(guān)鍵詞正則,表達式,對,網(wǎng)頁,進行,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。

婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

c# 正則表達式對網(wǎng)頁進行有效內(nèi)容抽取