婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > ASP.NET Core整合Zipkin鏈路跟蹤的實現方法

ASP.NET Core整合Zipkin鏈路跟蹤的實現方法

熱門標簽:上海浦東騰訊地圖標注位置 澳大利亞城市地圖標注 姜堰電銷機器人 許昌智能電銷機器人公司 遼寧正規電銷機器人 海南銀行智能外呼系統商家 遼寧銀行智能外呼系統 辰溪地圖標注 電銷機器人違法了嗎

前言

    在日常使用ASP.NET Core的開發或學習中,如果有需要使用鏈路跟蹤系統,大多數情況下會優先選擇SkyAPM。我們之前也說過SkyAPM設計確實比較優秀,巧妙的利用DiagnosticSource診斷跟蹤日志,可以做到對項目無入侵方式的集成。其實還有一款比較優秀的鏈路跟蹤系統,也可以支持ASP.NET Core,叫Zipkin。它相對于SkyWalking來說相對輕量級,使用相對來說比較偏原生的方式,而且支持Http的形式查詢和提交鏈路數據。因為我們總是希望能擁有多一種的解決方案方便對比和參考,所以接下來我們就來學習一下關于Zipkin的使用方式。

Zipkin簡介

    Zipkin是由Twitter開源的一款基于Java語言開發的分布式實時數據追蹤系統(Distributed Tracking System),其主要功能是采集來自各個系統的實時監控數據。該系統讓開發者可通過一個 Web 前端輕松的收集和分析數據,例如用戶每次請求服務的處理時間等,可方便的監測系統中存在的瓶頸。它大致可以分為三個核心概念

  • 首先是上報端,它主要通過代碼的形式集成到程序中,用于上報Trace數據到Collector端。
  • Collector負責接收客戶端發送過來的數據,保存到內存或外部存儲系統中,供UI展示。
  • 存儲端可以是基于zipkin內存完全不依賴外部存儲的In-Memory形式或依賴外部存儲系統的形式,一般采用外部存儲系統存儲鏈路數據,畢竟內存有限。它可支持的存儲數據庫有MySQL、Cassandra、Elasticsearch。
  • UI負責展示采集的鏈路數據,及系統之間的依賴關系。

相對來說還是比較清晰的,如果用一張圖表示整體架構的話,大致如下圖所示(圖片來源于網絡)

在學習鏈路跟蹤的過程中會設計到相關概念,我們接下來介紹鏈路跟蹤幾個相關的概念

  • TranceId,一般一次全局的請求會有一個唯一的TraceId,用于代表一次唯一的請求。比如我請求了訂單管理系統,而訂單管理系統內部還調用了商品管理系統,而商品管理系統還調用了緩存系統或數據庫系統。但是對全局或外部來說這是一次請求,所以會有唯一的一個TraceId。
  • SpanId,雖然全局的來說是一次大的請求,但是在這個鏈路中內部間還會發起別的請求,這種內部間的每次請求會生成一個SpanId。
  • 如果將整條鏈路串聯起來的話,我們需要記錄全局的TraceId,代表當前節點的SpanId和發起對當前節點調用的的父級ParentId。
  • 然后基于鏈路跟蹤的核心概念,然后介紹一下Zipkin衍生出來了幾個相關概念
  • cs:Clent Sent 客戶端發起請求的時間,比如 dubbo 調用端開始執行遠程調用之前。
  • cr:Client Receive 客戶端收到處理完請求的時間。
  • ss:Server Receive 服務端處理完邏輯的時間。

sr - cs = 請求在網絡上的耗時
ss - sr = 服務端處理請求的耗時
cr - ss = 回應在網絡上的耗時
cr - cs = 一次調用的整體耗時

關于zipkin概念相關的就介紹這么多,接下來我們介紹如何部署Zipkin。

部署ZipKin

    關于Zipkin常用的部署方式大概有兩種,一種是通過下載安裝JDK,然后運行zipkin.jar的方式,另一種是基于Docker的方式。為了方便我采用的是基于Docker的方式部署,因為采用原生的方式去部署還需要安裝JDK,而且操作相對比較麻煩。咱們上面說過,雖然Zipkin可以將鏈路數據存放到內存中,但是這種操作方式并不實用,實際使用過程中多采用ElasticSearch存儲鏈路數據。所以部署的時候需要依賴Zipkin和ElasticSearch,對于這種部署形式采用docker-compose的方式就再合適不過了,大家可以在Zipkin官方Github中找到docker的部署方式,地址是https://github.com/openzipkin/zipkin/tree/master/docker,官方使用的方式相對比較復雜,下載下來docker-compose相關文件之后我簡化了它的使用方式,最終修改如下

version: "3.6"
services:
 elasticsearch:
 # 我使用的是7.5.0版本
 image: elasticsearch:7.5.0
 container_name: elasticsearch
 restart: always
 #暴露es端口
 ports:
 - 9200:9200
 environment:
 - discovery.type=single-node
 - bootstrap.memory_lock=true
 #es有內存要求
 - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
 ulimits:
 memlock:
 soft: -1
 hard: -1
 networks:
 default:
 aliases:
 - elasticsearch

 zipkin:
 image: openzipkin/zipkin
 container_name: zipkin
 restart: always
 networks:
 default:
 aliases:
 - zipkin
 environment:
 #存儲類型為es
 - STORAGE_TYPE=elasticsearch
 #es地址
 - ES_HOSTS=elasticsearch:9200
 ports:
 - 9411:9411
 #依賴es所以在es啟動完成后在啟動zipkin
 depends_on:
 - elasticsearch

通過docker-compose運行編輯后的yaml文件,一條指令就可以運行起來

PackageReference Include="zipkin4net" Version="1.5.0" />
PackageReference Include="zipkin4net.middleware.aspnetcore" Version="1.5.0" />

其中-f是指定文件名稱,如果是docker-compose.yml則可以直接忽略文件名稱,當shell中出現如下界面

并且在瀏覽器中輸入http://localhost:9411/zipkin/出現如圖所示,則說明Zikpin啟動成功

整合ASP.NET Core

ZipKin啟動成功之后,我們就可以將程序中的數據采集到Zipkin中去了,我新建了兩個ASP.NET Core的程序,一個是OrderApi,另一個是ProductApi方便能體現出調用鏈路,其中OrderApi調用ProductApi接口,在兩個項目中分別引入Zipkin依賴包

PackageReference Include="zipkin4net" Version="1.5.0" />
PackageReference Include="zipkin4net.middleware.aspnetcore" Version="1.5.0" />

其中zipkin4net為核心包,zipkin4net.middleware.aspnetcore是集成ASP.NET Core的程序包。然后我們在Startup文件中添加如下方法

public void RegisterZipkinTrace(IApplicationBuilder app, ILoggerFactory loggerFactory, IHostApplicationLifetime lifetime)
{
 lifetime.ApplicationStarted.Register(() =>
 {
 //記錄數據密度,1.0代表全部記錄
 TraceManager.SamplingRate = 1.0f;
 //鏈路日志
 var logger = new TracingLogger(loggerFactory, "zipkin4net");
 //zipkin服務地址和內容類型
 var httpSender = new HttpZipkinSender("http://localhost:9411/", "application/json");
 var tracer = new ZipkinTracer(httpSender, new JSONSpanSerializer(), new Statistics());
 var consoleTracer = new zipkin4net.Tracers.ConsoleTracer();

 TraceManager.RegisterTracer(tracer);
 TraceManager.RegisterTracer(consoleTracer);
 TraceManager.Start(logger);

 });
 //程序停止時停止鏈路跟蹤
 lifetime.ApplicationStopped.Register(() => TraceManager.Stop());
 //引入zipkin中間件,用于跟蹤服務請求,這邊的名字可自定義代表當前服務名稱
 app.UseTracing(Configuration["nacos:ServiceName"]);
}

然后我們在Configure方法中調用RegisterZipkinTrace方法即可。由于我們要在OrderApi項目中采用HttpClient的方式調用ProductAPI,默認zipkin4net是支持采集HttpClient發出請求的鏈路數據(由于在ProductApi中我們并不發送Http請求,所以可以不用集成一下操作),具體集成形式如下,如果使用的是HttpClientFactory的方式,在ConfigureServices中配置如下

public void ConfigureServices(IServiceCollection services)
{
 //由于我使用了Nacos作為服務注冊中心
 services.AddNacosAspNetCore(Configuration);
 services.AddScopedNacosDiscoveryDelegatingHandler>();
 services.AddHttpClient(ServiceName.ProductService,client=> {
 client.BaseAddress = new Uri($"http://{ServiceName.ProductService}");
 })
 .AddHttpMessageHandlerNacosDiscoveryDelegatingHandler>()
 //引入zipkin trace跟蹤httpclient請求,名稱配置當前服務名稱即可
 .AddHttpMessageHandler(provider =>TracingHandler.WithoutInnerHandler(Configuration["nacos:ServiceName"]));
 services.AddControllers();
}

如果是直接是使用HttpClient的形式調用則可以采用以下方式

using (HttpClient client = new HttpClient(new TracingHandler("OrderApi")))
{
}

然后我們在OrderApi中寫一段調用ProductApi的代碼

[Route("orderapi/[controller]")]
public class OrderController : ControllerBase
{
 private ListOrderDto> orderDtos = new ListOrderDto>();
 private readonly IHttpClientFactory _clientFactory;

 public OrderController(IHttpClientFactory clientFactory)
 {
 orderDtos.Add(new OrderDto { Id = 1, TotalMoney=222,Address="北京市",Addressee="me",From="淘寶",SendAddress="武漢" });
 _clientFactory = clientFactory;
 }

 /// summary>
 /// 獲取訂單詳情接口
 /// /summary>
 /// param name="id">訂單id/param>
 /// returns>/returns>
 [HttpGet("getdetails/{id}")]
 public async TaskOrderDto> GetOrderDetailsAsync(long id)
 {
 OrderDto orderDto = orderDtos.FirstOrDefault(i => i.Id == id);
 if (orderDto != null)
 {
 OrderDetailDto orderDetailDto = new OrderDetailDto
 {
 Id = orderDto.Id,
 TotalMoney = orderDto.TotalMoney,
 Address = orderDto.Address,
 Addressee = orderDto.Addressee,
 From = orderDto.From,
 SendAddress = orderDto.SendAddress
 };
 //調用ProductApi服務接口
 var client = _clientFactory.CreateClient(ServiceName.ProductService);
 var response = await client.GetAsync($"/productapi/product/getall");
 var result = await response.Content.ReadAsStringAsync();

 orderDetailDto.Products = JsonConvert.DeserializeObjectListOrderProductDto>>(result);
 return orderDetailDto;
 }
 return orderDto;
 }
}

在ProductApi中我們只需要編寫調用RegisterZipkinTrace方法即可,和OrderApi一樣,我們就不重復粘貼了。因為ProductApi不需要調用別的服務,所以可以不必使用集成HttpClient,只需要提供簡單的接口即可

[Route("productapi/[controller]")]
public class ProductController : ControllerBase
{
 private ListProductDto> productDtos = new ListProductDto>();
 public ProductController()
 {
 productDtos.Add(new ProductDto { Id = 1,Name="酒精",Price=22.5m });
 productDtos.Add(new ProductDto { Id = 2, Name = "84消毒液", Price = 19.9m });
 }

 /// summary>
 /// 獲取所有商品信息
 /// /summary>
 /// returns>/returns>
 [HttpGet("getall")]
 public IEnumerableProductDto> GetAll()
 {
 return productDtos;
 }
}

啟動這兩個項目,調用OrderApi的getdetails接口,完成后打開zipkin界面點擊進去可查看鏈路詳情
總結起來核心操作其實就兩個,一個是在發送請求的地方,使用TracingHandler記錄發起端的鏈路情況,然后在接收請求的服務端使用UseTracing記錄來自于客戶端請求的鏈路情況。

改進集成方式

    其實在上面的演示中,我們可以明顯的看到明顯的不足,就是很多時候其實我們沒辦法去設置HttpClient相關的參數的,很多框架雖然也是使用的HttpClient或HttpClientFactory相關,但是在外部我們沒辦法通過自定義的方式去設置他們的相關操作,比如Ocelot其實也是使用HttpClient相關發起的轉發請求,但是對外我們沒辦法通過我們的程序去設置HttpClient的參數。還有就是在.Net Core中WebRequest其實也是對HttpClient的封裝,但是我們同樣沒辦法在我們的程序中給他們傳遞類似TracingHandler的操作。現在我們從TracingHandler源碼開始解讀看看它的內部到底是如何工作的,zipkin官方提供的.net core插件zipkin4net的源碼位于
https://github.com/openzipkin/zipkin4net,我們找到TracingHandler類所在的位置[點擊查看源碼👈],由于TracingHandler本身就是DelegatingHandler的子類,所以我們主要看SendAsync方法,大致抽離出來如下

protected override async TaskHttpResponseMessage> SendAsync(HttpRequestMessage request, System.Threading.CancellationToken cancellationToken)
{
 FuncHttpRequestMessage, string> _getClientTraceRpc = _getClientTraceRpc = getClientTraceRpc ?? (request => request.Method.ToString());
 IInjectorHttpHeaders> _injector = Propagations.B3String.InjectorHttpHeaders>((carrier, key, value) => carrier.Add(key, value));
 //記錄發起請求客戶端鏈路信息的類是ClientTrace
 using (var clientTrace = new ClientTrace(_serviceName, _getClientTraceRpc(request)))
 {
 if (clientTrace.Trace != null)
 {
 _injector.Inject(clientTrace.Trace.CurrentSpan, request.Headers);
 }

 var result = await clientTrace.TracedActionAsync(base.SendAsync(request, cancellationToken));
 //AddAnnotation是記錄標簽信息,我們可以在zipkin鏈路詳情中看到這些標簽
 if (clientTrace.Trace != null)
 {
 //記錄請求路徑
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_PATH, result.RequestMessage.RequestUri.LocalPath));
 //記錄請求的http方法
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_METHOD, result.RequestMessage.Method.Method));
 if (_logHttpHost)
 {
 //記錄主機
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_HOST, result.RequestMessage.RequestUri.Host));
 }
 if (!result.IsSuccessStatusCode)
 {
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_STATUS_CODE, ((int)result.StatusCode).ToString()));
 }
 }
 return result;
 }
}

實現方式比較簡單,就是借助ClientTrace記錄一些標簽,其他的相關操作都是由zipkin4net提供的。我們在之前的文章.Net Core中的診斷日志DiagnosticSource講解中層說道HttpClient底層會有發出診斷日志,我們可以借助這個思路,來對HttpClient進行鏈路跟蹤埋點。
我們結合Microsoft.Extensions.DiagnosticAdapter擴展包定義如下類

public class HttpDiagnosticListener: ITraceDiagnosticListener
{
 public string DiagnosticName => "HttpHandlerDiagnosticListener";

 private ClientTrace clientTrace;
 private readonly IInjectorHttpHeaders> _injector = Propagations.B3String.InjectorHttpHeaders>((carrier, key, value) => carrier.Add(key, value));

 [DiagnosticName("System.Net.Http.Request")]
 public void HttpRequest(HttpRequestMessage request)
 {
 clientTrace = new ClientTrace("apigateway", request.Method.Method);
 if (clientTrace.Trace != null)
 {
 _injector.Inject(clientTrace.Trace.CurrentSpan, request.Headers);
 }
 }

 [DiagnosticName("System.Net.Http.Response")]
 public void HttpResponse(HttpResponseMessage response)
 {
 if (clientTrace.Trace != null)
 {
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_PATH, response.RequestMessage.RequestUri.LocalPath));
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_METHOD, response.RequestMessage.Method.Method));
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_HOST, response.RequestMessage.RequestUri.Host));
 if (!response.IsSuccessStatusCode)
 {
 clientTrace.AddAnnotation(Annotations.Tag(zipkinCoreConstants.HTTP_STATUS_CODE, ((int)response.StatusCode).ToString()));
 }
 }
 }

 [DiagnosticName("System.Net.Http.Exception")]
 public void HttpException(HttpRequestMessage request,Exception exception)
 {
 }
}

ITraceDiagnosticListener是我們方便操作DiagnosticListener定義的接口,接口僅包含DiagnosticName用來表示DiagnosticListener監聽的名稱,有了這個接口接下來的操作我們會方便許多,接下來我們來看訂閱操作的實現。

public class TraceObserver :IObserverDiagnosticListener>
{
 private IEnumerableITraceDiagnosticListener> _traceDiagnostics;
 public TraceObserver(IEnumerableITraceDiagnosticListener> traceDiagnostics)
 {
 _traceDiagnostics = traceDiagnostics;
 }

 public void OnCompleted()
 {
 }

 public void OnError(Exception error)
 {
 }

 public void OnNext(DiagnosticListener listener)
 {
 //這樣的話我們可以更輕松的擴展其他DiagnosticListener的操作
 var traceDiagnostic = _traceDiagnostics.FirstOrDefault(i=>i.DiagnosticName==listener.Name);
 if (traceDiagnostic!=null)
 {
 //適配訂閱
 listener.SubscribeWithAdapter(traceDiagnostic);
 }
 }
}

通過這種操作我們就無需關心如何將自定義的DiagnosticListener訂閱類適配到DiagnosticAdapter中去,方便我們自定義其他DiagnosticListener的訂閱類,這樣的話我們只需注冊自定義的訂閱類即可。

services.AddSingletonTraceObserver>();
services.AddSingletonITraceDiagnosticListener, HttpDiagnosticListener>();

通過這種改進方式,我們可以解決類似HttpClient封裝到框架中,并且我們我們無法通過外部程序去修改設置的時候。比如我們在架構中引入了Ocelot網關,我們就可以采用類似這種方式,在網關層集成zipkin4net。

自定義埋點

    通過上面我們查看TracingHandler的源碼我們得知埋點主要是通過ClientTrace進行的,它是在發起請求的客戶端進行埋點。在服務端埋點的方式我們可以通過TracingMiddleware中間件中的源碼查看到[點擊查看源碼👈]叫ServerTrace。有了ClientTrace和ServerTrace我們可以非常輕松的實現一次完整的客戶端和服務端埋點,只需要通過它們打上一些標簽即可。其實它們都是對Trace類的封裝,我們找到它們的源碼進行查看

public class ClientTrace : BaseStandardTrace, IDisposable
{
 public ClientTrace(string serviceName, string rpc)
 {
 if (Trace.Current != null)
 {
 Trace = Trace.Current.Child();
 }

 Trace.Record(Annotations.ClientSend());
 Trace.Record(Annotations.ServiceName(serviceName));
 Trace.Record(Annotations.Rpc(rpc));
 }

 public void Dispose()
 {
 Trace.Record(Annotations.ClientRecv());
 }
}

public class ServerTrace : BaseStandardTrace, IDisposable
{
 public override Trace Trace
 {
 get
 {
 return Trace.Current;
 }
 }

 public ServerTrace(string serviceName, string rpc)
 {
 Trace.Record(Annotations.ServerRecv());
 Trace.Record(Annotations.ServiceName(serviceName));
 Trace.Record(Annotations.Rpc(rpc));
 }

 public void Dispose()
 {
 Trace.Record(Annotations.ServerSend());
 }
}

因此,如果你想通過更原始的方式去記錄跟蹤日志可以采用如下方式

var trace = Trace.Create();
trace.Record(Annotations.ServerRecv());
trace.Record(Annotations.ServiceName(serviceName));
trace.Record(Annotations.Rpc("GET"));
trace.Record(Annotations.ServerSend());
trace.Record(Annotations.Tag("http.url", "url>"));

示例Demo

由于上面說的比較多,而且有一部分關于源碼的解讀,為了防止由本人文筆有限,給大家帶來理解誤區,另一方面也為了更清晰的展示Zipkin的集成方式,我自己做了一套Demo,目錄結構如下
ApiGateway為網關項目可以轉發針對OrderApi的請求,OrderApi和ProductApi用于模擬業務系統,這三個項目都集成了zipkin4net鏈路跟蹤,他們之間是通過Nacos實現服務的注冊和發現。這個演示Demo我本地是可以直接運行成功的,如果有下載下來運行不成功的,可以評論區給我留言。由于博客園有文件上傳大小的限制,所以我將Demo上傳到了百度網盤中
下載鏈接:鏈接: https://pan.baidu.com/s/1LDyoRQehaE0FzedFTC4_Og 提取碼: i45x 

總結

    以上就是關于Zipkin以及ASP.NET Core整合Zipkin的全部內容,希望能給大家帶來一定的幫助。如果你有實際需要也可以繼續自行研究。Zipkin相對于我們常用的Skywalking而且,它的使用方式比較原生,許多操作都需要自行通過代碼操作,而SkyAPM可以做到對代碼無入侵的方式集成。Skywalking是一款APM(應用性能管理),鏈路跟蹤只是它功能的一部分。而Zipkin是一款專注于鏈路跟蹤的系統,個人感覺就鏈路跟蹤這一塊而言,Zipkin更輕量級(如果使用ES作為存儲數據庫的話,Skywalking默認會生成一堆索引,而Zipkin默認是每天創建一個索引),而且鏈路信息檢索、詳情展示、鏈路數據上報形式等相對于Skywalking形式也更豐富一些。但是整體而言Skywalking更強大,比如應用監控、調用分析、集成方式等。技術并無好壞之分,適合自己的才是更好的,多一個解決方案,就多一個解決問題的思路,我覺得這是對于我們程序開發人員來說都應該具備的認知。

到此這篇關于ASP.NET Core整合Zipkin鏈路跟蹤的實現方法的文章就介紹到這了,更多相關ASP.NET Core整合Zipkin鏈路跟蹤內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • 在 .NET Core 中使用 Diagnostics (Diagnostic Source) 記錄跟蹤信息

標簽:晉城 銅川 崇左 深圳 威海 伊春 西藏 撫州

巨人網絡通訊聲明:本文標題《ASP.NET Core整合Zipkin鏈路跟蹤的實現方法》,本文關鍵詞  ASP.NET,Core,整合,Zipkin,鏈路,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《ASP.NET Core整合Zipkin鏈路跟蹤的實現方法》相關的同類信息!
  • 本頁收集關于ASP.NET Core整合Zipkin鏈路跟蹤的實現方法的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    日韩精品高清不卡| 色综合天天综合网国产成人综合天 | 久久亚洲精品小早川怜子| proumb性欧美在线观看| 韩国在线一区二区| 裸体在线国模精品偷拍| 天堂久久一区二区三区| 亚洲成人精品在线观看| 夜夜嗨av一区二区三区中文字幕| 亚洲欧美综合网| 国产精品家庭影院| 欧美精品久久天天躁| 久久国产精品免费| 免费看日韩a级影片| 日本不卡的三区四区五区| 午夜激情一区二区三区| 亚洲自拍欧美精品| 亚洲国产精品久久不卡毛片 | 91麻豆精品国产无毒不卡在线观看 | 亚洲国产精品一区二区www| 亚洲精品中文字幕乱码三区| 亚洲日本韩国一区| 亚洲国产综合视频在线观看| 五月婷婷色综合| 青青草97国产精品免费观看| 激情综合亚洲精品| 国产成人免费视| 成人免费电影视频| heyzo一本久久综合| 在线视频欧美区| 欧美一级欧美三级| 久久久久久久精| 国产午夜三级一区二区三| 18成人在线观看| 亚洲午夜羞羞片| 免费成人在线观看视频| 国产99久久精品| 色婷婷亚洲婷婷| 4438x成人网最大色成网站| 欧美videossexotv100| 亚洲国产精品激情在线观看| 亚洲欧美区自拍先锋| 日韩经典一区二区| 成人小视频在线| 欧美日韩国产一区二区三区地区| 欧美tk丨vk视频| 亚洲男帅同性gay1069| 亚洲国产成人porn| 国产一区在线看| 91久久人澡人人添人人爽欧美| 欧美丰满美乳xxx高潮www| 国产日产欧美一区二区视频| 一区二区三区中文在线观看| 久久精品国产99久久6| 成人伦理片在线| 欧美一区二区三级| 亚洲精品高清在线| 国产在线一区观看| 91麻豆精品国产自产在线观看一区 | 成人蜜臀av电影| 欧美一区二区在线免费播放| 国产精品天美传媒| 日本午夜一本久久久综合| 成人激情开心网| 91精品婷婷国产综合久久| 国产精品美女一区二区在线观看| 日韩黄色片在线观看| 91日韩精品一区| 91麻豆精品国产91久久久资源速度 | 日本欧美肥老太交大片| 成人av网站在线| 91精品欧美久久久久久动漫| 亚洲少妇最新在线视频| 国产精品自拍三区| 欧美一级淫片007| 亚洲一区二区三区视频在线| 成人免费av资源| 久久久亚洲国产美女国产盗摄| 婷婷久久综合九色综合绿巨人| 91国偷自产一区二区使用方法| 久久综合久久99| 久久精品久久精品| 日韩欧美久久久| 免费在线观看一区| 亚洲日本va午夜在线影院| 精品午夜一区二区三区在线观看 | 一区二区三区不卡视频在线观看| 国产麻豆视频一区二区| 精品国产91洋老外米糕| 日韩国产在线一| 欧美日韩在线播放| 亚洲高清不卡在线| 欧美自拍偷拍一区| 亚洲一区在线观看视频| 色婷婷激情综合| 亚洲女爱视频在线| 欧美自拍丝袜亚洲| 亚洲成人精品一区| 欧美高清视频一二三区| 免费在线观看不卡| 日韩欧美一卡二卡| 国产自产视频一区二区三区| 久久精品视频一区二区| 国产成人av福利| 国产精品污网站| 91国产精品成人| 亚洲成人一区二区在线观看| 91精品国模一区二区三区| 捆绑变态av一区二区三区| 久久你懂得1024| 99久久精品费精品国产一区二区| 亚洲免费观看在线视频| 欧美另类z0zxhd电影| 精品一区在线看| 国产精品国产馆在线真实露脸| 一本大道久久精品懂色aⅴ| 亚洲成人黄色影院| 久久人人爽爽爽人久久久| 99久久久国产精品| 日韩有码一区二区三区| 久久久久久久综合日本| 一本大道综合伊人精品热热| 免费高清成人在线| 亚洲视频一二三区| 欧美电影免费观看高清完整版在线| 国产盗摄一区二区三区| 亚洲午夜精品久久久久久久久| 欧美草草影院在线视频| 91免费国产在线| 裸体健美xxxx欧美裸体表演| 国产精品亲子伦对白| 91麻豆精品国产91久久久| 欧美一区二区精美| 亚洲精品在线网站| 色综合中文字幕| 久久国产精品免费| 亚洲综合男人的天堂| 精品美女在线播放| 欧美日韩国产片| 国产成人福利片| 久久国产精品72免费观看| ㊣最新国产の精品bt伙计久久| 这里只有精品免费| 激情综合网av| 秋霞午夜av一区二区三区 | 亚洲美女一区二区三区| 日韩欧美国产小视频| 在线国产电影不卡| 成人高清av在线| 久久国产福利国产秒拍| 午夜日韩在线观看| 亚洲视频一区二区免费在线观看| 久久久久久久久久久电影| 91精品国产高清一区二区三区 | 欧美一级日韩一级| 91高清视频在线| 成年人网站91| 国产乱对白刺激视频不卡| 亚洲妇女屁股眼交7| 中文字幕日韩一区| 国产精品欧美久久久久无广告 | 国产传媒日韩欧美成人| 日本欧美加勒比视频| 亚洲国产成人tv| 午夜欧美大尺度福利影院在线看| 亚洲精品写真福利| 亚洲男同性视频| 一级日本不卡的影视| 亚洲欧美日韩系列| 亚洲美女屁股眼交| 一区二区三区久久久| 一区二区高清在线| 午夜日韩在线观看| 久久精品国产精品青草| 国产一区二区在线电影| 国内欧美视频一区二区| 国产一区二区不卡| 国产福利不卡视频| 国产精品一区二区不卡| 国产不卡免费视频| 99视频精品全部免费在线| 成人激情免费网站| 色88888久久久久久影院按摩 | 99re热视频这里只精品| 北条麻妃国产九九精品视频| voyeur盗摄精品| 欧美综合一区二区三区| 欧美肥大bbwbbw高潮| 欧美一区二区三区在| 久久先锋影音av鲁色资源网| 亚洲国产精品成人综合色在线婷婷| 国产精品国产三级国产普通话99 | 性久久久久久久| 毛片av中文字幕一区二区| 亚洲图片另类小说| 亚洲香肠在线观看| 中文乱码免费一区二区| 亚洲日本在线视频观看| 丝袜美腿亚洲综合| 国产一区二区久久|