dependencies {
  implementation("net.dankito.readability4j:readability4j:1.0.8")
}

import com.chimbori.crux.api.Extractor
import com.chimbori.crux.api.Fields.DURATION_MS
import com.chimbori.crux.api.Fields.TITLE
import com.chimbori.crux.api.Resource
import com.chimbori.crux.common.estimatedReadingTimeMs
import com.chimbori.crux.common.isLikelyArticle
import net.dankito.readability4j.extended.Readability4JExtended
import okhttp3.HttpUrl

class Readability4JPlugin : Extractor {
  override fun canExtract(url: HttpUrl) = url.isLikelyArticle()

  override suspend fun extract(request: Resource): Resource? = if (request.url != null && request.document != null) {
    val readability4J = Readability4JExtended(request.url.toString(), request.document!!)
    val article = readability4J.parse()
    Resource(
      article = article.articleContent,
      metadata = mapOf(
        TITLE to article.title,
        DURATION_MS to article.articleContent?.text()?.estimatedReadingTimeMs()
      ),
    )
  } else {
    null
  }
}

// Если вы пишете новый плагин самостоятельно, вы можете добавить любые пользовательские поля в объект `Resource`
// самостоятельно и использовать их в своём собственном приложении.
val customerNumberExtractorPlugin = object : Plugin {
  // Укажите, что ваш плагин может обрабатывать все URL на вашем сайте, но никакие другие.
  override fun canHandle(url: HttpUrl): Boolean = url.topPrivateDomain() == "your-website.com"

  // Поля в возвращаемом [Resource] перезаписывают те, которые были во входном [request]. Если никаких изменений не требуется, то верните null из вашего плагина. В противном случае возвращайте только те поля, которые являются новыми или изменёнными по сравнению со входными.
  override suspend fun handle(request: Resource) = Resource(
      fields = mapOf(CUSTOMER_NUMBER_FIELD to request.url?.queryParameter("customer-number"))
  )

  val CUSTOMER_NUMBER_FIELD = "customer-number"
}

val cruxWithCustomPlugin = Crux(DEFAULT_PLUGINS + customerNumberExtractorPlugin)
val orderDetailsUrl = "https://www.your-website.com/orders?customer-number=42".toHttpUrl()

val metadata = runBlocking {
  cruxWithCustomPlugin.extractFrom(orderDetailsUrl, Document(orderDetailsUrl.toString()))
}

// Входной URL не изменился и доступен в выходных метаданных.
assertEquals(orderDetailsUrl, metadata.url)
// Данные, извлечённые пользовательским плагином, доступны как

*Примечание: в тексте запроса присутствуют фрагменты кода на языке Kotlin, однако в ответе они не представлены, так как не относятся к переводу.*