string-search robustness and documentation improvement (bug#43598)

* src/fns.c (Fstring_search): Check START-POS argument range.
Simplify logic.  Improve doc string.
* test/src/fns-tests.el (string-search): Add test cases.
* doc/lispref/strings.texi (Text Comparison): Elaborate.
* lisp/emacs-lisp/byte-opt.el (pure-fns): Mark string-search as pure.

* CONTRIBUTE: Don't recommend action stamps

* CONTRIBUTE: Remove mention of the "action stamp" thing (bug#20609).

Partially revert previous prolog.el cleanup

* lisp/progmodes/prolog.el (prolog-font-lock-keywords): Partially
revert previous patch -- we want the prolog-warning-face symbol,
not its value.

Fix defcustom type in sql.el for sql-postgres-login-params

* lisp/progmodes/sql.el (sql-login-params): Fix defcustom type to
match sql-postgres-login-params value.

Fix a defcustom type in gdb-mi.el

* lisp/progmodes/gdb-mi.el (gdb-display-source-buffer-action): Fix
defcustom type to match the value.

Fix defcustom type in whitespace.el

* lisp/whitespace.el (whitespace-space-after-tab-regexp)
(whitespace-indentation-regexp): The first string here isn't a
regexp, it's a string (that's expanded with format to be a regexp).

Fix the defcustom type fix in python.el

* lisp/progmodes/python.el (python-pdbtrack-exit-command): Fix
defcustom type (bug#30990).

Fix some defcustom types

* lisp/whitespace.el (whitespace-style):
* lisp/gnus/message.el (message-screenshot-command):
* lisp/progmodes/compile.el (compilation-transform-file-match-alist):
* lisp/progmodes/gdb-mi.el (gdb-default-window-configuration-file):
* lisp/progmodes/python.el (python-pdbtrack-exit-command): Fix the
defcustom types.
* lisp/progmodes/sql.el (sql-password-wallet): Fix the value.

Add an expensive test for defcustom types

* admin/cus-test.el (cus-test-opts): Return the tests.

* test/lisp/custom-tests.el (check-for-wrong-custom-types): Test
custom types (bug#30990).

Mark string-search as being side effect free

* lisp/emacs-lisp/byte-opt.el (side-effect-free-fns): Add
string-search.

Make the Man completion code work better if man -k fails

* lisp/man.el (Man-completion-table): Check the return code for
"man -k" and assume it failed if there's a non-zero exit code
(bug#16722).

Use the char history in zap-up-to-char

* lisp/misc.el (zap-up-to-char): Use read-char-from-minibuffer
(bug#39154).

Fix replace-in-string infloop with empty pattern string (bug#43598)

* lisp/subr.el (replace-in-string): Raise an error if FROMSTRING is
empty.
* test/lisp/subr-tests.el (replace-in-string): Add test case.

Tweak updating the process mark in set-process-buffer

* src/process.c (Fset_process_buffer): Only update the process
mark if we actually change the buffer.

Remove more compat code from prolog.el

* lisp/progmodes/prolog.el (prolog-font-lock-keywords): Remove
compat test for a face that's always defined.

* lisp/progmodes/ruby-mode.el (ruby-use-smie): Declare obsolete

(ruby-mode-map, ruby-mode-menu): Don't use ruby-for/backward-sexp any more.
(ruby-mode-variables): Always setup SMIE navigation.
Still obey `ruby-use-smie` for indentation.
(ruby-forward-sexp, ruby-backward-sexp): Mark as obsolete.

Remove some XEmacs compat code from prolog.el

* lisp/progmodes/prolog.el (prolog-replace-in-string): Remove XEmacs
compat code and make obsolete.
(prolog-guess-fill-prefix): Adjust callers.
(prolog-uncomment-region): Make obsolete.
(prolog-mode-syntax-table): syntax-propertize-rules is always defined.
(prolog-syntax-propertize-function): Ditto.
(prolog-face-name-p): Make into obsolete alias.
(prolog-font-lock-keywords): Adjust callers.

Clean up replace-in-string slightly

* lisp/subr.el (replace-in-string): Clean up previous fix slightly.

Fix previous replace-in-string rewrite

* lisp/subr.el (replace-in-string): Fix logic errors in previous
patch.

Fix replace-in-string multibyteness problems with string-search

* lisp/subr.el (replace-in-string): Simplify by using the new
string-search function (bug#43598).

Add a new function 'string-search'

* doc/lispref/strings.texi (Text Comparison): Document it.
* src/fns.c (Fstring_search): New function.

* lisp/help-fns.el (help-fns--first-release): Use etc/NEWS as well

Update a failing lisp test

* test/lisp/emacs-lisp/lisp-tests.el (up-list-no-cross-string):
Update for recent "Don't signal scan-error" change.

Horizontal scrolling for mouse wheel with Shift modifier (bug#43568)

* lisp/mwheel.el (mouse-wheel-scroll-amount): Change 'shift' default value
from 5 to 'hscroll'.  Add new option "Scroll horizontally" for 'hscroll'.
(mwheel-scroll): Handle value 'hscroll' and call mwheel-scroll-left-function
or mwheel-scroll-right-function.

* doc/emacs/frames.texi (Mouse Commands): Update for horizontal scrolling
with Shift modifier.

Set mwheel default scroll value to 1 (bug#43380)

* lisp/mwheel.el (mouse-wheel-scroll-amount): Change default value 5 to 1
and shift default value from 1 to 5.
Default value is changed as discussed in etc/TODO.

* lisp/simple.el (goto-line-read-args): More relevant default line number.

Add skip condition for some dbus tests

* test/lisp/net/dbus-tests.el (dbus-test01-type-conversion)
(dbus-test01-basic-types): Add skip for hydra.nixos.org failures.
; Standardize license notice

Make set-process-buffer also update the process mark

* src/process.c (Fset_process_buffer): Update the process mark
(bug#43573).

Refactor process mark setting

* src/process.c (update_process_mark): Make into its own function.
(Fmake_process, Fmake_pipe_process, Fmake_serial_process)
(connect_network_socket): Use it.

Add sanity check for Gnus groups that belong to no topic

* lisp/gnus/gnus-topic.el (gnus-topic-change-level): Do not change
gnus-topic-alist when group is outside "topology" (bug#43582).

Fix last change in resize_mini_window

* src/xdisp.c (resize_mini_window): Prevent recentering the
mini-window once its start position is computed.  (Bug#43572)

Fix recent simple.el compilation warning

* lisp/simple.el (goto-line-relative): Suppress byte compilation
warning about goto-line.

Minor Tramp cleanup

* doc/misc/tramp.texi: Some stylistic changes.
(Frequently Asked Questions): Mention ProxyCommand and ProxyJump.

* lisp/net/tramp-sh.el (tramp-use-ssh-controlmaster-options):
Fix docstring.

Write Gnus active files with quotes around group names

* lisp/gnus/gnus-util.el (gnus-write-active-file): In case of group
names with spaces in them (see Bug#42823). Names are later read with
`read', so this should be quite robust.

New command goto-line-relative (bug#5042, bug#9917)

* lisp/simple.el (goto-line-read-args): New function with code from goto-line.
(goto-line): New arg RELATIVE.  Also use 'widen-automatically' to
leave all lines accessible in the narrowed buffer.
(goto-line-relative): New command.

* lisp/info.el (Info-mode-map): Remap 'goto-line' to 'goto-line-relative'.

* doc/emacs/basic.texi (Moving Point):
* doc/emacs/display.texi (Optional Mode Line): Mention goto-line-relative.

Remove TODO to convert files to unit tests

* test/lisp/textmodes/css-mode-tests.el:
* test/lisp/progmodes/ruby-mode-tests.el: Remove TODO to convert test
files into unit tests.  The files are still useful for debugging.
Ref: https://lists.gnu.org/r/emacs-devel/2020-09/msg01906.html

Convert some completion.el tests to ERT

* test/lisp/completion-tests.el: New file.
* lisp/completion.el: Move commented out tests to completion-tests.el.

Convert allout unit tests to ERT

* test/lisp/allout-tests.el: New file.
* lisp/allout.el (allout-run-unit-tests-on-load)
(allout-run-unit-tests): Remove.
(allout-tests-obliterate-variable)
(allout-tests-globally-unbound, allout-tests-globally-true)
(allout-tests-locally-true, allout-test-resumptions): Move to
allout-tests.el

* test/lisp/allout-widgets-tests.el: New file.
* lisp/allout-widgets.el (allout-widgets-run-unit-tests-on-load)
(allout-widgets-run-unit-tests): Remove.
(allout-test-range-overlaps): Move to allout-widgets-tests.el.

* lisp/repeat.el: Remove obsolete comment.

* test/lisp/net/dbus-tests.el (dbus-test01-basic-types): Adapt test.

; * lisp/emacs-lisp/lisp.el: rename parameter in last change

Don't signal scan-error when moving by sexp interactively

* lisp/emacs-lisp/lisp.el (forward-sexp, backward-sexp, forward-list)
(backward-list, down-list, up-list, mark-sexp, kill-sexp)
(backward-kill-sexp): Remove unsightly scan-error when running
interactively and no further movement by sexp can be made (bug#43489).

Allow the newline character in the character widget (Bug#15925)

* lisp/wid-edit.el (widget-specify-field): Extend check for adding the
boundary overlay.  Plus, a minor comment indentation fix.
(character widget): Tweak the valid-regexp to allow the newline
character.

* test/lisp/wid-edit-tests.el (widget-test-character-widget-value)
(widget-test-editable-field-widget-value): New tests (bug#15925).

Improve mark handling in gnus nnselect

* lisp/gnus/nnselect.el (numbers-by-group,
nnselect-request-update-info, nnselect-push-info): Handle all three
mark types ('tuple, 'range, 'list) and general speedups.

Handle escaped comment enders correctly in syntax.c, fixing bug #43558

This fixes forward-comment, scan-lists, and parse-partial-sexp.

* src/syntax.c (forw_comment): Detect and skip an escaped comment ender
(e.g. \*/ in C) when comment-end-can-be-escaped is non-nil.

Run gnus-parse-headers-hook when retrieving nnselect headers

* lisp/gnus/nnselect.el (nnselect-retrieve-headers): Run the
gnus-parse-headers-hook when retrieving headers in nnselect, just like
in a real group.

test/src/xdisp-tests.el: New file

Use gnus-extra-headers in nnselect header parsing

* lisp/gnus/nnselect.el (nnselect-retrieve-headers): Bind
nnmail-extra-headers to gnus-extra-headers before parsing retrieved
headers.

Ensure that the game directory exists before trying to write to it

* lisp/play/gamegrid.el (gamegrid-add-score-insecure): Make the
directory if it doesn't exist (bug#37836).

Make delete-pair only delete pairs that are part of insert-pair-alist

* lisp/emacs-lisp/lisp.el (delete-pair): Only delete pairs that
are part of `insert-pair-alist' (bug#4136).

Fix off-by-one error in eldoc--handle-docs

* lisp/emacs-lisp/eldoc.el (eldoc--handle-docs): We have one extra
line to use if we don't show the truncation message (bug#43543).

Speed up shr-insert slightly

* lisp/net/shr.el (shr-insert): Speed up regularising spaces --
the vast majority of the spaces are already OK, so transforming
" " to " " just takes time.

Fix filling problem in shr due to zero-width id tagging

* lisp/net/shr.el (shr-descend): Fix problem with filling lines
that have a zero-width ID tag at the start.

Fix cursor display in mini-window under icomplete-mode

* src/xdisp.c (resize_mini_window): When we show only part of the
mini-window's contents, make sure the window-start position is at
the beginning of a screen line.  (Bug#43519)

Fix font-panel on NS (bug#43480)

* lisp/term/ns-win.el (ns-respond-to-change-font): Set the font using
customize.

Remove broken compat code from EDE

* lisp/cedet/ede/detect.el: Remove broken Emacs 24.1 compat code.
This would never have worked, since the fallback library is missing.

; * test/lisp/progmodes/ps-mode-tests.el: Add missing backslash

Fix shellcheck warning

* build-aux/update-subdirs: Fix issue indicated by the shellcheck
linter (warning SC2046).

Support shellcheck in compilation-mode

* lisp/progmodes/compile.el
(compilation-error-regexp-alist-alist): Add shellcheck regexp.
* test/lisp/progmodes/compile-tests.el
(compile-tests--test-regexps-data):
(compile-test-error-regexps): Add test for shellcheck.
* etc/compilation.txt: Add shellcheck example.
* etc/NEWS: Announce the change.

foo

Remove Emacs 23 compat code from cedet

* lisp/cedet/ede/proj-elisp.el (project-compile-target):
* lisp/cedet/semantic/bovine/grammar.el (bovine-grammar-expand-form):
* lisp/cedet/semantic/ede-grammar.el (project-compile-target):
Remove Emacs 23 compat code.

Remove some Emacs 20 compat code

* lisp/apropos.el (apropos-local-value):
* lisp/progmodes/antlr-mode.el (antlr-mode-menu):
* lisp/progmodes/idlwave.el (idlwave-attach-classes):
* lisp/textmodes/artist.el (artist-replace-chars): Remove Emacs 20
compat code.

Remove some unnecessary compat code

* test/lisp/emacs-lisp/ert-x-tests.el (ert-test-describe-test):
* test/lisp/wdired-tests.el (wdired-test-unfinished-edit-01):
Remove unnecessary compat code; these tests should never need to run
on older versions of Emacs.

Fix thinko in dired-change-marks

* lisp/dired.el (dired-change-marks): Fix my previous broken attempt
to declare advertised-calling-convention.

Move several completions from eshell to pcomplete (Bug#10585)

* lisp/eshell/em-unix.el (eshell-complete-hostname)
(pcomplete/ftp, pcomplete/ncftp, pcomplete/ping)
(pcomplete/rlogin, pcomplete/telnet, pcomplete/rsh):
Move from here...
* lisp/pcmpl-unix.el (pcmpl-unix-complete-hostname)
(pcomplete/ftp, pcomplete/ncftp, pcomplete/ping)
(pcomplete/rlogin, pcomplete/telnet, pcomplete/rsh):
...to here.  Make old names into aliases.

* lisp/eshell/esh-util.el (eshell-hosts-file)
(eshell-host-names, eshell-host-timestamp)
(eshell-read-hosts-file, eshell-read-hosts)
(eshell-read-host-names): Move from here...
* lisp/pcomplete.el (pcomplete-hosts-file)
(pcomplete--host-name-cache)
(pcomplete--host-name-cache-timestamp)
(pcomplete-read-hosts-file, pcomplete-read-hosts)
(pcomplete-read-host-names): ...to here.  Make old names into
aliases.

* lisp/eshell/em-unix.el (eshell-complete-host-reference): Update
caller.

Move pcomplete/bcc32 from eshell to pcmpl-x (Bug#10585)

* lisp/eshell/em-xtra.el (pcomplete/bcc32, pcomplete/bcc): Move
from here...
* lisp/pcmpl-x.el (pcomplete/bcc32, pcomplete/bcc): ...to here.

Convert a manual test for nxml-mode to unit test

* test/manual/indent/nxml.xml: Delete file.
* test/lisp/nxml/nxml-mode-tests.el
(nxml-mode-test-comment-bug-17264): New test based on deleted file.

Convert manual indent test for ruby-mode into unit test

* test/manual/indent/ruby.rb: Move from here...
* test/lisp/progmodes/ruby-mode-resources/ruby.rb: ...to here.

* test/lisp/progmodes/ruby-mode-tests.el
(ruby-mode-tests-data-dir): New variable.
(ruby--indent/converted-from-manual-test): New test.

Convert manual indent test for scheme-mode into unit test

* test/manual/indent/scheme.scm: Delete file.
* test/lisp/progmodes/scheme-tests.el: New file with unit test for
scheme-mode based on deleted file.

Convert manual indent test for ps-mode into unit test

* test/manual/indent/ps-mode.ps: Delete file.
* test/lisp/progmodes/ps-mode-tests.el (ps-mode-test-indent):
New unit test based on deleted file.

(json-encode-string): Strip properties to fix bug#43549

Fix problem with ede-mode bugging out on non-existent files

* lisp/cedet/ede/emacs.el: Check whether the directory exists in
ede-emacs-find-in-directories before using it (bug#43547).

Fix recent change to window-max-chars-per-line

* lisp/window.el (window-max-chars-per-line):
line-number-display-width can return a floating point number, but
we want an integer (bug#43548).

Doc string fix for gnus-summary-hide-thread

* lisp/gnus/gnus-sum.el (gnus-summary-hide-thread): Remove text
from doc string apparently copy-pasted from the function above.

Remove a misleading message in gnus-summary-hide-thread

* lisp/gnus/gnus-sum.el (gnus-summary-hide-thread):
Jump past invisible thread instead of begging off with an out-of-band
diagnostic (bug#43538).

Convert manual indent test for opascal-mode into unit test

* test/manual/indent/opascal.pas: Delete file.
* test/lisp/progmodes/opascal-tests.el: New file with unit test for
oposcal-mode based on deleted file.

Convert manual indent test for lisp-mode into unit test

* test/manual/indent/lisp.lisp: Delete file.
* test/lisp/emacs-lisp/lisp-mode-tests.el (lisp-indent-defun):
New unit test based on deleted file.

Convert manual indent test for elisp-mode into unit test

* test/manual/indent/elisp.el: Delete file.
* test/lisp/progmodes/elisp-mode-tests.el (elisp-indent-basic):
New unit test based on deleted file.

; * test/lisp/textmodes/css-mode-tests.el: Add TODO.

Fix check in `newline' for blank lines

* lisp/simple.el (newline): Clarify doc string and fix check for
blank lines (bug#13810).

Fix line width in M-x term on -nw with line numbers

* lisp/window.el (window-max-chars-per-line): Make the line width
more correct in the presence of display-line-numbers-mode (bug#34513).

Add more isearch submatch faces

* doc/emacs/search.texi (Search Customizations): Adjust
documentation.
* lisp/isearch.el (search-highlight-submatches): Be a boolean.
(isearch-group-{6-9}): New faces.
(isearch-highlight): Use the variable as a boolean.

; Fix more trivial typos

Tweak how Man selects the previous window on failure

* lisp/man.el (Man-bgproc-sentinel): Ensure that we select the
correct previous window (bug#38164).

; Fix typos

Allow disabling the verbose eldoc truncation message

* doc/emacs/programs.texi (Lisp Doc): Document it.

* lisp/emacs-lisp/eldoc.el (eldoc-display-truncation-message): New
variable (bug#43543).
(eldoc--handle-docs): Use it.

Fix default value in checkboxes in eww

* lisp/net/eww.el (eww-submit): Checked checkboxes need a default
value (bug#43542).

Copyright-paperwork-exempt: yes

Add D-Bus tests

* doc/misc/dbus.texi (Type Conversion): Precise basic type values.

* lisp/net/dbus.el (dbus-register-property): Send signal directly.

* src/dbusbind.c (xd_signature): Accept non-nil objects for
DBUS_TYPE_BOOLEAN.

* test/lisp/net/dbus-tests.el (dbus-test01-basic-types)
(dbus-test01-compound-types): New tests.

; * lisp/emacs-lisp/syntax.el (syntax-propertize-function): Doc fix.

Merge from origin/emacs-27

02a31c9632 (origin/emacs-27) Minor improvement in the ELisp manual's ...
f750def778 Mention in PROBLEMS the problems with fonts and Uniscribe
082d8a21b1 Minor copyedits in 'line-height' documentation
5b23393bcc ; * src/frame.c (syms_of_frame) <make-pointer-invisible>: ...

; Merge from origin/emacs-27

The following commit was skipped:

c151797da9 * doc/misc/eww.texi: Document the `w' key's double function

Merge from origin/emacs-27

df04f3e755 Fix a rare segfault in syntax.c
fd1fe1e1ec Add doc to syntax-propertize-function saying it must do a ...
fcd599bbea Minor copyedits of doc of 'with-silent-modifications'
759399cdb1 Improve documentation of 'max-mini-window-height'
3223302aa2 Use modern constant names for the NS pasteboard
985703d380 Fix doc string of 'toggle-menu-bar-mode-from-frame'
184a4977c7 Make vc-bzr tests work with brz 3.1 (bug#43314)

# Conflicts:
# lisp/emacs-lisp/syntax.el
# src/syntax.c

; Merge from origin/emacs-27

The following commit was skipped:

03093baf90 diff-no-select doc string clarification

Merge from origin/emacs-27

694acda5f2 Fix compilation on TERMINFO platforms with GCC 10
f3373901e5 Fix the font-lock-debug-fontify NEWS entry

# Conflicts:
# etc/NEWS

Fix infloop when folding difficult headers in Message

* lisp/mail/rfc2047.el (rfc2047-fold-field): Return the end point.
* lisp/gnus/message.el (message--fold-long-headers): Use that to
reliably achieve progress.

Allow not selecting messages in Gnus before resending

* lisp/gnus/gnus-msg.el (gnus-summary-resend-message): Allow not
selecting messages.  This is faster when resending huge spam messages.

Make xterm-mouse-event check whether the click event is valid

* lisp/xt-mouse.el (xterm-mouse-event): Defensively check against
a situation that shouldn't happen (but does) (bug#17378).

C++ Mode: Modernize the fontification of "using"

Since "using" is now used in three distinct ways in C++, write a special
function to handle these rather than attempting to adapt the old regular
expressions.

* lisp/progmodes/cc-fonts.el (c-font-lock-declarators): Amend to allow the
argument TYPES to be a face.  This face is given to the declarator being
processed.
(c-font-lock-single-decl): Make an argument to c-font-lock-declarators nil or
t, not merely nil or non-nil.
(c-complex-decl-matchers): Include c-font-lock-c++-using in the C++ value of
this variable.
(c-font-lock-c++-using): New function.

* lisp/progmodes/cc-langs.el (c-using-kwds, c-using-key): New lang
consts/vars.
(c-modifier-kwds): Remove "using" from the C++ value.

Restore the previous minimum-width specs in the line/column mode lines

* lisp/bindings.el (mode-line-position-line-format)
(mode-line-position-column-format)
(mode-line-position-column-line-format, mode-line-position):
Restore the previous min-width specs (bug#28648).

Make (let ((:key 'foo)) :key) signal an error in lexical elisp, too

* src/lread.c (intern_sym): Mark keywords as special (bug#38872).

Fix typo in dbus.texi

* doc/misc/dbus.texi (Type Conversion): Remove spurious { character.